Ihr eigener Server für das Lernen ist wie eine Maschine im 20. Jahrhundert: Wenn Sie sich ernsthaft mit Data Science beschäftigen, werden Sie früher oder später zu dem Punkt kommen, dass Sie eine einheitliche, angepasste Umgebung und Vertrauen in Ressourcen benötigen, die von den Regeln des Arbeitgebers und der Administratoren unabhängig sind. Jemand wird sagen, dass alles in den Clouds erledigt werden kann, aber ein ständiger Zugriff, lange Experimente rund um die Uhr und sogar die Speicherung von Daten sind ein Kinderspiel.
Also, wenn Sie sich entscheiden - müssen Sie Ihre Gartenstadt bauen.
Mal sehen, was wir brauchen:
- Die Datensätze müssen irgendwo liegen. Benötigen Sie die Möglichkeit, große Datenmengen zu speichern und schnell darauf zuzugreifen.
- Grafikkarte Resnet und Unet warten.
- Mehrkernprozessor. Viele Leute vergessen, aber viele Operationen in Numpy, Pandas und Gradientenverstärkungsalgorithmen sind für Multithreading perfekt parallelisiert, funktionieren aber immer noch nicht auf Grafikkarten.
- Rom. Muss alles enthalten.
- Und der Rest, der den Parametern dienen sollte: eine adäquate Stromquelle, ein Gehäuse und ein Motherboard, in das all dieses Glück passt, ein Betriebssystem.
Der wichtigste bestimmende Faktor ist natürlich das Budget. Ich habe meine in der Region von 150 Tausend Rubel definiert.
Die erste und teuerste ist also eine
Grafikkarte . Lassen Sie uns das Offensichtliche zugeben: Nvidia ist jetzt der absolute Marktführer in Bezug auf Leistung und Framework-Kompatibilität. Wenn Sie neuronale Netze schreiben, benötigen Sie cudnn und cuda. Gute Grafikkarten sind jedoch eine runde Summe wert: Wenn wir mindestens 11 GB Speicher und die entsprechende Leistung benötigen, müssen wir für das Topmodell mehr als 1000 USD bezahlen. Grafikkarten fliegen herum und die Preise steigen. Wie zu sein Wir müssen uns daran erinnern, dass wir gerade in einer einzigartigen Zeit leben: Eine Kryptowährungsblase platzt aus allen Nähten, und eine große Anzahl von Grafikkarten von Bergleuten kommt auf den Markt. Ich bin stolze Besitzerin eines gebrauchten 1080 Ti für 30.000 Rubel, und fast ein Jahr lang hat sie mich nie im Stich gelassen und rund um die Uhr gearbeitet. Nehmen Sie einen Windows-Computer (aus irgendeinem Grund wurden die meisten Grafikkarten-Testprogramme speziell für dieses System entwickelt), füllen Sie sich mit Programmen aus, überprüfen Sie Ihr Arbeitspferd weit und breit und nehmen Sie einen Grafikbeschleuniger, der 1,5 bis 2 Mal günstiger ist.
Setzen wir die Idee der Taschenrechner fort und gehen wir zum
Prozessor über . Hier möchte ich analog zum Vorgänger sagen, dass Intel der absolute Marktführer ist (zumal ich dort einmal gearbeitet habe). Dies gilt nur, wenn es sich um Single-Thread-Anwendungen oder ein unbegrenztes Budget handelt. Wir haben aber weder den einen noch den anderen Fall, sondern wir wollen das Geld parallelisieren und lassen, hier kommt AMD Ryzen als Ganzes zu uns und insbesondere deren Threadripper-Linie. Für 700-1.000 US-Dollar können Sie einen 24-32-Atomchip kaufen, auf dem Catboost fliegen wird. Die ähnlichen Parameter von Intel sind doppelt so teuer. Natürlich gibt es ein großes "ABER": Threadripper verdankt seine Leistung einem bestimmten Design, und dies muss berücksichtigt werden (mehr dazu weiter unten) ...
Ein bisschen Text vom Assembler: „Ich denke, nach dem jüngsten Intel-Fiasko mit 10980XE hat die Frage, welcher Prozessor für Multi-Thread-Computing zu wählen ist, eine ziemlich klare Antwort. Aber ... alles kann sich ändern. "
Und dann gehen wir zur
Erinnerung über . Es ist komisch, einen Server mit weniger als 32 Gigabyte RAM zu bauen (dann ist es einfacher, sich auf Fitnessarmbänder zu verlassen), und es ist besser, einen Speicher mit hoher Frequenz zu verwenden (3200+, ZEN und ZEN 2-Architekturprozessoren lieben ihn). Natürlich ist RAM nicht die schwierigste Komponente der Schaltung, was bedeutet, dass es viele Hersteller gibt, aber es ist besser, bewährte zu nehmen (ich habe Corsair genommen). Hier müssen Sie entscheiden, wie viel und mit der Anzahl der Kanäle genommen werden soll. Die einfachste Antwort lautet: Mehr so, dass auf jedem Würfel ja 16 Gigabyte sitzen. Es scheint, dass Sie 256 Auftritte von Mitarbeitern auf Ihren PC bekommen können. Aber nicht so einfach. Wenn Sie einen Dual-Channel-Speicher verwenden, werden doppelt so viele aktive Kerne für dieselbe Informationsmenge im Speicher verwendet, was bedeutet, dass die Zugriffsgeschwindigkeit verringert wird. Hier müssen wir als wichtige Voraussetzung die Notwendigkeit eines schnellen Speicherzugriffs berücksichtigen. Also nehmen wir vier Kanäle. Auf jedem Würfel haben wir 8 Gigs Gedächtnis.
Eine weitere Erkenntnis des Sammlers, oder besser gesagt, die versprochenen Details zu Threadripper: „Wenn Sie das Mantra haben, dass alle Speicherkanäle voll sein müssen (und Threadripper 4 davon hat), können Sie nach unten scrollen. Ich erinnere die anderen daran, dass dieser Prozessor der alten Architektur eine interessante Struktur von 4 NUMA-Knoten aufweist, Knoten mit heterogenem Speicherzugriff. Sie können mit einem Kanal arbeiten, aber dann kommt es zu Verzögerungen, die durch diese Architektur verursacht werden. In neueren Threadrippern, die bereits auf ZEN 2 basieren, ist diese Funktion nicht mehr verfügbar, aber der Wunsch des Computers nach vielen Speicherkanälen bleibt bestehen. “
Daher haben wir das
Motherboard- Limit für die Anzahl der Speichersteckplätze hergeleitet, mindestens 4 (um 32 Gigabyte zu erhalten) und vorzugsweise 8. Es lohnt sich, sofort darüber nachzudenken, ob Sie eine zweite Grafikkarte verwenden möchten, und natürlich den Hersteller zu Rate zu ziehen. Hier stellen wir fest, dass es nicht so viele Angebote auf dem Markt für PCs gibt (nicht für Server), die unseren Beschränkungen entsprechen (zumindest gab es nur wenige, als diese Maschine verfügbar war). Natürlich kommt mir ASUS in den Sinn, und mit einem unbeschränkten Budget würde ich es annehmen, aber wenn wir versuchen, in das Framework zu passen, nehmen wir ASRock, den jüngeren Bruder eines großen Unternehmens, der auch nach dem Rubel verfügbar ist.
Natürlich ist es bei einem so schnellen Rechner seltsam, sich auf die Geschwindigkeit der Festplatte zu verlassen, was bedeutet, dass wir eine SSD benötigen. Sie sind natürlich teurer, aber es stellt sich heraus, dass nur wenige Aufgaben Terabyte an Daten bei ständigem Zugriff erfordern. Sie können also 512 GB aufnehmen und Datensätze, die Sie noch nicht löschen möchten, zusammen mit einer Sammlung von Heimvideos auf einer separaten klassischen Terabyte-Festplatte aufbewahren. Oder mehr. Wie viel wird benötigt und was wird das Budget ermöglichen.
Nachdem wir die Hauptkomponenten zusammengetragen haben, fragen wir uns, was der Wirtschaft Macht verleihen kann. Denken Sie dann an die Entwicklung und zum Beispiel an die zweite Grafikkarte (am besten mit Rand). Und natürlich muss entschieden werden, wer diese Kraft abkühlt. Da sich die Fadenreißer am 8. März wie Blumen erwärmen, benötigen Sie ein leistungsstarkes Kühlsystem. Formell ein starker Luft- und Wasserzugang, aber ich rate Ihnen, Wasser zu nehmen: Es ist im Preis mit einer starken Luft vergleichbar, aber es wird kein konstantes Gefühl geben, dass Sie auf der Landebahn leben. Außerdem ist in den letzten Jahren die Anzahl der Hersteller, die gesunde Kühler speziell für Threadripper anbieten, gestiegen - es gibt eine große Auswahl.
Im Allgemeinen ist alles zusammengebaut, es bleibt in einem geräumigen Gebäude zu packen - es gibt keinen Rat, dies ist eine Chance zur Selbstdarstellung - Sie können diejenige wählen, die Ihnen gefällt.
Es gibt die folgenden Möglichkeiten, um das ganze Glück zu kaufen :
- Um jemanden außerhalb zu sammeln
- Vorteile : Kann das Paket erneut überprüfen, keine Kompatibilitätsprobleme
- Minus : ~ 10-15% der Kosten, abhängig von der Komplexität der Arbeit und den Kosten der Komponenten
- Schreiben Sie alles auf ein Blatt Papier, kommen Sie nach Savelovsky / Gorbushka (wenn Sie in Moskau leben) und sammeln Sie es dort ab.
- Pluspunkte : Als würde bei der Lieferung nichts schlagen, würden sie alles mit Ihnen machen, weniger Geld für die Montage
- Nachteile : Es gibt möglicherweise nicht die billigsten Komponenten (selbst im Rahmen eines Marktes springt der Preis um bis zu 50%, plus für diesen Preis kann ich versuchen, B / Y zu verwenden)
- Bestellen Sie alles auf Yandex Market
- Pro : günstige Option verfügbar
- Nachteile : Die Lieferung ist schwer zu überprüfen
- Alles im ausland bestellen (aliexpress / ebay)
- Pluspunkte : die günstigste Variante, Überraschung bei der Ankunft
- Minus : Überraschung bei der Ankunft (im Ernst, mach das nicht - sie gewinnen häufiger bei Sportloto)
Ich selbst habe die erste Option gewählt (persönlich kann ich bestimmte Personen empfehlen).
Als alles ankam und zusammengebaut war, musste das System noch gerollt werden.
Dies ist eine Geschichte für einen separaten Beitrag, den ich kurz erläutern möchte: Da ich ihn auch als Desktop verwenden wollte und bereits Erfahrungen mit Linux gesammelt habe, habe ich mich aufgrund seiner Beliebtheit für Ubuntu Linux entschieden.
Wenn alles funktioniert, fragen Sie Ihren ISP nach einer statischen IP - diese ist kostenlos oder kostengünstig und ermöglicht den Zugriff auf Ihre Jupiter-Laptops von nahezu jedem Ort aus.
Abschließend möchte ich sagen, dass ich meine Meinung zum Ausdruck gebracht habe, die aus dem Studium des Marktes und der Kommunikation mit Fachleuten hervorgegangen ist. Ich habe das Budget erreicht und seit fast einem Jahr funktioniert das Wunder der modernen Technologie reibungslos. Nach einiger Zeit habe ich jupyterhub installiert und angefangen, Freunde zu finden, damit wir in unserer kleinen Kommune auf dem Server leben und die Netze trainieren, was ich für Sie will.
Endgültige Berechnung (Preise ab 2019):
Gepostet von Nikolai Knyazev, Leiter der Gruppe Maschinelles Lernen, Jet Infosystems