Fortsetzung unserer
Reihe von Open Source-Entwicklertools. Heute sprechen wir über Frameworks und Bibliotheken für MO - Transformers, Accord.NET und MLflow.
Fotos - Franck V. - Unsplash
Dies ist eine Modellbibliothek in natürlicher Sprache für TensorFlow 2.0 und PyTorch. Es enthält mehr als 32 vorgefertigte Modelle - BERT, DistilBert, XLM, GPT-2, XLNet und andere.
Die Autoren der Bibliothek waren Ingenieure der Firma HuggingFace, die NLP-Algorithmen entwickelten. Sie haben das HMTL-Modell (
Hierarchical Multi-Task Learning ) des maschinellen Lernens eingeführt, das einen weiteren Schritt zur Lösung des Problems der „
katastrophalen Vergesslichkeit “ unternahm. HMTL wurde auf der AAAI 2019 gezeigt, einer internationalen akademischen Konferenz über künstliche Intelligenzsysteme.
Ein wesentliches Merkmal von Transformers ist die Fähigkeit, trainierte Modelle auszutauschen und von einem Framework in ein anderes zu konvertieren: TF2.0 oder PyTorch. Die Entwickler stellen fest, dass wir mit ihrer Lösung das Verfahren zum Trainieren des Modells mit drei Codezeilen beschreiben können.
Rund um die Bibliothek hat sich eine umfangreiche Community gebildet - fast
15.000 Sterne auf GitHub . Sie können die Funktionen von Transformers selbst
auf der Projektwebsite bewerten: Die Entwickler haben dem neuronalen Netzwerk beigebracht, Vorschläge für Sie anzuhängen.
Ein von C # geschärftes Framework, das grundlegende Tools für die Datenanalyse und das maschinelle Lernen bietet: vom Testen statistischer Hypothesen bis zum Erstellen von Modellen für Computer Vision und Bildverarbeitung. Accord.NET ist eine der beliebtesten MO-Lösungen im .NET-Ökosystem. Ursprünglich war es eine Erweiterung der
AForge.NET- Bibliothek, wurde dann aber absorbiert.
Das Tool bietet Wahrscheinlichkeitsverteilungen, Kernfunktionen und Benchmarks zur Bewertung der Leistung von Modellen. Accord.NET ist in Bibliotheken unterteilt, die als ausführbare Module, komprimierte Archive oder
NuGet-Pakete verfügbar sind . Dazu gehören:
Mathematik für die Arbeit mit Matrizen,
Bildgebung für die Bildverarbeitung und
Audio mit Tonfunktionen. Sie können
Neuro auch mit den Algorithmen Levenberg - Marquardt und Deep Learning hervorheben.
Accord.NET wurde für die Forschung von Ingenieuren von Universitäten in
Großbritannien ,
Ägypten , China und anderen Ländern verwendet. Und im Allgemeinen verwendet das Framework eine ziemlich große Anzahl von Entwicklern - es hat mehr als
3,5 Tausend Sterne auf GitHub .
Unter den Mängeln kann eine verwirrende Dokumentation unterschieden werden, die für Anfänger schwierig ist. Obwohl die Situation durch die Verfügbarkeit einer
Kurzanleitung und detaillierter Kommentare im Code leicht vereinfacht wird. Weitere Informationen zu Accord.NET finden Sie auch in der Literatur. Die Entwickler selbst empfehlen
Projekte für maschinelles Lernen für .NET-Entwickler ,
F # für Grundlagen des maschinellen Lernens und
einige andere .
Fotos - Franck V. - Unsplash
Es ist eine Plattform für den gesamten Zyklus des maschinellen Lernens und vereinfacht die Entwicklung, Bereitstellung und den Austausch von Modellen. Es bietet eine Reihe von APIs, die mit jeder Bibliothek (TensorFlow, PyTorch, XGBoost usw.) und in jeder Umgebung, einschließlich der Cloud, funktionieren. MLflow-Entwickler sind Programmierer von Databricks, einem Startup, das von Mitarbeitern von Apache Spark gegründet wurde.
MLflow verfügt über integrierte Integrationen mit Docker, TensorFlow, PyTorch, Kubernetes, Java, Spark und anderen Open Source-Projekten. Gleichzeitig wird MLflow von Organisationen wie Microsoft, Accenture, SK Telecom und sogar der Washington University verwendet.
Unter den Nachteilen von MLflow kann man die
mangelnde Unterstützung für R und Java trotz ihrer Beliebtheit im Bereich des maschinellen Lernens herausstellen. Der Punkt hier ist jedoch die relative Jugend des Projekts, und die Entwickler versprechen, in Zukunft geeignete APIs hinzuzufügen. Die Jugend des Instruments hinterlässt einen weiteren Eindruck -
es gibt Fehler in seiner Arbeit.
Wenn Sie MLflow bei der Arbeit unabhängig bewerten möchten, können Sie sich
mit der offiziellen Dokumentation vertraut machen. Wenn Sie Fragen haben, hilft Ihnen eine relativ kleine, aber aktive Community
auf StackOverflow oder
Google Groups bei der Lösung.
Unsere anderen Kollektionen:
Sparen Sie Zeit bei der Arbeit mit der Befehlszeile
Benchmarks für Server unter Linux: eine Auswahl offener Tools
Was wir über Habré schreiben:
Was ist über VMworld 2019 bekannt?
Das Verständnis der Datenschutzrichtlinien für Anwendungen und Dienste hilft neuronalen Netzen
Das EU-Gericht lehnt Cookies standardmäßig ab - es sollten keine vorab aktivierten Kontrollkästchen vorhanden sein
Wir bieten einen
Cloud-Facility-Storage-Service an . Zum Sichern, Archivieren und Teilen von Dokumenten.