Melanjutkan
serangkaian alat pengembang sumber terbuka kami. Hari ini kita berbicara tentang kerangka kerja dan pustaka untuk MO - Transformers, Accord.NET dan MLflow.
Foto - Franck V. - Unsplash
Ini adalah perpustakaan model bahasa alami pada TensorFlow 2.0 dan PyTorch. Ini berisi lebih dari 32 model pra-pelatihan - BERT, DistilBert, XLM, GPT-2, XLNet dan lainnya.
Para penulis perpustakaan adalah insinyur dari perusahaan HuggingFace, mengembangkan algoritma NLP. Merekalah yang memperkenalkan model pembelajaran mesin
Hierarchical Multi-Task Learning (HMTL), yang mengambil langkah lain menuju penyelesaian masalah “
pelupa katastropik ”. HMTL ditampilkan di AAAI 2019, sebuah konferensi akademik internasional tentang sistem kecerdasan buatan.
Karakteristik utama Transformers adalah kemampuan untuk bertukar model terlatih dan mengubahnya dari satu kerangka kerja ke kerangka lain: TF2.0 atau PyTorch. Pengembang mencatat bahwa solusi mereka memungkinkan kami untuk menggambarkan prosedur untuk melatih model dengan tiga baris kode.
Sebuah komunitas luas telah terbentuk di sekitar perpustakaan - hampir
15 ribu bintang di GitHub . Anda dapat mengevaluasi kemampuan Transformers sendiri
di situs web proyek : para pengembang mengajarkan jaringan saraf untuk menambahkan proposal untuk Anda.
Kerangka yang dipertajam oleh C # yang menyediakan alat dasar untuk analisis data dan pembelajaran mesin: dari pengujian hipotesis statistik hingga membangun model visi komputer dan pemrosesan gambar. Accord.NET adalah salah satu solusi MO paling populer di ekosistem .NET. Awalnya, itu adalah perpanjangan dari perpustakaan
AForge.NET , tetapi kemudian diserap.
Alat ini menawarkan distribusi probabilitas, fungsi inti, dan tolok ukur untuk mengevaluasi kinerja model. Accord.NET dibagi menjadi perpustakaan yang tersedia sebagai modul yang dapat dieksekusi, arsip terkompresi, atau
paket NuGet . Diantaranya adalah:
Matematika untuk bekerja dengan matriks,
Pencitraan untuk pemrosesan gambar dan
Audio dengan fungsi suara. Anda juga dapat menyorot
Neuro dengan Levenberg - Marquardt dan algoritma pembelajaran yang mendalam.
Accord.NET digunakan untuk penelitian oleh para insinyur dari universitas di
Inggris ,
Mesir , Cina dan negara-negara lain. Dan secara umum, kerangka kerjanya menggunakan jumlah pengembang yang cukup besar - ia memiliki lebih dari
3,5 ribu bintang di GitHub .
Di antara kekurangannya bisa dibedakan dokumentasi yang membingungkan, sulit bagi pemula. Meskipun situasinya sedikit disederhanakan oleh ketersediaan
panduan mulai cepat dan komentar rinci dalam kode. Informasi lebih lanjut tentang Accord.NET juga dapat ditemukan dalam literatur. Para pengembang sendiri merekomendasikan
Proyek Pembelajaran Mesin untuk .NET Developers ,
F # untuk Machine Learning Essentials , dan
beberapa lainnya .
Foto - Franck V. - Unsplash
Ini adalah platform untuk siklus penuh pembelajaran mesin, menyederhanakan pengembangan, penyebaran, dan pertukaran model. Ia menawarkan satu set API yang berfungsi dengan perpustakaan apa pun (TensorFlow, PyTorch, XGBoost, dll.) Dan di lingkungan apa pun, termasuk cloud. Pengembang MLflow adalah programmer dari Databricks, sebuah startup yang didirikan oleh orang-orang dari Apache Spark.
MLflow memiliki integrasi bawaan dengan Docker, TensorFlow, PyTorch, Kubernetes, Java, Spark dan proyek sumber terbuka lainnya. Pada saat yang sama, MLflow digunakan oleh organisasi seperti Microsoft, Accenture, SK Telecom, dan bahkan Washington University.
Di antara kekurangan MLflow, orang dapat memilih
kurangnya dukungan untuk R dan Java, meskipun popularitas mereka dalam pembelajaran mesin. Tetapi intinya di sini adalah kaum muda relatif dari proyek, dan pengembang berjanji untuk menambahkan API yang sesuai di masa depan. Pemuda instrumen meninggalkan jejak lain -
ada bug dalam pekerjaannya.
Jika Anda ingin mengevaluasi secara independen MLflow di tempat kerja, Anda dapat mulai membiasakan diri
dengan dokumentasi resmi . Jika Anda memiliki pertanyaan, komunitas yang relatif kecil namun aktif
di StackOverflow atau
Google Groups akan membantu dengan solusi mereka.
Koleksi kami yang lain:
Hemat waktu saat bekerja dengan baris perintah
Tolok ukur untuk server di Linux: pilihan alat terbuka
Apa yang kami tulis di Habré:
Apa yang diketahui tentang VMworld 2019
Memahami kebijakan privasi aplikasi dan layanan akan membantu jaringan saraf
Pengadilan UE menentang cookie secara default - seharusnya tidak ada kotak centang yang sudah diperiksa sebelumnya
Kami menawarkan
layanan penyimpanan fasilitas cloud . Untuk cadangan, pengarsipan, dan berbagi dokumen.