Untuk tahun kedua, kami (DZ Systems) telah merekam serangkaian program transformasi digital. Biasanya ini adalah program "yang terkait dengan bisnis", terutama ditujukan untuk manajer puncak dan dirancang untuk membantu memahami nilai bisnis dari apa yang disebut transformasi digital.
Tapi tahun ini, kami juga sedang syuting "lini kedua" program - DZ Online Tech, sekarang sudah fokus pada aspek teknologi dari topik yang sama. Singkatnya - itu adalah "di bawah tenda."
Di bawah ini adalah transkrip dari program lain di mana Ivan Yamschikov dan I (Yandex, ABBYY, dan profesional kelas tinggi pada umumnya) berbicara tentang penggunaan jaringan saraf di dunia modern.
Jika tertarik,
Anda bisa menonton programnya sendiri .
Dan bagi mereka yang suka membaca - transkrip di bawah ini:
- Halo. Tamu kami hari ini adalah Ivan Yamshchikov dari ABBYY, yang
akan memberi tahu kita cara kerja kecerdasan buatan modern.
Sehubungan dengan AI, ada dua posisi kondisional: orang yang mengatakan: “Kami tidak mau
tidak mengerti apa-apa tentang esensi dari apa yang terjadi dalam sistem. Kami memiliki metode statistik,
siapa sendiri yang akan mengambil model dari kehidupan eksternal. Model ini akan benar, itu akan menjadi
Rasakan semua seluk beluk semantik. " Dan ada orang yang mengatakan, "Tidak, itu
tidak diizinkan Kami mengerti apa yang terjadi. Kita harus menempatkan pemahaman ini ke dalam sistem.
kecerdasan buatan, dan kemudian itu akan lebih berharga, lebih baik dan lebih baik. " Pertempuran ini
Apakah ada kriteria?"Biarkan saya jelaskan dalam bahasa yang kurang filosofis." Ada orang yang mengatakan: “Kami membutuhkan lebih banyak
Algoritma yang lebih kuat, lebih kuat, dan lebih banyak data. Kami akan mengambil lebih banyak
algoritma yang produktif, dan itu akan memberi kita kualitas target yang lebih besar pada volume yang lebih besar
metrik, tidak peduli apa. " Saya tidak tahu orang-orang yang mengatakan bahwa mereka tidak membutuhkan data atau
Algoritma Oleh karena itu, kelompok orang kedua, menurut saya, memiliki pendekatan berikut: “Selain itu
dari semua ini, alangkah baiknya bagi kita untuk tetap memiliki tanda-tanda manusia dalam satu atau lain bentuk, semacam
pengetahuan ahli, tambahkan di atas. "
Ada lelucon di Google yang sering dikutip: semakin sedikit ahli bahasa yang bekerja
produk, semakin baik kualitas akhirnya. Lelucon ini mungkin dibenarkan dengan latihan.
layanan B2C massal. Tetapi ketika kita berbicara tentang B2B dalam konteks kelontong sempit
solusi, dalam konteks tugas yang sangat jelas dan bidang yang terdefinisi dengan baik, kemudian
pengetahuan ahli mulai memainkan peran yang agak penting. Kami menggabungkan di dalam ABBYY dan
model ontologis yang dibangun ahli bahasa dan pendekatan pembelajaran mesin murni.
- Saya ingin memberikan contoh: kami melakukan proyek untuk Mosvodokanal. Ada tugas seperti itu:
Mosvodokanal adalah jaringan yang kompleks, entah bagaimana berfungsi dan entah bagaimana berperilaku. Dan saya menginginkan sesuatu
maka untuk memahaminya, disarankan untuk memprediksi kecelakaan, untuk merasakan ketika ada sesuatu yang salah
terjadi.- Anda melakukan sistem pemantauan.
- Ya, kami melakukan semacam sistem analisis perilaku, yang seharusnya mengatakan: "Dalam hal ini
ada sesuatu yang salah di sudut. " Kami benar-benar tidak dapat mengatakan apakah ini kecelakaan atau hanya fluktuasi.
perilaku karena mereka secara fisik tidak dapat dibedakan ...- Saya membuat sistem yang sama untuk memonitor lalu lintas.
- Topik yang sangat mirip. Selama proyek, kami berkelahi dengan para insinyur yang mengatakan:
"Dengar, kamu melakukan sampah. Hal ini diperlukan untuk mengukur semua pipa, diameternya eksternal dan
internal, lalu masukkan informasi tentang kehalusan dinding. Dan kemudian menghitung
model hidrodinamik, dan dia akan menunjukkan segalanya. " Dan kami berkata: “Jangan.
Beri kami data dari sensor, kami akan mengarahkan mereka ke dalam model stat, dan dia, tidak tahu apa-apa tentang itu
Fisika, itu akan tetap berhasil, karena itu akan menghilangkan perilaku nyata. " Itu lurus
kasus utama dari apa yang kita bicarakan. Di satu sisi, ini adalah pengetahuan tertinggi.
fisika karya fenomena yang kita kemas secara langsung, dan yang kedua
sisi adalah kesalahpahaman pamungkas. Kami tidak mengerti cara kerjanya
hidrodinamika - kami bahkan tidak ingin memahami ini.- Kesombongan adalah karakteristik orang yang mengetahui statistik dengan baik. Seperti kata Mark
Twain: "Ada tiga jenis kebohongan - kebohongan, kebohongan tak tahu malu, dan statistik."
- Kami akhirnya mengalahkan mereka karena satu alasan yang sangat sederhana: untuk mengumpulkan informasi tentang semua orang
pipa-pipa ini tidak mungkin. Tapi, di sisi lain, beberapa pengetahuan mendalam tentang subjek
daerah tidak bisa membantu tetapi.- Orang yang merupakan kendaraan pengetahuan ini percaya bahwa itu benar, karena memang benar
bidang keahlian mereka. Tetapi pada saat yang sama, pada kenyataannya, kita mengerti tentang bahasa alami
ilmu komputer, jauh lebih sedikit daripada yang kita inginkan, karena banyak
istilah dan kategori tidak didefinisikan secara matematis, tetapi secara intuitif. Ini mengarah pada fakta bahwa
orang-orang yang sepenuhnya datang dari sisi ilmu komputer, ada yang bisa dimengerti
ketidakpercayaan orang yang datang dari sisi linguistik dan sebaliknya. Di ABBYY itu
memutuskan bahwa keduanya bekerja pada produk, bertanggung jawab atas bagian yang berbeda, dan Anda
Anda dapat mengukur seberapa banyak kualitas ini dan ini menambah Anda. Inilah caranya
tes dan eksperimen.
- Ini juga masalah besar. Kita semua tahu bahwa ada masalah pengoptimalan lokal.- tentu saja Ini pelatihan ulang. Namun seringkali hal-hal yang terkait dengan hal biasa
pendekatan linguistik memungkinkan Anda untuk menangani pelatihan ulang. Karena ahli bahasa sering mencoba untuk membuat aturan umum, dan kemudian ada cerita yang hebat dan indah
tentang pengecualian. Siapa pun yang telah membaca buku Rosenthal tentang bahasa Rusia di sekolah bingung:
oh my god, apa yang dilakukan para filolog? Mereka menyebut aturan apa sebenarnya
adalah ...
- Satu set pengecualian.- Tapi pada dasarnya, ini persis cerita yang sama tentang kesalahan dalam ujian. Jika Anda melihatnya dengan
sudut pandang pembelajaran mesin, sejumlah besar aturan linguistik
mencakup sejumlah besar contoh dan membiarkan beberapa kesalahan
data uji. Jika Anda mengambil aturan ini dan berlaku untuk data model Anda
Saya tidak pernah melihat, model di tempat ini salah. Tetapi banyak heuristik linguistik
memungkinkan Anda untuk melindungi diri dari pelatihan ulang.
- Saya mendengar Anda dengan benar bahwa jika kami mengambil buku tentang bahasa Rusia dan mengendarainya
ke dalam model, kemudian, meramalkan aturan-aturan ini, apakah model itu tentu salah?- tentu saja Benar juga. Setiap aturan ketat akan selalu menyebabkan kesalahan, karena,
Sayangnya atau untungnya, kecerdasan buatan jauh lebih fleksibel daripada yang ditetapkan
aturan sederhana.
- Ini juga karena fakta bahwa ketika kita berbicara tentang memformalkan aturan alam
bahasa, kita berada di tempat ini mau tak mau terlibat dalam tugas yang tidak terpecahkan. Kedalaman ini
prosesnya tidak ada habisnya.- Ini pertanyaan filosofis. Pada level mesin, kedalamannya tampak tidak terbatas, tetapi ada
sebuah artikel yang menarik, menurut saya, 2015. Tamasya singkat: ada bagian matematika seperti itu,
yang disebut teori informasi. Secara khusus, ini digunakan dalam teori pengkodean.
Di Rusia, itu dibuat oleh Kolmogorov dan rekan, di AS - oleh Shannon. Pertama-tama
ditemukan dalam konteks kriptografi.
Dalam teori informasi ada yang namanya "informasi umum". Jika sepenuhnya di jari
katakan: bayangkan bagaimana makna kata Anda dalam sebuah teks berkorelasi
tergantung pada jarak di antara mereka. Bayangkan metrik seperti itu. Jika saya ada di sini
ia mengatakan "Petya", lalu n-kata, dan kemudian kata "makan". Bahkan, kata-kata "makan" dan "Petya"
berkorelasi, terlepas dari kenyataan bahwa kata "dimakan" dapat cukup jauh dari "Petit".
Jika kita secara statistik membangun model korelasi ini, ternyata itu sebagai fungsi dari
jarak, informasi umum ini dalam teks menurun agak lambat - tidak secara polinomi, tetapi
lebih lambat. Secara kasar, dalam teks bahasa alami ada korelasi antara kata-kata,
berjauhan.
Tentang hal yang sama diamati dalam "teks" DNA: nukleotida kita juga berkorelasi
jarak yang relatif besar. Secara khusus, sistem semacam ini berusaha untuk menggambarkan
teori kompleksitas, dll. Keseluruhan cerita tentang efek kupu-kupu - ini tentang itu, yang Anda miliki sedikit
penyimpangan di satu tempat dapat menyebabkan beberapa perubahan signifikan jauh.
Bahasa alami dijelaskan oleh dependensi semacam ini. Sekarang, katakanlah LSTM (Panjang
Jaringan Memori Jangka Pendek) dianggap yang paling canggih, dalam hal memori, saraf
sebuah jaringan yang digunakan untuk menganalisis bahasa hanya untuk membuat teman-teman yang jauh jangkauannya
untuk menangkap korelasi dari seorang teman. Di sini dia, infeksi, memori berkurang lebih cepat dari yang diperlukan.
Ini adalah topik besar untuk penelitian. Secara khusus, kami di Max Planck Institute berusaha
harus dilakukan. Ada hasil yang menarik dari teori grafik, yang mengatakan bahwa jika Anda memiliki siklus di jaringan Anda, maka ia harus memiliki lebih banyak memori. Kita tahu bahwa di otak kita ada beberapa
ini adalah frekuensi karakteristik, dan ada siklus di otak. Sinyal berjalan di sepanjang mereka, neuron menstimulasi
satu sama lain dalam lingkaran dengan frekuensi yang diberikan. Dalam jaringan saraf tiruan, kita masih
tidak dapat mereproduksi.
"Kenapa kita tidak bisa?" Tambahkan loop! Silakan isi siklus dari tas."Dan aku akan memberitahumu." Bagaimana kita belajar jaringan saraf? Menggunakan backpropagation
kesalahan. Penyebaran kembali kesalahan adalah ketika Anda memiliki bagian saraf langsung
jaringan dan mundur.
- Begitu ada siklus, segera mulai masalah dengan perulangan ini
kesalahan?- Ya! Apa yang harus dilakukan Bagaimana cara melakukan back propagation?
Teman-teman, perbanyak kembali siklus itu dan Anda akan membuat terobosan yang kuat dalam pengembangan
kecerdasan buatan. Saya memberi tahu semua orang: kita perlu melakukan ini, itu sangat keren. Itu nyata
tugas yang sulit.
- Dan jika orang-orang yang berurusan dengan otak ini mencari tahu cara kerjanya di otak, itu adalah
Bisakah itu dimasukkan? Tampaknya hari ini antropomorfisme dari apa yang kita lakukan adalah
sangat rendah.- Ayo: apa yang umum antara ImageNet dari Google dan kerang? Ternyata kurang lebih
itu saja. Awalnya, moluska dibongkar dan melihat bahwa bidang visualnya diatur sebagai
jaringan konvolusi modern, jika Anda suka. Sekali waktu di 50-an Rosenblatt dan rekan-rekannya
dibongkar, dan muncul dengan perceptron, sebagian besar melihat hal-hal yang hidup dan sangat sederhana. Mereka adalah
berpikir bahwa kita sekarang akan mengerti bagaimana organisme primitif bekerja, dan kemudian kita akan mulai membangun
rumit.
- Mengapa mereka tidak berhasil? Pada masa itu, diyakini bahwa perceptron tidak hidup.
Tidak cukup kekuatan?- Ada banyak masalah. Ayo: ada beberapa musim dingin AI, yaitu orang setiap saat
datang dengan beberapa terobosan baru di bidang kecerdasan buatan, dan berpikir: "Itu saja,
Jarvis akan menjadi teman baik saya besok dan akan berkomunikasi dengan saya lebih baik daripada saya
psikoanalis. " Dan kemudian sesuatu terjadi, seperti Jarvis yang sama. Saya sangat suka lelucon ini
dari film "Iron Man", di mana pada awalnya semuanya berjalan dengan baik, dan kemudian Anda mengucapkannya
beberapa cranberry. Jadi Jarvis memberi tahu karakter utama ketika dia bertanya apakah dia berselisih
semua sistem.
- Bagaimana tampilannya secara praktis? Di mana batasannya, jika Anda membawa aplikasi
sisi?- Pertama, sekarang bahkan hal yang paling kuat yang kami kumpulkan secara artifisial, sangat
lebih kecil dari otak kita hanya dalam urutan besarnya.
Dan poin kedua terkait dengan fakta bahwa kita tidak mengerti mengapa mereka bekerja. Itu terpisah
area penelitian yang luas.
- Tampaknya mereka sudah mulai memberi tahu.- Pertama mereka menemukan apa yang berhasil, kemudian mereka mulai mencari tahu cara kerjanya.
Ada arah terpisah tentang cara memvisualisasikan operasi jaringan saraf. Ada yang terpisah
formalisme matematika yang disebut Informasi Dekomposisi, yang berusaha untuk menggambarkan
bagaimana penguraian informasi menjadi aliran berbeda dalam jaringan untuk memahami apa
lapisan apa yang sedang terjadi. Dengan gambar, itu mulai berubah dan yang terakhir ternyata
beberapa tahun. Dengan teks semakin sulit.
Mengapa kita tidak mengerti cara kerjanya? Karena matematika kita tidak bagus
hasil yang akan menjelaskan segalanya kepada kami. Kami tidak memiliki teorema yang terbukti
itu berhasil. Karena, katakanlah, pada tingkat jaringan saraf convolutional: Anda punya
gambar, seekor anjing digambar di atasnya. Ada begitu banyak piksel dalam gambar ini, masing-masing
piksel ada banyak nilai. Jika Anda mencoba menggabungkan jumlah
opsi untuk kombinasi piksel yang masih ditambah hingga seekor anjing - Anda lelah. Di
Anda seharusnya memiliki ruang dimensi yang cukup besar dan banyak pilihan
keputusan. Apalagi, jika Anda mulai melatih jaringan saraf convolutional dengan nomor tersebut
parameter jauh lebih sedikit dari jumlah gambar potensial seekor anjing, Anda melatih
dengan cara yang relatif sederhana. Dia memberitahumu di pintu keluar, apakah itu anjing atau bukan anjing, tapi
Anda memberi tahu dia ya atau tidak. Tiba-tiba setelah beberapa saat ternyata dia bisa Anda
memberikan kualitas yang sangat baik pada gambar anjing yang tidak dia lihat.
- Apakah tingkat generalisasi sangat tinggi?- Ya, ini adalah tingkat generalisasi yang tidak terduga. Setiap orang menerima kenyataan bahwa itu berhasil, semua orang
menerapkannya di mana-mana, tetapi hasil matematika benar-benar dibuktikan, yang akan
menjelaskan mengapa tingkat generalisasi seperti itu dimungkinkan, tidak. Dan ada beberapa hipotesis, satu
yang menurut saya paling menarik. Bukan apa yang terjadi pada semua orang
neuron, dan bagaimana Anda menghubungkan neuron ini. Struktur jaringan itu sendiri, tampaknya, bagi Anda
memungkinkan Anda untuk mencapai generalisasi tertentu pada tingkat tertentu. Sangat menarik
hipotesis, karena jika itu benar, maka itu terhubung dengan baik dengan neurofisiologi, dan kemudian
Anda dapat mengambil dan mencoba sesuatu yang lain dari neurofisiologi. Ada beberapa yang lain
asumsi, tapi ini pertanyaan: orang sekarang menulis kilogram artikel per bulan tentang bagaimana itu
bekerja.
- Ada perasaan bahwa Python adalah bahasa AI. Apakah ini kecelakaan atau tidak? Mengapa
Python, lagipula, ada banyak Basic.- Karena cukup banyak pekerjaan seorang ilmuwan Data sekarang berjumlah
pembuatan prototipe. Lebih mudah untuk membuat prototipe dengan Python, itu dibuat sebagai bahasa untuk
prototyping, dan bukan sebagai bahasa untuk solusi industri. Kami di ABBYY punya orang
yang prototipe dengan Python, dan ada orang yang menulis model akhir dalam C ++,
yang sedang dilaksanakan. Komunitas Python aktif menggunakan wave ini dan ada umpan balik positif. Ada permintaan, yaitu, ilmu data semakin banyak dilakukan
Python, masing-masing, komunitas mulai jenuh dengan orang-orang yang mencoba
kembangkan bahasa itu sendiri. Semua ini terhubung.
- Ketika kita berbicara tentang prototyping, itu melibatkan menjalankan besar
jumlah tes, percobaan. Ada masalah dengan komputasi
sumber daya.- Sumber daya komputasi sendiri menjadi lebih murah, ada solusi cloud yang dibuat
terjangkau. Secara kasar, seorang siswa dengan akses internet dapat secara singkat
uang untuk mendapatkan server yang cukup kuat, untuk mendorong sesuatu di dalamnya dan beberapa
dapatkan modelnya, dan pasang AI, misalnya, ke pembuat kopi. Ada banyak faktor
saling mendorong. Karena Internet, ambang batas untuk memasukkan pemrograman dan
teknologi secara umum. Banyak besi yang relatif murah muncul, juga masuk ke dalamnya
awan. Anda dapat membeli waktu, bukan besi. Banyak data langsung telah muncul.
Misalnya, di tahun 80-an, orang yang terlibat dalam ilmu data memiliki masalah mendasar: di mana
ambil data? Dan sekarang untuk banyak tugas terapan, jelas di mana mendapatkannya.
Elemen kunci untuk pembelajaran mesin: algoritma, data, dan perangkat keras yang menjadi dasar pembelajaran ini
Algoritma bekerja. Ketiga opsi ini menjadi lebih mudah diakses. Dalam hal ini, algoritma telah menjadi
lebih terjangkau, dalam arti ada solusi kotak berkualitas baik. Mereka adalah
diimplementasikan dalam bahasa dengan sintaks sederhana yang intuitif, rendah
tingkat entri dan banyak sumber daya pendidikan.
- Microsoft guys bercerita tentang bagaimana sekelompok kecil mengambil jaringan saraf
dan model bisnis dari sebuah perusahaan kecil dan sederhana yang mengirimkan roti. Dan dari tongkat dan
tali ternyata membangun model yang mengoptimalkan bisnis ini dan memberi + 10%
untuk efisiensi. Apakah gambar seperti itu lebih merupakan pengecualian atau aturan?- Ini agak aturan. Menurut pendapat saya, Kelly (seorang futurolog terkenal) memiliki kuliah yang bagus
masa depan AI, di mana dia mengatakan bahwa dalam 20 tahun mereka akan memperlakukan kita dengan cara yang sama kita
Kami memperlakukan mereka yang merupakan pelopor Internet. Kami sekarang mengatakan: "Betapa mudahnya bagi Anda dalam 90-
e tahun untuk melakukan bisnis Internet. " Dan dalam 20 tahun mereka juga akan memperlakukan kita, mengatakan: "Bagaimana
Mudah bagi Anda untuk melakukan bisnis dengan AI. Dia mengambil apa saja, menambahkan AI ke dalamnya dan menjadi pemimpin dalam hal ini
kategori. " Setidaknya ini adalah pendapat Kelly, dan saya bagikan.
- Anda dan saya mengalami sejumlah apa yang terjadi di industri, dan melihat ini
gambaran ketika apa yang sekarang menjadi komoditas dulunya adalah negara seni. Berdasarkan miliknya
pengalaman, dapatkah kami memberi tahu orang-orang yang sekarang menjadi bagian dari teknologi AI
dan bagaimana mereka harus bergerak?- Saya punya dua tips yang sepertinya masuk akal bagi saya. Pertama, jangan lakukan satu di sudut.
Temukan beberapa orang yang berpikiran sama, bekerja dengan satu sama lain dan menunjukkan
apa yang kamu lakukan dalam komunitas yang lebih luas. Dan kedua, kurang pikirkan
model spesifik yang akan Anda gunakan karena mereka akan berubah,
semakin baik. Dan jika Anda tidak berada di level sekarang untuk memperbaikinya sendiri, Anda
Anda perlu tahu lebih sedikit tentang bagaimana sebenarnya model ini bekerja dan mengapa lebih baik. Kamu butuh
pikirkan lebih lanjut tentang masalah yang Anda selesaikan.