Apa yang dilihat jaringan saraf di foto pertama sebuah lubang hitam

Teman-teman, banyak yang mungkin ingat gambar lubang hitam yang mengejutkan semua orang di bulan April tahun ini. Kami menemukan materi yang sangat menarik di mana kami akan berbicara tentang apa yang dipikirkan oleh algoritma kecerdasan buatan tentang citra lubang hitam. Dengan menerjemahkan materi ini, kami melanjutkan serangkaian publikasi yang didedikasikan untuk peluncuran kursus Jaringan Saraf Python . Kami memperingatkan Anda bahwa materi tersebut ternyata lebih menghibur daripada informatif, tetapi gambar-gambar ini pasti pantas dilihat. Ayo pergi.



Pada 11 April, para ilmuwan dan insinyur dari teleskop Team of the Event Horizon membuat terobosan nyata dalam memahami proses yang terjadi di luar angkasa. Mereka mempresentasikan gambar pertama (foto) dari lubang hitam. Ini semakin memperkuat teori relativitas umum Einstein, yaitu hipotesis yang menyatakan bahwa "objek besar menyebabkan distorsi dalam ruang-waktu, yang tercermin dalam bentuk perubahan gravitasi."

Yah, saya bukan ahli fisika atau astronom untuk memahami atau menjelaskan cara kerjanya, tetapi saya, seperti jutaan orang yang bekerja di berbagai bidang, terpesona oleh ruang dan terutama fenomena lubang hitam. Gambar pertama dari lubang hitam menyebabkan gelombang kegembiraan di seluruh dunia. Saya seorang spesialis dalam pembelajaran yang mendalam, yang terutama bekerja dengan jaringan saraf convolutional, dan menjadi menarik bagi saya bahwa algoritma kecerdasan buatan “berpikir” tentang gambar lubang hitam. Inilah yang akan kita bicarakan dalam artikel ini.

Kutipan dari Epoch Times ini menggambarkan lubang hitam sebagai berikut: "Lubang hitam terdiri dari" banyak materi yang dikemas dalam ruang yang sangat kecil, "sebagian besar terbentuk dari" sisa-sisa bintang besar yang mati selama ledakan supernova. " Lubang hitam memiliki medan gravitasi yang kuat sehingga cahaya pun tidak dapat menghindarinya. Gambar yang dihasilkan dari lubang hitam M87 ditunjukkan di bawah ini. Fenomena ini dijelaskan dengan baik dalam artikel "Cara memahami gambar lubang hitam, menurut 2 ahli astrofisika" .


Black Hole - M87 - Event Horizon Telescope



Area lubang hitam berbeda. Tangkapan layar dari video vox - Mengapa foto lubang hitam ini adalah masalah besar

1. Apa yang dilihat CCN dalam gambar lubang hitam

CCN (Convolution Neural Network) - jaringan saraf convolutional - kelas algoritma pembelajaran mendalam yang sangat efektif dalam mengenali objek dunia nyata. CCN adalah jaringan saraf terbaik untuk menafsirkan dan mengenali gambar. Jaringan saraf seperti itu dilatih pada jutaan gambar dan dilatih untuk mengenali sekitar 1.000 objek berbeda dari dunia sekitarnya. Saya berpikir untuk menunjukkan gambar lubang hitam ke dua jaringan saraf convolutional yang terlatih dan melihat bagaimana mereka mengenalinya, objek dunia di sekitarnya seperti apa yang tampak seperti lubang hitam. Ini bukan ide yang bijak, karena gambar lubang hitam dihasilkan dengan menggabungkan berbagai sinyal yang diterima dari ruang angkasa menggunakan peralatan khusus, tetapi saya hanya ingin tahu bagaimana gambar akan ditafsirkan tanpa informasi tambahan tentang sinyal.


VGG-16 Prakiraan Jaringan Saraf - Pertandingan


VGG-19 Prakiraan Jaringan Saraf - Pertandingan


Neural Network Forecast ResNet-50 - Lilin

Seperti yang kita lihat pada gambar di atas, VGG-16 dan VGG-19 yang terlatih melihat lubang hitam sebagai pasangan, dan ResNet-50 menganggapnya sebagai lilin. Jika kita menggambar analogi dengan objek-objek ini, kita akan mengerti bahwa itu masuk akal, karena korek api dan lilin memiliki pusat gelap yang dikelilingi oleh cahaya kuning terang.

2. Apa saja tanda-tanda yang diambil CCN dari gambar lubang hitam

Saya melakukan satu hal lagi, saya memvisualisasikan apa yang dihasilkan oleh lapisan menengah VGG-16. Deep learning networks disebut deep, karena mereka memiliki sejumlah lapisan, dan masing-masing memproses representasi dan karakteristik gambar pada input. Mari kita lihat apa yang dipelajari oleh berbagai lapisan jaringan dari gambar yang masuk. Hasilnya cukup cantik.


64 kartu fitur dari lapisan konvolusional pertama VGG-16

Jika Anda melihat lebih dekat, Anda akan melihat bahwa area terang kecil adalah tanda yang kuat, dan bahwa itu diserap setelah melewati sebagian besar filter. Beberapa output filter yang menarik ditunjukkan di bawah ini, dan mereka sudah benar-benar terlihat seperti semacam objek langit.


4 dari 64 kartu fitur dari lapisan konvolusional pertama


64 kartu fitur dari lapisan konvolusional kedua VGG-16

Zoom in pada beberapa peta fitur menarik dari lapisan kedua dari jaringan saraf.


6 dari 64 kartu fitur dari lapisan konvolusional kedua

Sekarang kita akan masuk lebih dalam dan melihat lapisan konvolusional ketiga.


128 kartu fitur dari lapisan konvolusional ketiga VGG-16

Setelah mendekati kami menemukan pola yang akrab.


8 dari peta fitur yang disajikan di atas pada lapisan ketiga

Bergerak lebih dalam, kita mendapatkan sesuatu seperti ini.


6 dari 128 kartu fitur dengan 4 lapisan konvolusional VGG-16

Semakin dalam, kita mendapatkan informasi abstrak tingkat tinggi, dan ketika kita memvisualisasikan lapisan konvolusi ke-7, ke-8 dan ke-10, kita hanya akan melihat informasi tingkat tinggi.


Peta fitur lapisan konvolusional ke-7

Seperti yang dapat kita lihat, banyak peta fitur yang gelap dan hanya mempelajari fitur tingkat tinggi khusus yang diperlukan untuk mengenali kelas ini. Di lapisan yang lebih dalam, mereka menjadi lebih terlihat. Sekarang kita memperbesar dan melihat beberapa filter.


6 kartu fitur

Sekarang pertimbangkan 512 kartu fitur dari lapisan konvolusional ke-10.


Kartu fitur 10 lapisan konvolusional.

Sekarang Anda melihat bahwa di sebagian besar fitur fitur yang diterima hanya area gambar yang diterima sebagai fitur. Ini adalah tanda tingkat tinggi yang terlihat oleh neuron. Mari kita lihat lebih dekat beberapa peta fitur di atas.


Beberapa kartu fitur terdiri dari 10 level konvolusional, ukurannya bertambah

Sekarang kita telah melihat bahwa CCN sedang mencoba untuk mengisolasi dari gambar lubang hitam, mari kita coba meneruskan gambar ini ke algoritma jaringan saraf populer lainnya, seperti Neural Style Transfer dan DeepDream.

3. Kami mencoba Neural Style Transfer dan Deep Dream pada gambar lubang hitam

Transfer gaya saraf adalah jaringan saraf pintar yang memberikan "gaya" dari satu gambar ke gambar sumber lainnya dan akhirnya menciptakan gambar artistik. Jika Anda masih belum mengerti, maka gambar di bawah ini akan menjelaskan konsep tersebut. Saya menggunakan situs deepdreamgenerator.com untuk membuat berbagai gambar artistik dari gambar asli lubang hitam. Gambar ternyata cukup menarik.


Gaya transmisi. Gambar yang dihasilkan menggunakan deepdreamgenerator.com

DeepDream adalah program visi komputer yang dibuat oleh insinyur Google Alexander Mordvintsev yang menggunakan jaringan saraf convolutional untuk mencari dan meningkatkan pola dalam gambar menggunakan algoritma berpasangan algoritmik, sehingga menciptakan gambar halusinogenik dari gambar yang sengaja diproses.


Mimpi yang mendalam Gambar yang dihasilkan menggunakan deepdreamgenerator.com

Dalam video ini tentang Deep Dream, Anda akan melihat bagaimana halusinasi gambar yang bisa ia buat.

Itu saja! Saya sangat terkejut ketika saya melihat foto pertama dari lubang hitam, dan segera menulis artikel kecil ini. Informasi di dalamnya mungkin tidak begitu berguna, tetapi gambar yang dibuat selama penulisan dan ditunjukkan di atas sangat berharga. Nikmati fotonya!

Tulis di komentar bagaimana Anda mendapatkan materi. Kami menunggu semua orang di pintu terbuka di kursus "Jaringan Saraf dengan Python . "