Mempercepat komputasi kompleks dengan beban RAM minimal

Dalam proses penguasaan ML, CNN, NN dengan Python, seorang pemula hampir selalu menghadapi masalah kecepatan komputasi, dan terkadang kekurangan RAM.

Ini terutama terlihat pada basis data besar, yang berukuran lebih besar dari 50% RAM gratis. Pikiran untuk membeli besi yang lebih baik hanyalah salah satu solusi yang mungkin.

Opsi lain untuk menggunakan salah satu fitur dalam Python adalah beralih dari fungsi itu sendiri.

Contoh sederhana dan ilustratif. Misalkan Anda perlu membangun sejumlah angka dari 1 hingga 10 dalam 200.000 derajat dan menambahkan jumlahnya. Akibatnya, Anda harus mendapatkan nomor yang panjangnya 200 ribu karakter. ini 2 kali lebih banyak dari google )

Berikut adalah kode sederhana untuk fungsi tersebut:

from time import time #    #      def power_1(x): power_1 = 0 start = time() power_1 = x**200000 end = time() total_1 = end - start return round(total_1,6) #   ,         power_1(1) + power_1(2) + power_1(3) + power_1(4) + power_1(5) + power_1(6) + power_1(7) + power_1(8) \ + power_1(9) + power_1(10) 

Akibatnya, kami mendapatkan operasi yang cukup "mahal" untuk komputer Anda, dan misalnya, dibutuhkan lebih dari 13 ms untuk komputer saya. Tetapi bagaimana jika ada banyak operasi seperti itu? Kemudian semuanya menjadi rumit, dan mungkin Anda hanya tidak memiliki RAM yang cukup.

Tetapi Anda bisa lebih rumit dan menggunakan fungsi yang sama persis dengan menjalankan iterasi melalui variabel Anda.

Berikut adalah kode untuk solusi sederhana, dengan fungsi yang sama:

 from time import time #   #   def power_2(): for i in range(11): yield i #     for i in power_2(): if i < 11: d = 0 total_2 = 0 start = time() d += i**200000 end = time() total_2 += end - start print('Ineration {} lasts {}'.format(i, round(total_2, 6))) if i == 10: print(' \n End with total time {} \n'.format(round(total_2,3))) 

Waktu yang dihabiskan di komputer saya



Perbedaannya adalah 0,13 - 0,024 = 0,106 ms!


Jika seseorang hanya menambahkan 1 ke jumlah besar ini dengan cara biasa, maka yang ini akan memakan waktu lebih lama daripada menaikkan dirinya sendiri ke tingkat 200.000. Artinya, keuntungan dari metode ini jelas.

 def add_one(x): total_3 = 0 start = time() s = x + 1 end = time() total_3 += end - start print('Time to do add 1 to BIG number: {} \n'.format(total_3)) return print('Difference in time {}\n'.format(round(total_2 - total_3 ,3))) add_one(d) print('The size of the number {}!!!'.format(len(str(d)))) 

Hasilnya adalah ini:



Kenapa begitu Sejauh yang saya tahu, ketika iterasi fungsi, Python tidak membuat objek sementara di memori, yang pada gilirannya secara signifikan mempercepat setiap proses perhitungan. Oleh karena itu, menulis ulang fungsi dengan cara ini - Anda menghemat waktu dan saraf.

Total - untuk perhitungan kompleks dengan ukuran RAM terbatas, lebih baik menggunakan iterasi daripada fungsi itu sendiri.

Saya harap ini membantu seseorang untuk tidak kehilangan menit berharga atau tidak menghabiskan perangkat keras tambahan yang cepat menua.

Terinspirasi oleh kuliah