Beschleunigen Sie komplexes Computing mit minimaler RAM-Auslastung

Beim Beherrschen von ML, CNN, NN in Python stößt ein Anfänger fast immer auf das Problem der Rechengeschwindigkeit und manchmal des RAM-Mangels.

Dies macht sich insbesondere bei großen Datenbanken bemerkbar, die größer als 50% des freien Arbeitsspeichers sind. Gedanken über den Kauf von anständigem Eisen sind nur eine der möglichen Lösungen.

Eine andere Möglichkeit, eine der Funktionen in Python zu verwenden, besteht darin, die Funktion selbst zu durchlaufen.

Ein einfaches und anschauliches Beispiel. Angenommen, Sie müssen eine Anzahl von Zahlen von 1 bis 10 bei 200.000 Grad erstellen und deren Summe addieren. Als Ergebnis sollten Sie eine Zahl erhalten, die 200.000 Zeichen lang ist. es ist 2 mal mehr als google )

Hier ist ein einfacher Code für eine solche Funktion:

from time import time #    #      def power_1(x): power_1 = 0 start = time() power_1 = x**200000 end = time() total_1 = end - start return round(total_1,6) #   ,         power_1(1) + power_1(2) + power_1(3) + power_1(4) + power_1(5) + power_1(6) + power_1(7) + power_1(8) \ + power_1(9) + power_1(10) 

Infolgedessen erhalten wir einen ziemlich "kostspieligen" Vorgang für Ihren Computer, und zum Beispiel dauert es mehr als 13 ms für meinen. Aber was ist, wenn es viele solcher Operationen geben kann? Dann wird alles kompliziert und vielleicht haben Sie einfach nicht genug RAM.

Sie können jedoch kniffliger sein und genau dieselbe Funktion verwenden, indem Sie Ihre Variablen iterieren.

Hier ist der Code für eine so einfache Lösung mit derselben Funktion:

 from time import time #   #   def power_2(): for i in range(11): yield i #     for i in power_2(): if i < 11: d = 0 total_2 = 0 start = time() d += i**200000 end = time() total_2 += end - start print('Ineration {} lasts {}'.format(i, round(total_2, 6))) if i == 10: print(' \n End with total time {} \n'.format(round(total_2,3))) 

Zeit auf meinem Computer verbracht



Die Differenz beträgt 0,13 - 0,024 = 0,106 ms!


Wenn man dieser riesigen Zahl einfach auf die übliche Weise 1 hinzufügt, dauert es länger, bis man sich auf 200.000 Grad erhöht. Das heißt, die Vorteile dieser Methode liegen auf der Hand.

 def add_one(x): total_3 = 0 start = time() s = x + 1 end = time() total_3 += end - start print('Time to do add 1 to BIG number: {} \n'.format(total_3)) return print('Difference in time {}\n'.format(round(total_2 - total_3 ,3))) add_one(d) print('The size of the number {}!!!'.format(len(str(d)))) 

Das Ergebnis ist folgendes:



Warum so? Soweit ich weiß, erstellt Python beim Durchlaufen einer Funktion keine temporären Objekte im Speicher, was wiederum den Berechnungsprozess erheblich beschleunigt. Wenn Sie die Funktion daher auf diese Weise umschreiben, sparen Sie Zeit und Nerven.

Insgesamt - Für komplexe Berechnungen mit einer begrenzten RAM-Größe ist es besser, die Iteration über eine Funktion zu verwenden, als nur die Funktionen selbst.

Ich hoffe, dies hilft jemandem, keine wertvollen Minuten zu verlieren oder nicht für zusätzliche, schnell alternde Hardware aufzuwenden.

Inspiriert von einem Vortrag