Eines Tages werden wir in der Lage sein, eine Brille aufzusetzen - und durch die Stadt zu spazieren, die in Echtzeit in dem Stil wiedergegeben wird, den wir mögen. Sonnenlicht oder leichter Dunst, abendlicher Sonnenuntergang, was auch immer. Egal wie langweilig die Architektur ist, mit Brille wird es schön. Solche Rendering-Funktionen mit der Übertragung von Stilen werden durch das erstaunliche Programm
Deep Photo Style Transfer , das öffentlich veröffentlicht wird, sowie die zugrunde liegende
wissenschaftliche Arbeit (arXiv: 1703.07511) eröffnet.
Das Übertragen von Stilen von einem Bild auf ein anderes ist ein altes Problem, das Entwickler in der Vergangenheit relativ erfolgreich zu lösen versucht haben. Indem Sie das richtige Modell für die Stilübertragung auswählen, können Sie Ihr Foto wunderschön transformieren - als ob es zu einer anderen Tageszeit aufgenommen worden wäre, unter verschiedenen Lichtverhältnissen, bei verschiedenen Wetterbedingungen oder auf besondere Weise, künstlerisch verarbeitet. Bisher waren die Techniken zum Übertragen von Stilen mithilfe neuronaler Netze relativ begrenzt - entweder konnten sie nur mit bestimmten Szenen funktionieren, oder die Plausibilität des Übertragens von Stilen litt darunter. Die Autoren des neuen Programms
Deep Photo Style Transfer haben versucht, all diese Probleme zu lösen.
Das neuronale Netzwerk Deep Photo Style Transfer wurde gemäß der von
Gatis beschriebenen Neural Style-Übertragungstechnik erstellt, jedoch erheblich überarbeitet und verbessert. Die Hauptverbesserung ist der Fotorealismus. Selbst wenn das Originalbild und das Beispiel Fotos sind, ähnelt das endgültige Bild einem Bild, bei dem klare Linien und Ränder verschwimmen und benachbarte Objekte mit Texturen überlagert werden. Es sieht wunderschön aus, aber nicht sehr real.
Nur Farbraum
Das Ergebnis von Deep Photo Style Transfer ist streng fotorealistisch. "Maleffekte" aufgrund des Verbots räumlicher Verzerrungen beseitigt. Hier ist die Übertragung von Stilen nur durch den Farbraum begrenzt. Mit anderen Worten, die Formen der Objekte bleiben genau die gleichen wie im Original. Aus diesem Grund werden in Zukunft die am Anfang des Artikels genannten „Punkte“ möglich. Alle Objekte in der umgebenden Realität behalten ihre Form, sie sehen nur in einem anderen Stil aus.
Die Autoren erreichten diese Aufgabe, indem sie eine bestimmte Schicht des neuronalen Netzwerks im Geiste
der Kirchhoff-Matrix (Laplace-Matrix) verwendeten, die den Graphen in Form einer Matrix darstellt. Wie die Überprüfung in Fotografien mit verschiedenen Szenen zeigt, unterdrückt dieser Ansatz erfolgreich Verzerrungen und übt gleichzeitig einen minimalen Einfluss auf die Authentizität von Fotografien aus.
Das am klarsten beschriebene Prinzip manifestiert sich in zwei speziell ausgewählten Beispielen.
Wie Sie sehen können, bleiben die Grenzen von Objekten klar erhalten. Die Konvertierung erfolgt nur im Farbraum. Im ersten Fall wird die Art des Feuers auf die Parfümflasche übertragen, und im zweiten Fall ändert sich die Textur der Äpfel entsprechend dem Muster.
Semantische Segmentierung
Die zweite Errungenschaft der Programmautoren besteht darin, das Problem der Übertragung des Stils zwischen unangemessenen Objekten auf dem Originalfoto und dem Stilbeispiel zu lösen. Dies erfolgt durch semantische Segmentierung. Daher werden Hausstile nur zwischen Häusern übertragen, und der Stil des Himmels wirkt sich nur auf den Himmel aus. In vielen Fällen funktioniert die semantische Segmentierung sehr effizient, vorausgesetzt, das Stilbeispiel enthält dieselben semantischen Objekte wie im Originalbild.
Zwei der oben genannten Ansätze haben zu einer äußerst realistischen Fotokonvertierung geführt.
Das Original
Stilmuster
Endgültiges Bild
Hier sind einige weitere Beispiele.
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Das Original
Stilmuster
Endgültiges Bild
Die Qualität dieses Algorithmus kann nur durch eine Umfrage unter Benutzern bestimmt werden, die den Fotorealismus und die Zuverlässigkeit der Stilübertragung bewerten. Eine solche Umfrage würde durchgeführt. Er zeigte, dass Deep Photo Style Transfer in Bezug auf Fotorealismus die zuvor vorgestellten Entwicklungen von Neural Style und CNNMRF deutlich übertrifft, jedoch
dem Pete- Farbwiedergabesystem unterlegen
ist . Die Zuverlässigkeit der Stilübertragung Deep Photo Style Transfer ist viel besser als bei anderen Methoden.
Die Autoren der wissenschaftlichen Arbeit beabsichtigen, die Forschung fortzusetzen, um die bestehenden Einschränkungen der Bildsegmentierung zu überwinden. Sie halten auch die Echtzeitverarbeitung von Fotos unter Verwendung eines vorab trainierten neuronalen Netzwerks für vielversprechend.