- Forschende der Princeton University und der University of Washington haben eine Meta-Optics-Kamera in der Größe eines Salzkorns realisiert und damit ein Bildgebungssystem vorgeschlagen, das 500.000-mal kleiner ist als herkömmliche Kameras mit vergleichbarer Bildqualität
- Auf einer Metasurface mit 0,5 mm Breite sind 1,6 Millionen zylindrische Nano-Antennen angeordnet; die Struktur kann ähnlich wie ein Halbleiterchip gefertigt werden, was die Miniaturisierung begünstigt
- Frühere Meta-Optics-Kameras hatten Grenzen bei scharfen Vollfarb-Bildern mit großem Sichtfeld, doch dieses System erzeugt Vollfarb- und Weitwinkelbilder in einer Qualität, die herkömmlichen Kameras ähnelt
- Das Forschungsteam nutzt eine integrierte Hardware- und Software-Pipeline: KI-Optimierung berechnet das Design der Nano-Antennen schnell, und ein physikbasiertes neuronales Netz entfernt die von der Kamera erzeugten Aberrationen
- Mögliche Anwendungen reichen von kleineren Endoskopen über Smartphone-, Wearable- und AR/VR-Kameras bis hin zu Drohnen, flächendeckenden Kamera-Arrays und ultraleichten Weltraumteleskopen
„Meta-Optics“-Kamera in der Größe eines Salzkorns
- Forschende der Princeton University und der University of Washington haben eine Meta-Optics-Kamera in der Größe eines einzelnen Salzkorns realisiert
- Diese Kamera ist deutlich kleiner als herkömmliche Kameras und zielt dennoch auf eine Vollfarb-Bildqualität auf dem Niveau konventioneller Systeme ab
- Verglichen mit herkömmlichen Kameras, die eine ähnliche Bildqualität erfassen, ist sie 500.000-mal kleiner
- Das System ist ein vom Forschungsteam entwickeltes ultrakleines Kamerasystem auf Basis der Metasurface-Technologie
- In die Metasurface sind 1,6 Millionen zylindrische Säulen eingebettet
- Das Fertigungsverfahren ähnelt der Produktion von Computerchips
Grenzen klassischer Linsen und der Metasurface-Ansatz
- Beim Kameradesign ist der zentrale Zielkonflikt die Abwägung zwischen Größe und Lichtmenge: Das Gerät soll möglichst klein sein und gleichzeitig viel Licht erfassen
- Smartphones zeigen dieses Problem deutlich: Obwohl die Geräte dünner werden, wachsen und ragen die Kameramodule heraus, weil für höhere Bildqualität mehrere Linsen verbaut werden
- Metasurfaces sind künstliche Materialien, die Licht auf ungewöhnliche Weise steuern können
- Es handelt sich um ultradünne flache Strukturen mit einer Breite von etwa 0,5 mm
- Auf ihrer Oberfläche befinden sich Millionen zylindrischer Säulen, die als „Nano-Antennen“ bezeichnet werden
- Jede Nano-Antenne kann so abgestimmt werden, dass sie Licht auf eine bestimmte Weise formt
- Standardmäßige refraktive Linsen verbessern ihre Leistung über die Form der Linsenoberfläche und Materialänderungen, während Metasurfaces Licht auf subwellenlängiger Ebene steuern können
- Die meta-optische Linse dieser Kamera misst 0,5 mm, der Sensor 1 mm; die einzelne Metasurface ist so ausgelegt, dass sie Licht stärker umlenken kann als herkömmliche Linsen
Unterschiede zu früheren Meta-Optics-Kameras
- Das Forschungsteam konzentrierte sich nicht auf das bloße Konzept, Metasurfaces in Kameras einzusetzen, sondern auf die Umsetzung einer Qualität, die für reale Bildanwendungen nutzbar ist
- Frühere Ansätze erreichten keine Meta-Optics-Kameradesigns, die scharfe Vollfarb-Bilder mit großem Sichtfeld erfassen konnten
- Dieses System wird als der erste hochwertige polarisationunabhängige nano-optische Imager für Vollfarb- und Weitwinkel-Bildgebung vorgestellt
- Die Bildqualität ist selbst im Vergleich zu herkömmlichen Kameras, die um eine Größenordnung größer sind, auf vergleichbarem Niveau
KI-basierte Design- und Nachbearbeitungspipeline
- Das Forschungsteam reduzierte die Grenzen früherer Meta-Optics-Bildgebungssysteme, indem es Hardware-Design und Software-Nachbearbeitung gemeinsam verbesserte
- Der erste Schritt besteht darin, das Design der Nano-Antennen auf der Metasurface mit einem KI-Optimierungsalgorithmus zu berechnen
- Die Simulation der optischen Reaktion der Metasurface und die Berechnung ihrer Gradienten sind rechenintensiv
- Deshalb entwickelte das Team einen „Proxy“, der die Physik der Metasurface schnell approximiert und die Auslegung beschleunigt
- Der zweite Schritt ist die Verarbeitung der von der Kamera aufgenommenen Bilder mit einem physikbasierten neuronalen Netz
- Dieses neuronale Netz wird auf Basis der Physik der Metasurface trainiert
- Es kann die von der Kamera verursachten Aberrationen entfernen
- Das Forschungsteam behandelt die Metasurface als optimierbare differenzierbare Schicht und optimiert sie ähnlich wie eine optische neuronale Netzwerkschicht, die mit Licht rechnet
- Der Metasurface-Physiksimulator und der Nachbearbeitungsalgorithmus werden zu einer einzigen Pipeline zusammengeführt
- Diese Pipeline wird für die Herstellung einer realen meta-optischen Kamera verwendet
- Sie rekonstruiert die aufgenommenen Bilder zu hochwertigen Vollfarb-Bildern
- Damit die Linse in Breitbandanwendungen richtig funktioniert, ist ein mit computergestützter Verarbeitung gekoppelter Ansatz erforderlich
Anwendungen in Medizin, Consumer-Geräten und Drohnen
- Das direkteste Einsatzfeld ist die medizinische Bildgebung
- Je kleiner die Kamera, desto geringer die Invasivität
- Ultrakleine Endoskope mit Meta-Optics-Kameras könnten neue nichtinvasive Diagnosen und Operationen ermöglichen
- Es könnte sogar möglich werden, Körperbereiche aufzunehmen, die mit heutiger Technik nur schwer zugänglich sind
- Auch in Consumer-Hardware ließen sich Kamera und Linse um eine Größenordnung kleiner als in heutigen Geräten auslegen
- Das Smartphone-Display oder die Rückseite eines Smartphones könnte selbst zur Kamera werden
- In Oberflächen von Wearables wie Brillen könnten hochwertige Kameras integriert werden
- VR-Headsets könnten leichter und schlanker werden
- Auch Drohnen könnten stark von kleineren Kameras profitieren
- Sowohl für militärische Zwecke wie Aufklärung als auch für zivile Zwecke wie Lieferung werden Kameras benötigt
- Deutlich kleinere Kameras könnten zu leichteren Drohnen und geringerem Batterieverbrauch führen
Die Möglichkeit, ganze Oberflächen zur Kamera zu machen
- Die winzige Kamera des Forschungsteams legt nahe, große Kameras als flächige Arrays salzkorngroßer Kameras neu zu denken
- Solche Arrays könnten dazu führen, dass ganze Oberflächen selbst zur Kamera werden
- Größere Metasurfaces könnten möglicherweise die für Teleskope benötigten Linsen ersetzen
- Der Bau von Teleskopen könnte einfacher werden
- Auch leistungsstärkere Linsen in den Weltraum zu bringen, könnte leichter werden
Fertigung und Materialien
- Metasurfaces lassen sich mit denselben ausgereiften Verfahren herstellen, die auch in der Produktion von Computerchips genutzt werden
- Heutige Computerchips werden auf Wafern gefertigt, und ein einzelner Wafer enthält Hunderte identischer Kopien eines Chips
- Da Metasurfaces auf dieselbe Weise produziert werden können, besteht Potenzial, die Kosten pro einzelner Metasurface deutlich zu senken
- Das Forschungsteam verwendet silica wafer für die Trägeroberfläche und silicon nitride für die Nano-Antennen
- Beide Materialien sind mit den heutigen Halbleiterfertigungstechnologien zur Chipproduktion kompatibel
Weiterführende Links
- Researchers shrink camera to the size of a salt grain: Vorstellung der Forschung der Princeton University aus dem Jahr 2021
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: Zugehöriger Artikel von The Independent
- Neural nano-optics for high-quality thin lens imaging: Zugehörige Arbeit in Nature Communications
1 Kommentare
Meinungen auf Hacker News
Die Formulierung, dass sie „vollfarbige Bilder in einer Qualität erzeugt, die mit herkömmlichen Kameras vergleichbar ist“, machte mich ziemlich skeptisch, weil der Artikel keine Beispielaufnahmen der Nanokamera zeigt; im Originalpaper gibt es aber ziemlich beeindruckende Beispiele.
https://www.nature.com/articles/s41467-021-26443-0/figures/2
Schärfe und Farben wirken deutlich schwächer.
Wenn dabei nur ein neuronales Netz das Bild rekonstruiert, ist das nicht besonders beeindruckend – ähnlich wie damals, als Samsung beim Erkennen einer weißen Scheibe ein Mondfoto eingefügt hat.
Vor ein paar Jahren hörte ich in einem Interview mit einem Futurologen eine solche Aussage: Eines Tages würden Kinder in einem Spielzeugladen einen Bogen Sticker kaufen, wobei jeder Sticker in Wirklichkeit eine Kamera mit IPv6-Adresse sei.
Man klebt den Sticker irgendwohin, öffnet die Adresse im Browser und kann ein Live-Kamerabild sehen.
Die Bausteine für so eine Technik existieren bereits; sie sind nur noch nicht billig genug für den Massenmarkt. Wenn Skaleneffekte greifen, müsse die Gesellschaft die Bedeutung von physischer Privatsphäre grundlegend neu verhandeln.
Vielleicht, wenn man die Bedeutung von „Sticker“ stark ausweitet.
Das muss man Vernor Vinge wohl auch noch gutschreiben.
Diese Technik scheint allgegenwärtige Überwachung aus A Deepness in the Sky direkt ermöglichen zu können, also sollte man sie genau im Blick behalten.
Wenn ich mich richtig erinnere, waren sie etwa so groß wie Samen.
https://en.wikipedia.org/wiki/The_Peace_War
Vielleicht haben andere Themen Aufmerksamkeit und Investitionen abgezogen, aber es könnte auch sein, dass es inzwischen interessant genug geworden ist, dass viele F&E-Teams unter Geheimhaltungsverträge mit Regierungen geraten sind.
Nebenbei: Der Name lautet „Vernor“.
Kameras wurden immer deutlich größer als Sandkörner dargestellt.
Dort ermöglicht der orphidnet-Utility-Fog allgegenwärtige Wahrnehmung und Visualisierung.
Hier denken alle an Privatsphäre und Überwachung, aber ich frage mich, ob diese Technik es ermöglichen könnte, Nanokameras per Laser auf relativistische Geschwindigkeiten zu beschleunigen, um andere Sonnensysteme aus der Nähe zu fotografieren.
Selbst wenn es nicht bis Proxima Centauri geht: Mehr Kameras in unserem eigenen Sonnensystem wären schön.
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Wenn sie sehr klein ist und ein großes Sichtfeld hat, könnte man wohl eine normale Linse über das Array setzen und in Smartphone-Kameras einen Ultraweitwinkel im Bereich von 160×160 Grad bauen.
Auch eine sehr kleine eigenständige 360×180-Grad-Kamera wäre möglich, und wenn man ein paar Kameras in AR-Brillen einbaut, könnte man die Umgebung in einem Bereich von 360×160 Grad sehr gut erfassen.
Eine weitere Anwendung könnte eine kleine Light-Field-Kamera sein.
Ich weiß nicht, ob diese Technik direkt anwendbar ist oder modifiziert werden müsste, aber kleine und günstige Light-Field-Kameras wären nützlich für nachträgliches Fokussieren sowie für 3D-Erfassung und Szenenrekonstruktion, die besser sind als Stereo.
Wenn es heißt, man implementiere eine proprietäre KI-basierte Bildnachbearbeitung, um aus der Kamera hochwertige Bilder zu erzeugen, ist sie im intuitiven Sinn schwer mit einer normalen Kamera vergleichbar.
Upscaling, Entrauschen, Deblurring, Farbanpassung, Korrektur von Schatten und Highlights – nach der Verarbeitungspipeline bleibt kaum etwas so, wie der Sensor es gesehen hat.
Smartphone-Kameras treiben es nur sehr viel extremer als Profikameras; solche Verarbeitung findet überall statt.
Das scheint keine neue Meldung zu sein.
Es ist ein 2021 veröffentlichtes Paper und war auch hier schon einmal Thema.
https://news.ycombinator.com/item?id=29399828
Wenn das stimmt, könnte man vielleicht ein Array aus 10.000 Kameras (100×100) in ein Smartphone packen und mit Computational Photography interessante Dinge tun.
Bei naiver Anwendung auf 10.000 Sensoren wären das rund 10 Minuten, aber es gibt sicher Spielraum für Optimierung und Parallelisierung.
Da der Sensor 720×720px-Bilder erzeugt, käme ein 100×100-Array auf 72.000×72.000px, also etwa 5 Gigapixel.
Das ist eine enorme Pixelzahl für ein Smartphone zum Verarbeiten und Speichern.
Deshalb tragen Profis immer noch große Vollformatkameras statt Smartphones mit sich herum.
Es gibt auch Geschwindigkeitsfragen, etwa bei Sportfotografie, aber vereinfacht gesagt wird auch die Geschwindigkeit von der zu verarbeitenden Datenmenge und der Auflösung beeinflusst.
Hochauflösende Sensoren haben das Problem, dass die Dateien übermäßig groß werden; die Verarbeitung ist langsamer als bei kleineren hochwertigen Fotos und sie belegen viel mehr Speicherplatz.
Bei Video wird es noch schlimmer.
Das ist vermutlich auch ein Grund, warum Apple so lange bei 12 Megapixeln für die Hauptkamera geblieben ist.
Es gibt zwar eine Beschreibung der schick klingenden Optik, aber kaum etwas dazu, wie das Bild tatsächlich aufgezeichnet wird.
Dazu kommt noch der Teil mit dem „neuronalen Netz“.
Ich frage mich, ob generative KI unscharfe Bereiche auf Basis der statistisch wahrscheinlichsten Pixel auffüllt und dadurch „verbessert“.
Der Artikel ist ziemlich schlecht.
Mit einem Standard-Rechenmodell ließe sich das vermutlich auch machen, aber der Rechenaufwand wäre wohl sehr groß.
Insofern könnte „Verbesserung“ in einem ähnlichen Sinn gemeint sein wie bei JPEG, das Bilder verlustbehaftet speichert.
(2021) Der eigentliche Originaltext ist hier: https://light.princeton.edu/publication/neural-nano-optics/