- Auf einem Hochzeitskleid-Foto der britischen Komikerin und Schauspielerin Tessa Coates erscheinen die reale Person und ihre Spiegelungen in zwei Spiegeln in unterschiedlichen Posen – und offenbaren damit eine Schwachstelle in der Bildverarbeitung des iPhone
- Die Ursache ist kein übernatürliches Phänomen, sondern ein Fehler in der Computational Photography, bei dem das iPhone die Spiegelungen nicht derselben Person zuordnen konnte
- Das Foto wurde im Panorama-Modus aufgenommen; während Coates sich bewegte, wurden Bilder aus unterschiedlichen Momenten zu einem einzigen Bild zusammengesetzt
- Apples Algorithmus wählte für jeden Bereich anhand von Sättigung, Kontrast, Details, fehlender Unschärfe und weiteren Kriterien das „beste“ Bild aus – und entschied sich je nach Spiegel für unterschiedliche Momente
- In Szenen mit Spiegeln und Bewegung können auch moderne Smartphones zusammengesetzte Ergebnisse erzeugen, die von der Realität abweichen, sodass man dem Aufnahmeergebnis nicht immer unverändert trauen kann
Drei Posen auf einem Foto vor dem Spiegel
- Die britische Komikerin und Schauspielerin Tessa Coates wurde beim Anprobieren eines Hochzeitskleids vor einem Spiegel fotografiert
- Auf dem Foto waren Coates selbst sowie die Spiegelungen in zwei Spiegeln zu sehen, doch die Posen der drei Darstellungen unterschieden sich
- Ein Spiegel zeigte sie mit gesenkten Armen
- Der andere Spiegel zeigte sie mit vor der Taille zusammengelegten Händen
- Die reale Person hatte den linken Arm seitlich am Körper
- Auf den ersten Blick wirkt das äußerst merkwürdig, doch die Ursache war ein Fehler in der Aufnahmeverarbeitung des iPhone
Was in der Aufnahme-Pipeline des iPhone geschah
- In dem Moment, in dem der Auslöser gedrückt wird, führt das iPhone Milliarden von Rechenoperationen aus, um ein einzelnes Foto zu erzeugen
- In diesem Fall erkannte die Kamera nicht, dass sie Spiegel fotografierte, und behandelte die drei Darstellungen von Coates wie unterschiedliche Personen
- Während Coates sich bewegte, wurde das Foto aufgenommen, wobei mehrere Aufnahmen desselben Motivs zu verschiedenen Zeitpunkten erfasst wurden
Panorama-Modus und Bildzusammensetzung
- Einem Update zufolge wurde das Foto im Panorama-Modus aufgenommen
- Bei Panorama-Aufnahmen werden mehrere Bilder erfasst, während die Kamera die Szene abfährt; anschließend fügt ein Algorithmus sie zusammen
- Apples Algorithmus wählt in jedem Abschnitt anhand von Sättigung, Kontrast, Details, fehlender Unschärfe und weiteren Kriterien das bessere Bild aus
- Das endgültige zusammengesetzte Bild sollte den Moment optimal und realistisch interpretieren, doch durch die Spiegel blieben in den einzelnen Spiegelungen unterschiedliche Momente erhalten
Warum „drei Tessas“ entstanden
- Der Algorithmus konnte die reale Person und die Spiegelungen in den zwei Spiegeln nicht als ein und dieselbe Person zusammenführen
- Da er in jedem Spiegelbereich einen anderen Frame als geeigneter bewertete, landeten im endgültigen Foto gleichzeitig unterschiedliche Posen
- So entstand ein zusammengesetztes Bild, in dem die reale Person und die beiden Spiegelungen unterschiedliche Bewegungen ausführen
Reproduzierbarkeit und Grenzen
- Solche Ergebnisse lassen sich nicht nur mit neueren iPhones, sondern auch mit verschiedenen anderen Smartphones reproduzieren
- Die Ursache liegt in den Grenzen der Computational Photography beim Umgang mit Spiegeln
- Einige jüngere Nutzerinnen und Nutzer haben dieses Phänomen erkannt und verwenden es, um lustige Bilder für Social Media zu erstellen
1 Kommentare
Meinungen auf Hacker News
Ich vermute, der Originalartikel[0], auf den diese kurze Zusammenfassung verweist, könnte die bessere Quelle sein
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
Puristen werden die Idee der Computational Photography wohl immer ablehnen, aber ich finde es wirklich großartig, wie gut das iPhone Nacht-, Low-Light- und Bewegungsfotos aus der Hand hinbekommt
Ich habe damit Nachtaufnahmen gemacht, die ich mit einem physisch so kleinen Sensor für unmöglich gehalten hätte
Ob sie die tatsächliche Szene in diesem Moment pixelgenau zu 100 % perfekt wiedergeben? Nein, aber das stört mich kaum
Auch früher habe ich schon HDR-Belichtungsreihen kombiniert, Focus Stacking für geringe Schärfentiefe genutzt oder in belebten Räumen mehrere Aufnahmen gemacht und zu einem Foto ohne Menschen und Autos zusammengesetzt; all das ist keine perfekte Wiedergabe dessen, was das Auge gesehen hat, aber das Zusammenführen mehrerer Belichtungen erfüllt seinen Zweck, wenn es darum geht, das gewünschte Motiv einzufangen
Schon das Objektiv selbst erzeugt Fehler und Veränderungen, Film und Entwicklung ebenso
Das heißt aber nicht, dass man ein Purist ist, nur weil man selbst entscheiden möchte, was aufgenommen wird und wie es aussieht
Genau solche Entscheidungen machen Fotografie zur Kunst
Letztlich nimmt diese Technik dem Nutzer diese Kontrolle weg
Wenn es für dich in Ordnung ist, dass Apple das Motiv und das Aussehen eines Fotos bestimmt, ist das deine Sache, aber ich vermute, vielen geht es nicht so
Bald wird die Kamera nicht mehr nur pro Person den besten Frame auswählen, sondern auch die besten Augen, Symmetrie-Korrekturen, den ästhetisch angenehmsten Hautton usw.
Bis zu einem gewissen Grad war das schon immer so, aber sobald die Fotografie den Anspruch aufgibt, „echt“ zu sein, scheint diese Entwicklung unvermeidlich
Ich muss an die Szene in WALL-E denken, in der die Kapitänsporträts immer dicker werden; eigentlich hätte der Kapitän auf den Fotos mit der Zeit attraktiver und skulpturaler aussehen müssen
In der Realität wäre er trotzdem fettleibig
Man kann nachts Fotos machen, aber im Vergleich zu dem, was mein Sensor, also meine Augen, gesehen hat, sind sie oft schwer wiederzuerkennen
Es fühlt sich nicht wie eine etwas bessere Realität an, sondern als würde die Kamera entscheiden, wie sie Licht verteilt, ohne Bezug zur tatsächlichen Komposition vor ihr
Es gab auch einen Artikel darüber, dass das iPhone Porträtfotos einfach ruiniert, wenn seine Annahmen darüber, was gutes Licht ist, nicht aufgehen
Manchmal gefallen mir Fotos eines fünf Jahre alten Smartphones besser als die eines aktuellen, nicht weil die Hardware besser wäre, sondern weil das Tuning schlechter geworden ist
Wenn man Dinge fotografiert, die im Modell nicht häufig vorkommen, etwa Kriechräume, Rohrleitungen oder zahnärztliche Nahaufnahmen, passieren interessante Dinge
Ohne RAW-Modus habe ich schon völlig unbrauchbare Ergebnisse bekommen, und es wirkte, als hätte die Computational-Photography-Pipeline keine Ahnung, was sie da tut
Es ist weniger eine Sensorgrenze; manchmal macht das iPhone Fotos deutlich schlechter als früher, weil es sich mehr Ermessensspielraum nimmt
Dass die vom Sensor gesehene Realität pixelgenau perfekt beschrieben werden muss, dürfte eher für Polizei oder Versicherungsermittler relevant sein
Fotografie als Kunst drehte sich nie um Reinheit; die meisten wollen Fotos, die widerspiegeln, was wir gesehen haben und wie wir es sehen, und akzeptieren dafür technische Schritte beim Rendering
Wenn der Mond schön ist und die Landschaft sanft beleuchtet, möchte man ein Foto, auf dem sowohl der helle Mond als auch der dunkle Hintergrund zu sehen sind, und dafür kann viel Berechnung nötig sein
Aber eine Doppelgänger-Braut, übertriebene HDR-Fotos oder Landschaften, aus denen Vögel und Pfosten entfernt wurden, sind keine Szene, die jemand gesehen hat
Es kann ein schönes Bild sein, aber für mich persönlich bewegt es sich in eine andere Kunstform als Fotografie
Vor ein paar Monaten ist mir mit dem Pixel 7 etwas Ähnliches passiert
Bei diesem Foto eines Hirsches: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Wenn man hineinzoomt, sieht auf Detailniveau alles wie ein Ölgemälde aus, besonders das Gesicht des Hirsches und die Wand dahinter
Die echte Wand und der Hirsch sahen überhaupt nicht so aus, und ich habe auch keinen Filter verwendet
Computational Photography ist wirklich beeindruckend, aber auch ein wenig beunruhigend
Fotos, die ich etwa 2016 mit einem iPhone 6s gemacht habe, sehen beim Hineinzoomen ähnlich aus
Solche mosaikartigen Muster sind für das Auge angenehmer als ein stark verrauschtes Foto
Aufgrund der Physik haben kleine Smartphone-Objektive und -Sensoren Grenzen dabei, Licht einzufangen
Die Hardware ist deutlich besser geworden, hat ihre Grenzen aber noch nicht erreicht; trotzdem würdest du es vermutlich nicht mögen, wenn das Smartphone ohne Verarbeitung einfach ein verrauschtes RAW-Bild ausgibt
Auch die Verarbeitung, die nötig ist, um es in das korrekte Pixelraster und den passenden Farbraum zu überführen, kann man nicht weglassen
Das Pixel 7 hat keine dedizierte Zoomkamera; falls gezoomt wurde, war es also Digitalzoom, und die Qualität fällt stark ab
Die Verarbeitung muss dann mit Frames niedriger Qualität arbeiten, und solche Ergebnisse kommen häufig dabei heraus
Smartphone-Nutzer sollten sich darüber eigentlich keine Gedanken machen müssen, aber meiner Erfahrung nach ist es bei Smartphones ohne Zoomkamera oft besser, ohne Zoom zu fotografieren oder nicht über 2× hinauszugehen und später zuzuschneiden
Vielleicht lässt sich die Stärke der Filterung in den Einstellungen reduzieren
So etwas passiert immer häufiger, und es wirkt wie eine unheilvolle Mischung aus „bessere Komprimierung, solange man sich das Bild nicht wirklich ansieht“ und „AI-Verbesserung“.
Vor ein paar Wochen habe ich ein wirklich schönes Foto von meinem Sohn gemacht; Komposition, Gesichtsausdruck, Fokus und Licht waren perfekt, nur ein Problem gab es:
Der Algorithmus des Phones entschied, dass es besser wäre, die Haut meines Sohnes abzuziehen und durch die Textur der Wand dahinter zu ersetzen.
Natürlich ist es wohl meine Schuld, dass ich ein billiges Phone wie das Galaxy S22 Ultra gekauft habe, und das S23 Ultra wäre sicher besser, aber das gab es damals noch nicht.
Also habe ich RAW aktiviert, um künftig wenigstens die Fotos zu retten, aber RAW funktioniert nur im unbequemen „Pro“-Kameramodus und springt manchmal stillschweigend zurück in den Nicht-Pro-Modus.
Am Ende habe ich aufgegeben und eine Kamera-App eines Drittanbieters installiert.
Zumindest hat Mark meine Fotos bisher nicht aktiv ruiniert, also sollte ich ihm wohl vertrauen: https://play.google.com/store/apps/details?id=net.sourceforg...
Abgesehen von der Standard-Magie bei Rauschunterdrückung und Helligkeitskorrektur bei wenig Licht sowie der dummen Mond-Austauschfunktion scheint es nicht einmal Computational Photography zu verwenden.
Allein mit dem 10x-Objektiv hat es Apple geschlagen; diesen Unsinn mit dem Mond hätte es nicht gebraucht.
Die Standard-Kamera-App finde ich in Ordnung.
Auch wenn diese Beispiele es noch nicht sind, werden sie sich künftig wohl als Teil einer rechtlichen Verteidigung ansammeln und vorgebracht werden.
Ob berechtigt oder nicht: Solche Extremfälle könnten bei manchen Richtern und Geschworenen die Schwelle zum begründeten Zweifel überschreiten.
AI-Manipulation passiert tatsächlich, und ihre Grenzen können schwer vorhersehbar sein.
Schlimmer noch: Eine Person an einem Bombenanschlagsort könnte so festgehalten werden, als hätte sie schon vor der Explosion reagiert.
Wir haben eingebaute Annahmen über Kausalität, und diese AI durchbricht sie.
In einigen bestimmten Situationen könnte das potenziell enorm wichtig werden.
Unsere Familie macht gern Pano-Frankenstein-Fotos.
Wenn man ein Panorama quer über ein Gesicht aufnimmt, während die Person ihren Gesichtsausdruck schnell und dramatisch verändert, versucht das Phone, das Gesicht zu einem konsistenten Bild zusammenzufügen, was ziemlich lustige Ergebnisse liefert.
Die neuesten Google Pixel beginnen ab dem Moment, in dem man die Kamera-App öffnet, Frames zu speichern.
Wenn man tatsächlich ein Foto macht, werden einige der vorherigen Frames verwendet, um praktisch ohne Verzögerung eine HDR-Komposition zu erzeugen.
Hier könnte etwas Ähnliches passiert sein.
Vermutlich hat die Verarbeitung aus unterschiedlichen Frames für einzelne Bildbereiche die jeweils optimale Belichtung gewählt, wodurch dieser Effekt entstand.
Manche Leute laufen an neuen Orten herum und lassen die Kamera stundenlang eingeschaltet, weil sie sofort etwas Tolles fotografieren wollen, und beschweren sich dann, dass der Akku mittags leer ist.
Ich bin mir nicht sicher, ob das stimmt.
Apple hat nie öffentlich gesagt, dass es Manipulationen in diesem Ausmaß vornimmt; natürlich heißt das nicht, dass sie es nicht tun, aber der Bewegungsumfang, den die Frau innerhalb einer einzigen Aufnahme hätte durchlaufen müssen, scheint mir nicht plausibel.
Selbst mit Live Photos scheint mir so etwas nicht zu passieren.
Wenn es stimmt, wäre es ziemlich bizarr, und ich würde es gern glauben, aber es wirkt ein bisschen zu perfekt.
Ich vermute, dass bereits jemand versucht, es zu beweisen oder zu widerlegen.
Ich war in einem Schmetterlingshaus, und eine Nahaufnahme löschte die Beine des Schmetterlings weg, sodass nur die Flügel übrig blieben.
Bildlink: https://ibb.co/nwbw5xY
Das Phone hat die Beine als Teil des Hintergrunds angenommen.
Bei Haaren passiert dasselbe.
Die Beine sind dünn und werden leicht als Rauschen interpretiert.
Besonders bei digitalem Zoom und schwachem Licht, weil dann sehr wenige Pixel vorhanden sind und das Rauschen jedes Pixels größer wird.
In einem aktuellen Podcast[0] habe ich gehört, dass die iPhone-Kamera-App beim Gedrückthalten des Buttons eine Reihe von Fotos aufnimmt und dann das eine Bild anzeigt, das sie für das „beste“ hält, zum Beispiel eines, auf dem alle die Augen offen haben.
Natürlich ist das nicht dasselbe wie das, was hier passiert ist.
Da ich eher dazu neige, Menschen aus Fotos herauszuhalten, vergesse ich jedes Mal, das zu testen.
[0] Es war vermutlich diese Episode: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Wenn man den Button jetzt gedrückt hält, wird auf Videoaufnahme umgeschaltet.
Für jemanden, der keine Videos aufnimmt, ist das lästig.
Wenn man den Button auf dem Bildschirm verwendet, kann man nach links wischen, um Serienbilder aufzunehmen, aber meines Wissens gibt es keine Möglichkeit, Serienbilder mit den Lautstärketasten auszulösen.
Mit dem neuen programmierbaren Button der iPhone-15-Reihe ist es vielleicht möglich.
Ein Foto aufzunehmen bedeutet im Grunde, ein kurzes Video aufzunehmen und daraus den optimalen Frame auszuwählen.