FaceTime-Anrufe mit einer Game Boy Camera in iPadOS 17

 (macstories.net)
1 Punkte von GN⁺ 2023-09-10 | 1 Kommentare | Auf WhatsApp teilen
  • Dank der Unterstützung für UVC (USB Video Class) in iPadOS 17 kann das iPad externe Webcams, Kameras und Video-Capture-Karten über USB-C direkt als Videoeingabegeräte erkennen
  • Wenn ein kompatibles Gerät angeschlossen wird, schalten FaceTime und Apps mit Unterstützung für die neue API automatisch darauf als standardmäßige Videoquelle um; es gibt keine separate Einstellung oder ein Menü zur Webcam-Auswahl
  • Über eine Kombination aus NZXT-Capture-Karte, Elgato Cam Link und Analogue Pocket Dock lassen sich nicht nur Nintendo Switch und Steam Deck, sondern auch Bilder der Game Boy Camera in ein iPad Pro einspeisen
  • Das Experiment mit der Game Boy Camera funktionierte in FaceTime mit der 1080p-HDMI-Ausgabe der Analogue Pocket und dem Elgato Cam Link; für den Ton wurden AirPods Pro genutzt
  • Wegen der niedrigen Bildqualität waren Gesichter kaum zu erkennen, aber die Reaktionen-Funktion von FaceTime erkannte Handgesten und funktionierte trotzdem, was zeigt, dass die Unterstützung für externe Videoeingänge in iPadOS 17 weiter reicht als erwartet

UVC-Unterstützung in iPadOS 17

  • iPadOS 17 führt Unterstützung für UVC (USB Video Class)-Geräte ein, sodass das iPad externe, per USB-C verbundene Videogeräte erkennen kann
  • Externe Webcams, Kameras, Video-Capture-Karten und andere USB-Videogeräte lassen sich am iPad nutzen
  • Wenn eine kompatible Kamera an ein iPad Pro angeschlossen wird, verwenden FaceTime und Apps mit Unterstützung für die neue API in iPadOS 17 sie als standardmäßige Videoquelle
    • Es ist keine separate Einrichtung nötig
    • Es gibt auch kein Menü zur Auswahl einer Webcam

Studio Display und ein falscher Clamshell-Modus

  • Wenn ein Apple Studio Display mit dem iPad Pro verbunden wird, kann die integrierte Webcam des Studio Display für FaceTime-Anrufe verwendet werden
  • Diese Funktion passt gut zu einem falschen Clamshell-Modus, bei dem das iPad Pro mit geschlossenem Magic Keyboard unter dem Schreibtisch liegt
    • Auch wenn die Kamera des iPad selbst nicht verwendet werden kann, sind FaceTime-Anrufe über die verbundene Webcam des Studio Display möglich

Das iPad Pro mit einer Game-Capture-Karte wie einen externen Bildschirm nutzen

  • Dank der UVC-Unterstützung lassen sich Game-Capture-Karten und USB-Videoeingabe-Zubehör in iPadOS nutzen
  • Um den Bildschirm von Nintendo Switch und Steam Deck auf dem Retina-Display des iPad Pro anzuzeigen, wird eine externe Game-Capture-Karte verwendet
  • Um das Bild eines angeschlossenen UVC-Geräts auf dem iPad zu lesen, ist eine separate App nötig
    • Capture Pro: UVC Viewer von Jingcheng Tang zeigt und erfasst externe Videoquellen über die iPadOS-17-API
    • Die App befindet sich derzeit im Beta-Status

Die Game Boy Camera als FaceTime-Webcam anschließen

  • FaceTime kann nicht nur die Webcam des Studio Display, sondern auch andere UVC-Geräteeingänge als Videoquelle verwenden
  • Als das Steam Deck an die Capture-Karte angeschlossen und FaceTime auf dem iPad Pro geöffnet wurde, erschien Elden Ring in FaceTime
  • Das Experiment mit der Game Boy Camera wurde mit folgender Gerätekombination durchgeführt
    • Analogue Pocket: ein modernes Gerät aus der Game-Boy-Familie, das originale Game-Boy-Cartridges ausführen kann
    • Analogue Pocket Dock: gibt den hochskalierten Game-Boy-Grafikmodus der Pocket auf einem großen Bildschirm aus
    • Game Boy Camera: eine Kamera, die Nintendo Ende der 1990er Jahre gebaut hat
  • Zunächst konnte die NZXT-Capture-Karte das Bild der Pocket nicht an FaceTime weitergeben, aber mit dem Dongle Elgato Cam Link funktionierte es sofort auf dem iPad Pro
  • Die Pocket gab über HDMI ein 1080p-Videosignal aus, und die FaceTime-App scheint dieses Signal gegenüber 720p-Videoquellen zu bevorzugen
  • Wegen der Bildqualität der Game Boy Camera waren Gesichter kaum zu erkennen, aber genau das war der Sinn des Experiments
  • Der Ton wurde über AirPods Pro abgewickelt, sodass das Gespräch trotz der niedrigen Videoqualität geführt werden konnte

Videoeffekte und Reaktionen in FaceTime

  • Während die Capture-Karte FaceTime mit Bild versorgte, waren im Control Center weiterhin Videoeffekte aktiviert
  • Portrait, Center Stage und Studio Light funktionieren mit dem Bild der Game Boy Camera nicht
  • Die Reaktionen-Funktion von FaceTime funktioniert dagegen normal
    • Sie erkennt bestimmte Handgesten und zeigt 3D-Animationen wie Ballons oder Herzen an
    • Als vor der Game Boy Camera die Position angepasst und ein Victory-Zeichen gemacht wurde, erschienen auf FaceTime auf dem iPhone des Gegenübers Ballons
  • Das ist zwar kein Anwendungsfall, den normale Nutzer häufig brauchen werden, zeigt aber, dass das iPad Pro eine Game Boy Camera wie eine Webcam annehmen und in FaceTime verwenden kann

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-09-10
Meinungen auf Hacker News

  • Im Namen aller Retro-Nerds: Danke. „Das hat keinerlei Sinn, und normale Menschen werden es wohl nie benutzen“, aber zum Glück ist das hier keine Website für normale Menschen™.
    Schön wäre, wenn jemand so einen Filter bauen würde … gibt es schon: https://play.google.com/store/apps/details?id=com.bufolab.ca...

  • Ich mache etwas Ähnliches, nur etwas günstiger. Mit etwas Glück auf eBay und wenn man ein bisschen Reinigung und Reparatur in Kauf nimmt, bekommt man gebrauchte SNES, Super Game Boy und Game Boy Camera zu vernünftigen Preisen.
    Wenn einem analoges Rauschen recht ist, kann man das Signal mit einem günstigen Composite-zu-USB-ADC von Amazon für unter 10 Dollar erfassen. Separat mache ich auch Fotos mit der Game Boy Camera; ein USB-Cartridge-Dumper namens Operator von Epilogue unterstützt die Game Boy Camera nativ und kann die Fotos auf der Cartridge pixelgenau als PNG ausgeben. Das 2-Bit-Dithering ist wirklich großartig

    • Selbst verdrahten ist auch nicht die allerschlechteste Option. Zu Beginn der Pandemie, als ich zu Hause festsaß und es kaum aushielt, sah ich einen Blogbeitrag mit diesem Link: https://github.com/Dhole/gb-link-stm32f411 und kaufte mir ein Board, auf dem der Code laufen konnte.
      Ich fand keinen Weg, die Rohdaten als PNG zu speichern, also schrieb ich selbst ein Konvertierungsskript. Heute würde ich den Operator verwenden, aber ohne den ist auch der Mikrocontroller-Weg möglich

  • Ein bisschen enttäuschend, weil es keine echte Protokollumwandlung ist, sondern nur die Nutzung fertiger Geräte und einer Capture-Karte

    • Die Protokollumwandlung hat Analogue bereits geschafft und daraus ein ziemlich beeindruckendes fertiges Produkt gebaut. Der Autor hat es früher auch gelobt.
      Das zusätzlich Beeindruckende hier ist die verbesserte Zubehörunterstützung in iPadOS 17, und hoch lebe der Dongle
    • Besonders spektakulär wirkt das nicht. Apple hat Unterstützung für USB-Videogeräte hinzugefügt, und als man ein USB-Videogerät ans iPad gesteckt hat, funktionierte es wie vorgesehen.
      Das ist nicht viel anders, als es an einen PC anzuschließen und überrascht zu sein, dass es in Discord und Ähnlichem funktioniert

  • Bei der Passage „Ich stand 2023 vor einer Game Boy Camera und machte Gesten … wenn dieser Unsinn funktioniert, könnte das iPad vielleicht doch noch gut werden“ musste ich als Leser mit den Augen rollen.
    Diese übertriebene Schreibe und dieser seltsame Marken-Tribalismus gefallen mir nicht. Sich für das underlying concept oder Implementierungsdetails zu begeistern, ist gut; sich für eine Marke zu begeistern, ist etwas anderes. Das wirkt nicht wie Nerdtum, sondern wie Werbung

    • Der Autor hat die Zubehörunterstützung des iPad berechtigterweise kritisiert und an unerwarteter Stelle ein ermutigendes Signal gefunden. Man muss das nicht zu scharf sehen
    • Es wäre schön, Menschen ihre Begeisterung für etwas zu lassen. Der Zynismus und Spott in diesem Kommentarbereich sind so zahlreich, dass es deprimierend ist
    • Der ganze Artikel ist im Grunde „ich habe eine Webcam an ein Gerät angeschlossen“, ergänzt um „die Hardware, die aufnimmt, ist sehr alt!“

  • Das „I“ hier meint nicht mich, sondern den Autor Federico Viticci @ MacStories(https://www.macstories.net/)

  • Vor etwa 20 Jahren hatte ich die Idee, eine Game-Boy-Camera-Webcam auf ähnliche Weise zu bauen, habe sie aber nie fertiggestellt.
    Der Plan war, die Game Boy Camera in den Super Game Boy zu stecken und die SNES an eine Video-Capture-Karte im PC anzuschließen. Schön zu sehen, dass es mit moderner Technik tatsächlich umgesetzt wurde

  • Ich hoffe, dass USB-C beim iPhone 15 auch in iOS 17 UVC-Kameraunterstützung freischaltet. Dann wäre das iPhone als tragbarer Monitor oder einfacher Recorder für richtige Digitalkameras ziemlich brauchbar.
    Sonys Xperia-Reihe konnte das schon vor einigen Jahren. Das Xperia Pro begann mit einem echten HDMI-Eingang, später wechselte man zu UVC-Unterstützung über USB-C

  • Ich weiß nicht, wie ich das magische Gefühl beschreiben soll, als die Game Boy Camera Ende der 90er herauskam.
    Sie war zwar auf Schwarz-Weiß beschränkt, aber für viele war sie wahrscheinlich die erste Digitalkamera. Die Software machte es so einfach, dass ich Unmengen an Stop-Motion-Animationen erstellte, viele Videos mit kämpfenden LEGO-Figuren oder Actionfiguren. Dass man Standbilder mit dem Game Boy Printer als Sticker ausdrucken konnte, war ebenfalls fantastisch. Die Auflösung war furchtbar und die Framerate niedrig, aber es fühlte sich wirklich magisch an

  • Ich bin mir nicht sicher, ob alle überrascht sein sollen, dass Apple angefangen hat, ein Standard-Videoformat zu unterstützen.
    Ist es 2023 merkwürdig, dass zwei Geräte, die dasselbe Protokoll verwenden, miteinander kommunizieren? Vielleicht, weil ich weder Apple-Produkte noch die Game Boy Camera nutze, sehe ich die Besonderheit nicht, die der Autor darin sieht

  • Lustig ist es schon. Aber jetzt wünsche ich mir plötzlich dringend einen Software-Videofilter, der auch mit einer normalen Webcam grünliche Farbtöne, vierstufige Graustufen und Bayer-Matrix-Dithering nachbildet

    • Irgendwie fühlt es sich so an, als ginge das mit einem Linux-Einzeiler
    • Ich dachte, ein OBS-Plugin würde dafür reichen