iOS-App, die Screenshots mit dem Foundation Model von iOS 26 automatisch organisiert

Einführung in ScreenshotAI
Wenn ich im Alltag auf gute Informationen stoße, mache ich oft unbewusst Screenshots davon, lasse sie später aber häufig ungeordnet liegen. Deshalb habe ich eine iOS-App entwickelt, die diese Screenshots mithilfe von AI in durchsuchbare Notizen umwandelt.

https://apps.apple.com/kr/app/screenshotai-ai-notes/id6756419927

Verarbeitungsschritte

• Textextraktion aus Bildern mit der OCR-Funktion des Vision Framework
• Wenn der Text eine sinnvolle Länge hat (mindestens 10 Zeichen), wird mit dem Foundation Model eine Notiz erstellt
• Die mit dem Foundation Model erzeugte Notiz besteht aus title, tags, summary, key insights und ai refined content

Technologie-Stack

• SwiftUI
• Vision Framework
• Verwendung des On-Device-Foundation-Models von iOS 26
  • Bei Hinterlegung eines API-Keys können auch OpenAI-Modelle genutzt werden
• Integration mit Core Spotlight, damit eine Suche auf OS-Ebene möglich ist