Zusammenfassung des Google Web AI Summit 2024: Clientseitige KI für Entwickler

• Am 18. Oktober 2024 veranstaltete Google den ersten Web AI Summit
• Clientseitig lassen sich im Browser Machine-Learning-Modelle nutzen, um auch offline Inferenz mit geringer Latenz, geringere Kosten und besseren Datenschutz zu ermöglichen

Zusammenfassung der wichtigsten Vortrags-Sessions

• Transformers.js: Modernes Machine Learning für das Web

  • Transformers.js ist eine JavaScript-Bibliothek, die funktional der Python-Transformers-Bibliothek von Hugging Face entspricht und sich direkt im Web verwenden lässt
  • Unterstützt mehr als 1.000 vortrainierte Modelle und deckt verschiedene Aufgaben und Modalitäten wie Text, Bild und Sprache ab
  • Nutzer können vortrainierte Modelle auswählen oder benutzerdefinierte Modelle direkt im Browser ausführen
  • Mit WebGPU-Unterstützung ist eine schnelle und effiziente Modellausführung unter Nutzung moderner GPU-Funktionen möglich

• Web Neural Network (WebNN) API: Gegenwart und Zukunft

  • Die WebNN API ist eine als Webstandard vorgeschlagene neue API, die clientseitige Machine-Learning-Aufgaben schnell und effizient ausführen soll
  • Bietet KI-Beschleunigung im Browser mit WebAssembly und WebGPU
  • Unterstützt Hardware-Beschleuniger wie CPU, GPU und NPU, damit KI-Aufgaben auf unterschiedlichen Geräten ausgeführt werden können
  • Behandelt aktuelle Entwicklungen der API, Gerätesupport, Framework-Kompatibilität und Browser-Implementierungen

• Intels Web-AI-PC-Technologie

  • Intel nutzt die WebNN API, um clientseitige Web-ML-Beschleunigung bereitzustellen und so hohe Performance auf CPU, GPU und NPU zu ermöglichen
  • Derzeit als Developer Preview in den Browsern Chrome und Edge verfügbar
  • Integriert mit ONNX Runtime Web und dadurch in verschiedenen Machine-Learning-Frameworks nutzbar
  • Demonstrationen und frühes Nutzerfeedback zeigen eine „nahezu native“ Performance und demonstrieren das Potenzial neuer Web-Erlebnisse

• ml5.js: Webfreundliches Machine Learning

  • ml5.js ist eine auf TensorFlow.js basierende Open-Source-Bibliothek, die Machine Learning leichter zugänglich machen soll
  • Bietet eine einfache und intuitive Oberfläche für Künstler, Creative Coder und Studierende
  • Knüpft an die Philosophie von p5.js und Processing an, erhöht die Zugänglichkeit von Code und erleichtert den Lernprozess
  • Umfasst verschiedene Funktionen wie Bilderkennung, Textanalyse und Pose Estimation und ist auch für Einsteiger leicht nutzbar

• WebLLM: Hochperformante LLM-Inferenz-Engine im Browser

  • WebLLM ist eine hochperformante Inferenz-Engine, mit der sich Large Language Models (LLMs) direkt im Browser ausführen lassen
  • Nutzt GPU-Beschleunigung über WebGPU und bietet dadurch schnelle Inferenzleistung
  • Alle Berechnungen erfolgen clientseitig, was den Datenschutz verbessert und keine Einrichtung erfordert
  • Bietet eine Schnittstelle im Stil der OpenAI API, ermöglicht standardisierte Integration und unterstützt verschiedene Anwendungsfälle wie Chat-Anwendungen und strukturierte JSON-Generierung

• Verbesserung von LLM-Anwendungen im Browser mit LangChain

  • LangChain ist ein Framework für die Entwicklung von Anwendungen mit kleinen LLMs, die im Browser laufen
  • Um die Grenzen kleiner Modelle zu überwinden, werden mit LangGraph.js zustandsbasierte Anwendungen entworfen und optimierte Prompt-Techniken bereitgestellt
  • Zeigt Methoden, um die Vorteile lokaler LLMs wie geringe Latenz und Datenschutz zu nutzen und zugleich Probleme begrenzter Leistung zu lösen

• Visual Blocks: Visuelles Prototyping von KI-Pipelines

  • Visual Blocks ist eine visuelle Programmierplattform, mit der sich KI-Pipelines über eine einfache Drag-and-Drop-Oberfläche schnell prototypisieren lassen
  • Ermöglicht Echtzeit-Datenaugmentation und Tests sowie die Entwicklung kreativer Lösungen mit verschiedenen benutzerdefinierten Nodes und Pipelines
  • Demonstriert unterschiedliche KI-Anwendungen wie interaktive Grafiken, LLM-Chains, Computer Vision und multimodale Lösungen
  • Fördert Beiträge aus der Community, um ein reichhaltigeres ML-Pipeline-Ökosystem aufzubauen

• Überblick über die integrierten KI-Funktionen von Chrome

  • Teilt den aktuellen Stand und frühes Nutzerfeedback zur Prompt API und zu High-Level-Task-APIs wie Zusammenfassung und Textumschreibung
  • Erklärt verschiedene Anwendungen auf Basis der integrierten KI-Funktionen von Chrome sowie die weiteren Pläne
  • Stellt Optimierungen und Verbesserungen der APIs für hohe und stabile Performance vor

• TensorFlow.js und Anwendungsfälle in der Konsumgüterindustrie

  • Fallbeispiel eines großen brasilianischen Konsumgüterunternehmens, das mit TensorFlow.js seine In-Store-Marketingstrategie verbessert hat
  • Führt mithilfe von KI in Echtzeit Produkterkennung und -analyse durch
  • Das Projekt wurde als Open Source veröffentlicht, sodass es auch von anderen Unternehmen genutzt werden kann, und auf weitere Anwendungsfälle in der Branche ausgeweitet

• Erfahrungen mit den Built-in-APIs von Chrome

  • Erläutert Erfahrungen bei der Entwicklung von KI-Anwendungen mit den APIs von Chrome sowie die dabei gewonnenen Erkenntnisse
  • Stellt Techniken zur Performance-Optimierung und zum Prompt-Tuning für KI-basierte Apps vor
  • Teilt anhand der App Synonym Finder flexible Einsatzmöglichkeiten der Prompt API und praktische Tipps

• Das KI-Potenzial von Web-Erweiterungen

  • Chrome-Erweiterungen können den Browser steuern, Webinhalte beobachten und UI-Elemente hinzufügen und bieten in Kombination mit KI nützliche Erweiterbarkeit
  • Beschreibt Beispiele für derzeit im Web Store gelistete KI-basierte Erweiterungen und ihre zukünftigen Möglichkeiten
  • Zeigt, wie sich durch die Integration von KI und Chrome-Erweiterungen das Browsing-Erlebnis verbessern und die Produktivität steigern lässt

• Revolutionierung der Zugänglichkeit im Gesundheitswesen durch WebAI

  • Mit WebAI bietet IncludeHealth virtuelle Physiotherapie an, sodass Patienten jederzeit und überall personalisierte Behandlung erhalten können
  • Baut Kosten- und Zugangsbarrieren ab und eröffnet so mehr Patienten die Möglichkeit, behandelt zu werden
  • Nutzt personalisierte Daten, um präzisere und wirksamere Behandlungen zu ermöglichen

• Simple ML für Google Sheets

  • Simple ML, als Add-on für Google Sheets verfügbar, ermöglicht Nutzern, Machine-Learning-Aufgaben direkt in Tabellen auszuführen
  • Nutzt WebAssembly, JavaScript und die integrierte KI von Chrome, um komplexe Machine-Learning-Aufgaben einfach auszuführen
  • Unterstützt andere Entwickler mit Open-Source-Bibliotheken dabei, leicht eigene ML-Lösungen zu entwickeln

[brain1401]

JSjoa