Google Chrome fügt das Gemini-Nano-KI-Modell `window.ai` im Browser hinzu

• Ab Chrome Version 127 steht das Gemini-Nano-KI-Modell über window.ai direkt im Browser zur Verfügung
• Die Chatbot-Demo-Website wurde mit Next.js + Vercel AI SDK erstellt
• Anwendungsbeispiel

import { streamText } from "ai";  
import { chromeai } from "chrome-ai";  
  
const { textStream } = await streamText({  
  model: chromeai(),  
  prompt: "what is a large language model?",  
});   

[cosine20]

https://huggingface.co/wave-on-discord/gemini-nano
Zur Information: Die Modelldatei wurde vor einiger Zeit extrahiert.

[edunga1]

https://developer.chrome.com/docs/ai/built-in

Um es auszuprobieren, muss man offenbar einen separaten Antrag stellen.

[cometkim]

https://github.com/explainers-by-googlers/prompt-api

[GN⁺]

Hacker-News-Kommentare

• Es ist positiv, dass der Browser standardmäßig eine Funktion mitliefert, die Apples KI-Strategie auch für Webnutzer nutzbar machen kann.

  • Durch die Verwendung lokaler Modelle lassen sich Privatsphäre und Sicherheit verbessern.
  • Wenn Google das gut umsetzt, wäre das sehr interessant.

• Vercel hat bei der Vorstellung von window.ai statt der Chrome-API eine eigene Abstraktion gezeigt.

  • Die window.ai-API ist sehr einfach, daher ist kein Wrapper nötig.
  • Beispielcode:

    const model = await window.ai.createTextSession();
    const result = await model.prompt("What do you think is the meaning of life?");
    

• Dass man in Googles API kein Modell angeben kann, ist ein großer Mangel.

  • Wenn das Modell fortlaufend aktualisiert wird, werden Tests und Wartung schwierig.
  • Vorgeschlagener Code:

    const supportedModels = await window.ai.getSupportedModels();
    if (supportedModels.includes("gemini-nano:0.4")) {
      const model = await window.ai.createTextSession("gemini-nano:0.4");
      // ...
    }
    

• Es ist problematisch, wenn Websites die CPU der Nutzer für verteilte LLM-Verarbeitung verwenden.

• Es gibt zu wenig öffentliche Dokumentation zur window.ai-API.

  • Es ist nicht klar, welche Version des Gemini-Nano-Modells gemeint ist.

• Mit dem aktuellen Stand der Technik sind Instruct-Modelle weniger nützlich als Base-Modelle.

  • Es werden Funktionen wie das Ausführen von LoRAs, Temperatursteuerung und das Setzen von Prompt-Templates benötigt.
  • Da sich die Technik schnell verändert, könnte es noch zu früh sein, sie in den Browser zu integrieren.
  • Man sollte das Modell von der Schnittstelle trennen, damit auch andere lokale Modelle genutzt werden können.

• Es fehlt an Standardisierung.

  • Ein Ansatz wie Microsofts WebNN ist nötig.
  • Andere Anbieter sollten das umsetzen, ähnlich wie bei dem Versuch, Apples Metal über WebGPU offenzulegen.

• Chromes Funktion "Create theme with AI" unterscheidet sich nicht von einer zufälligen Themenauswahl.

  • Es ist geplant, eine API zu bauen, die zufällige Bilder von pixabay zurückgibt.

• Allgemeine Modelle sind umso nützlicher, je größer sie sind.

  • Für bestimmte Aufgaben feinabgestimmte On-Device-Modelle sind präziser.

• eval(window.ai("js code to remove all adds in the following page" + document.documentElement.outerHTML))