Ich möchte wissen, wie man Gemma-4-E2B-it on-device in einer Expo- + React-Native-Umgebung verwendet
4 Punkte von minsoo010 19 일 전 | 2 Kommentare | Auf WhatsApp teilen

Ich entwickle derzeit eine App mit Expo + React Native und möchte das Modell Gemma-4-E2B-it direkt auf dem Smartphone installieren und on-device ausführen.

Soweit ich recherchiert habe, scheint es folgende Optionen zu geben, aber ich kann nur schwer einschätzen, welcher Ansatz in der Praxis am häufigsten verwendet wird.

  • llama.rn
  • llama.cpp
  • GGUF
  • LiteRT / AI Edge
  • MLC LLM

Ich möchte im Grunde Folgendes umsetzen:

  • Modell-Download/-Installation in der App
  • Lokale Inferenz (wenn möglich komplett offline)
  • Nutzung innerhalb der Expo-/RN-App

Welche Runtime/Bibliothek wird derzeit am häufigsten verwendet?
Falls jemand das bereits implementiert hat, wäre ich für Architekturhinweise, Beispiel-Repos oder geteilte Erfahrungen wirklich sehr dankbar.

Verwandte Beiträge

2 Kommentare

 
ysahn0 18 일 전

Ein ähnliches PoC hatte ich mit Flutter durchgeführt. Zunächst habe ich mit LiteRT-lm gearbeitet und mich dabei stark an diesem Repository orientiert: https://github.com/google-ai-edge/gallery
 
minsoo010 18 일 전

Ach so, verstehe. Ich hatte auch Google Edge Gallery installiert und ein paar Dinge damit ausprobiert; ich werde es mir als Referenz ansehen, danke!