LiteRT-LM-Unity - Unity-Android-Wrapper für LiteRT-LM

Ich entwickle ein On-Device-LLM für Android.

Bisher nutze ich whisper.cpp, aber da es keine GPU-Beschleunigung gibt, war ich mit der Geschwindigkeit nicht zufrieden.
Nachdem LiteRT-LM veröffentlicht wurde und insbesondere sogar MTP angewendet wird, kam ich zu dem Schluss, dass es deutlich schneller ist, und habe deshalb mit der Portierung begonnen.
Dabei habe ich ein zufriedenstellendes Ergebnis erzielt.

Ich habe auch Benchmark-Ergebnisse für verschiedene in der LiteRT Community veröffentlichte Modelle durchgeführt.

Falls es jemandem hilft, veröffentliche ich es hiermit.

[wedding]

Die Unterstützung für Parakeet ASR wurde implementiert, und die Unterstützung für Whisper ASR wird derzeit umgesetzt.