- Kiwi: Intelligenter koreanischer morphologischer Analysator (Korean Intelligent Word Identifier)
- Bibliothek für die koreanische morphologische Analyse, ausgelegt auf hohe Geschwindigkeit und vielseitige Leistung
- Ein leichtgewichtiges Sprachmodell ist integriert und analysiert Morpheme auch bei Mehrdeutigkeiten recht präzise
- Implementiert in C++. Der Entwickler ist ein Fan von C++.
- Die Bibliothek ist für Python, JavaScript, C#, Java, R und Go verfügbar
- Sie wurde zu
wasm kompiliert und kann im Browser ausgeführt werden
- Das Modell ist in drei Größen verfügbar: klein (16 MB), mittel (40 MB) und groß (90 MB)
- Der Entwicklungsprozess ist ausführlich im Blog veröffentlicht
- Eindrucksvoll ist auch das Training koreanischer Sprachmodelle mit Kiwi als Tokenizer
Noch keine Kommentare.