Jina AI stellt das weltweit erste Open-Source-8K-Text-Embedding-Modell vor

• Text-Embedding-Modell jina-embeddings-v2 mit Unterstützung für eine Token-Länge von 8192
• Tritt gegen OpenAIs text-embedding-ada-002 an und zeigt in Benchmarks bessere Leistung bei Klassifizierung, Re-Ranking, Suche und Zusammenfassung
• Von Grund auf neu entwickelt und dank 8k-Kontext in vielen Bereichen einsetzbar: Analyse juristischer Dokumente, medizinische Forschung, Literaturanalyse, Finanzprognosen, dialogorientierte KI usw.
• Auf HuggingFace stehen zwei Modelle zum Download bereit
  • Base Model (0.27G): Entwickelt für anspruchsvolle Aufgaben mit hoher Genauigkeit, etwa akademische Forschung oder Business-Analyse
  • Small Model (0.07G): Für schlanke Anwendungen wie mobile Apps oder Geräte mit begrenzten Rechenressourcen

[GN⁺]

Hacker-News-Kommentare

• Jina AI hat ein Open-Source-Text-Embedding-Modell mit 8k veröffentlicht.
• Einige Nutzer stellen die Leistung des Modells infrage und weisen darauf hin, dass es auf der Rangliste unter OpenAI-Embeddings und 14 weiteren Beiträgen liegt.
• Das 8k-Kontextfenster ist zwar eine neue Funktion, aber einige Nutzer bezweifeln seinen Nutzen, insbesondere angesichts der 512-Token-Beschränkung.
• Während die meisten Benchmarks kleine Dokumente behandeln, gibt es Zweifel an der Modellleistung bei größeren Dokumenten.
• Einige Nutzer zeigen sich begeistert darüber, dass die Open-Source-Community den Abstand zu "Open"AI verringert.
• Die Embedding-Vektoren des neuen Modells sind halb so groß wie die von text-embedding-ada-002 (768 statt 1536), was Datenbankspeicher spart und Abfragen beschleunigen kann.
• Es werden Fragen zu den Anwendungsfällen von 8k-Token-Embeddings gestellt; einige Nutzer vermuten, dass dies für RAG nicht besonders nützlich sein könnte.
• Ein Nutzer hat das Modell für die Verwendung mit onnx quantisiert und dadurch in transformers.js die Dateigröße um das Vierfache reduziert.
• Es wird mit dem Modell von OpenAI verglichen, das mehrsprachige Unterstützung bietet und für dieselbe Bedeutung in anderen Sprachen dieselben Koordinaten berechnet.
• Das neue llm-embed-jina-Plugin wurde für das LLM-Tool bereitgestellt und ermöglicht den Zugriff auf das neue Jina-Modell.
• Einige Nutzer sind von dieser Arbeit beeindruckt, fragen sich aber, wie sich 8k-Embeddings am besten nutzen lassen, und vermuten, dass sie für grobes Ähnlichkeits-Matching oder Plagiatserkennung nützlich sein könnten.
• Aufgrund von Exportbeschränkungen für Chips und der Spannungen zwischen den USA und China gibt es Bedenken hinsichtlich des Betriebs von Jina AI, das Büros in Berlin und China hat.