Embeddings werden unterschätzt (2024)

• Embeddings bieten im Bereich des technischen Schreibens das Potenzial für bedeutende innovative Fortschritte
• Sie zeichnen sich dadurch aus, dass sie ein numerisches Array mit fester Dimension zurückgeben – unabhängig von der Größe des Eingabetexts
• Dieses numerische Array ermöglicht mathematische Vergleiche zwischen beliebigen Texten
• Embeddings berechnen in einem mehrdimensionalen Raum Abstände anhand der Bedeutung von Texten und lassen sich vielseitig einsetzen, etwa für Empfehlungen auf Basis von Beziehungen, semantische Analysen und mehr
• Künftig könnten Websites für technische Dokumentation ihre Embedding-Daten veröffentlichen, wodurch sich neue Tools und Community-Anwendungsfälle weiter verbreiten dürften

---

Überblick über ML-basierte Embedding-Technologie

• Im Bereich der Machine-Learning-Technologie haben Embeddings im Gegensatz zu Textgenerierungsmodellen das Potenzial, das technische Schreiben grundlegend zu verändern
• In den letzten Jahren ist die Nutzung von Embeddings deutlich zugänglicher geworden
• Mit Embeddings können technische Redakteure semantische Vergleiche und Analysen zwischen verschiedenen Texten durchführen

Intuition für Embeddings entwickeln

• Gibt man Text (Wörter, Sätze, mehrere Dokumente usw.) in ein Embedding ein, erhält man ein numerisches Array fester Größe zurück
• Unabhängig von der Länge des Eingabetexts wird immer ein Array mit derselben Größe erzeugt
• Dadurch werden mathematische Vergleiche auch zwischen beliebigen Texten unterschiedlicher Länge möglich

Wie Embeddings erzeugt werden

• Über die wichtigsten Anbieter lassen sich Embeddings schon mit wenigen Zeilen Code erzeugen
• Je nach verwendetem Modell unterscheidet sich die Größe des Embedding-Arrays; bei Gemini werden 768, bei Voyage AI 1024 Zahlen zurückgegeben
• Da die Bedeutung von Embeddings je nach Anbieter oder Modell völlig unterschiedlich ist, fehlt die gegenseitige Kompatibilität

Kosten und Umweltauswirkungen

• Die Erzeugung von Embeddings selbst ist nicht besonders teuer
• Vermutlich benötigt der Erzeugungsprozess weniger Rechenressourcen als Textgenerierungsmodelle, doch für die Umweltauswirkungen sind künftig mehr Informationen nötig

Kriterien für die Wahl eines Embedding-Modells

• Welches Modell am besten geeignet ist, hängt davon ab, ob es große Eingabedatenmengen unterstützen kann
• Voyage AIs voyage-3 bietet Stand 2024 das höchste Eingabelimit
• Wichtig ist die Wahl eines Modells, das zum Einsatzzweck und den Anforderungen passt

Das Konzept des mehrdimensionalen Raums

• Jeder Wert im numerischen Embedding-Array entspricht einer Koordinate in einem mehrdimensionalen Raum; über die semantische Position in diesem Raum werden die Eigenschaften eines Textes dargestellt
• Operationen wie king - man + woman ≈ queen zeigen, dass sich semantische Beziehungen ausdrücken lassen
• Welche Eigenschaften die einzelnen Dimensionen des Embedding-Raums haben, ist meist unklar und abstrakt
• Dadurch werden maschinelles Lernen von Bedeutung und semantische Schlussfolgerungen über Texte möglich

Embeddings vergleichen und speichern

• Erzeugte Embeddings werden für jeden Text (z. B. jede Seite) in einer Datenbank oder an anderer Stelle gespeichert
• Durch die Berechnung des mathematischen Abstands zwischen zwei Embeddings (mit linearer Algebra) lässt sich die semantische Ähnlichkeit beurteilen
• Mit Bibliotheken wie NumPy und scikit-learn ist der Aufwand für die Implementierung komplexer Formeln gering

Beispiele für Anwendungen von Embeddings

• Auf Websites mit technischer Dokumentation lassen sich Embeddings wirkungsvoll für Empfehlungsfunktionen für verwandte Seiten nutzen
• Nachdem für jede Seite ein Embedding erzeugt wurde, können Seiten mit hoher numerischer Ähnlichkeit als semantisch verwandte Dokumente empfohlen werden
• Wenn sich der Seiteninhalt ändert, muss nur das Embedding aktualisiert werden, was sehr effizient ist
• Bei der tatsächlichen Anwendung auf [Sphinx]-Dokumentation wurde eine positive Leistung bestätigt

Community und Potenzial offener Daten

• Künftig könnten Dokumentations-Websites Embedding-Daten über REST-APIs oder well-known URIs bereitstellen
• Dadurch könnte die Community verschiedene Anwendungs-Tools und Services entwickeln

Schlusswort

• Es ist faszinierend, das Konzept von Räumen mit Hunderten von Dimensionen mit der täglichen Arbeit in Verbindung zu bringen
• Durch den Einsatz von Embeddings ist bei Wartung von Dokumentation und Funktionserweiterungen ein bahnbrechender Fortschritt zu erwarten