- Mit LLMs etwas Cooles zu bauen ist einfach, aber es auf Produktionsniveau zu bringen, ist sehr schwierig
- Ein Artikel über die wichtigsten Herausforderungen bei der Produktisierung von LLM-Anwendungen, darüber, wie sich mehrere Tasks in einen Control Flow integrieren lassen, wie man Tools dafür verwendet und welche vielversprechenden Anwendungsfälle es gibt
Teil I. Die Herausforderungen bei der Produktionsreife von Prompt Engineering
- Die Mehrdeutigkeit natürlicher Sprache
- Prompt-Evaluierung
- Prompt-Versionierung
- Prompt-Optimierung
- Kosten und Latenz
- Kosten
- Latenz
- Die Unmöglichkeit einer Kosten- und Latenzanalyse für LLMs
- Prompting vs. Fine-Tuning vs. Alternativen
- Prompt-Tuning
- Fine-Tuning durch Distillation
- Embeddings + Vektordatenbank
- Abwärts-/Aufwärtskompatibilität
Teil 2. Komponierbarkeit von Aufgaben
- Anwendungen, die aus mehreren Tasks bestehen
- Agenten, Tools und Control Flow
- Tools vs. Plug-ins
- Control Flow: sequenziell, parallel, if, for-Schleife
- Der Control Flow von LLM-Agenten
- Agenten testen
Teil 3. Vielversprechende Anwendungsfälle
- KI-Assistenten
- Chatbots
- Programmierung und Spiele
- Lernen
- Talk-to-your-data
- Können LLMs die Datenanalyse für mich übernehmen?
- Suche und Empfehlungen
- Vertrieb
- SEO
Fazit
- Wir befinden uns noch in einer sehr frühen Phase von LLM-Anwendungen. Alles entwickelt sich rasant weiter
- Ich habe kürzlich einen Vorschlag für ein Buch über LLMs gesehen, und mein erster Gedanke war, dass die meisten davon innerhalb eines Monats veraltet sein werden
- APIs ändern sich täglich, und neue Anwendungen werden entdeckt. Die Infrastruktur wird aggressiv optimiert
- Kosten- und Latenzanalysen müssen wöchentlich erfolgen, und es werden ständig neue Begriffe eingeführt
- Nicht alle dieser Änderungen sind wirklich wichtig
- Die zahlreichen Papers zum Prompt Engineering erinnern daran, wie es in den frühen Tagen des Deep Learning Tausende von Papers gab, die verschiedene Methoden zur Initialisierung von Gewichten beschrieben
- Tricks zum Feinjustieren von Prompts werden langfristig wahrscheinlich nicht wichtig sein
- Wenn man bedenkt, dass LLMs selbst ziemlich gut darin sind, Prompts zu schreiben, wer weiß dann schon, ob Menschen zum Feinjustieren von Prompts wirklich nötig sein werden?
- Kürzlich haben Leute auf LinkedIn gefragt, wie man in diesem Bereich auf dem Laufenden bleibt, und die Meinungen waren unterschiedlich
- Ignoriert den (größten Teil des) Hypes
- Lest nur die Zusammenfassungen
- Probiert alle Tools aus
- Was ist eure Strategie?
1 Kommentare
Übersetzung: https://docs.google.com/document/d/…