- Fast alle Unternehmen, in die Sequoia investiert hat, integrieren LLMs wie ChatGPT in ihre Produkte
- Auf Basis einer Untersuchung von Unternehmen im eigenen Netzwerk wurden zwei AI-Stacks zusammengestellt
LLM API Stack
- LLM APIs: OpenAI, Anthropic, Cohere
- Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
- Frameworks: LangChain, LlamaIndex, Anarchy
- Text-to-Speech: Resemble.AI, ElevenLabs, Wellsaid
- Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks
Stack für Custom Model Training / Tuning
- Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
- Model Hub: Hugging Face, Replicate
- Frameworks: PyTorch, TensorFlow
- Experimentation: Weights & Biases
- Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs
- Hosting: Replicate, HuggingFace
Kernpunkte
- Die meisten Unternehmen bauen LLMs in ihre Produkte ein
- Fokus auf Language-Model-APIs, Suche und Orchestrierung; die Nutzung von Open Source nimmt zu
- Unternehmen wollen Sprachmodelle an ihren eigenen Kontext anpassen und customizen
- Derzeit wirken der LLM-API-Stack und der Model-Training-Stack noch getrennt, werden aber zunehmend zusammenwachsen
- Der Stack wird immer entwicklerfreundlicher
- Für eine vollständige Verbreitung von Sprachmodellen muss ihre Zuverlässigkeit steigen (Qualität, Datenschutz, Sicherheit)
- Sprachmodell-Anwendungen werden zunehmend multimodal
- Es ist noch sehr früh
3 Kommentare
Der aktuelle Stand der Entwicklungsumgebung ist gut nachvollziehbar.
Aber auf welchem Niveau ist sie im Fall von Südkorea?
In der Liste der Vector DBs scheint „Seaviate“ ein Tippfehler für die Vektordatenbank Weaviate zu sein!
Ich habe es schnell korrigiert, haha.