Yuanta Securities AI-Agent-Projekt: Praxisbericht zur Entwicklung produktiver LLM-Services

1. Einleitung: Das Schlagwort der AI-Branche im Jahr 2025 ist „Agent“, und es wird betont, dass über den bisherigen RAG-zentrierten Chatbot-Ansatz hinaus fortschrittlichere Systeme erforderlich sind.

2. Projektvorstellung (Yuanta AI-Chatbot-Service): Trotz hoher Einstiegshürden wie Finanz-Sicherheitsanforderungen wurde ein Chatbot entwickelt, der AI-basierte Investmentanalyse-Funktionen enthält und als innovativer Finanzservice ausgewählt wurde.

3. Ableitung der Anforderungen und Einsatz der Intent-Klassifizierung: Durch die Analyse realer Nutzeranfragen wurden die Serviceanforderungen angepasst und auf Basis von Function Calling ein Monitoring-System für die kontinuierliche Verbesserung des LLM aufgebaut.

4. Function-Calling-Technik: Function Calling wurde eingesetzt, um die Grenzen von RAG zu ergänzen und Echtzeitdaten zu verarbeiten, wobei jedoch Herausforderungen bei der Anbindung mehrerer Funktionen und bei präzisen Aufrufen überwunden werden mussten.

5. Prompt Engineering und Betriebsperspektive: Es wird betont, dass Prompt-Design und Versionsverwaltung zur Optimierung der LLM-Leistung sowie Betriebsstrategien zur Kostensenkung und Stärkung der Sicherheit unverzichtbar sind.

[moderator]

Wurde verschoben, da es nicht zu Show GN passt.
Bitte lies vor dem Posten die Anleitung zur Nutzung von Show.