Aufbau eines auf die Regierungsdomäne spezialisierten sLLM — ein mit Daten des Ministeriums für Land, Infrastruktur und Verkehr feinabgestimmter RAG-Chatbot auf Basis von Gemma-3-1B

(riss.kr)

2 Punkte von chohi 2 시간 전 | 1 Kommentare | Auf WhatsApp teilen

Aufbau eines auf die Regierungsdomäne spezialisierten sLLM — molit-gemma + RAG

Dies ist ein Fallbeispiel für den Aufbau eines On-Premises-Domain-spezialisierten Chatbots in einer Sicherheitsumgebung, in der öffentliche Einrichtungen externe LLMs wie ChatGPT oder Claude nur schwer einsetzen können.

TL;DR

Google Gemma-3-1B mit politischen Dokumenten des Ministeriums für Land, Infrastruktur und Verkehr feinabgestimmt → molit-gemma
Halluzinationen durch OpenSearch-basiertes RAG reduziert
BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
Vollständige On-Premises-Bereitstellung (0 externe APIs)

Warum sLLM?

Bei der Beantwortung von Bürgeranfragen durch Behörden besteht bei Aufrufen externer APIs das Risiko von Datenabfluss
Modelle der 70B-Klasse belasten die GPU-Infrastruktur stark → ergänzt durch ein 1B-Modell + RAG
Domain-spezifisches Fine-Tuning liefert eine höhere Genauigkeit als allgemeine LLMs

Architektur

Benutzeranfrage → OpenSearch-Suche → Top-K-Richtliniendokumente → Antwortgenerierung durch molit-gemma → Quellenzitation

Implikationen

Präsentiert eine empirische Baseline für die Kombination aus sLLM + RAG im öffentlichen Sektor
Selbst mit einem 1B-Modell kann bei begrenzter Domäne ein praxisnahes Niveau erreicht werden
Reduzierung von Halluzinationen + Sicherung der Erklärbarkeit

1 Kommentare

jhk0530 31 분 전

Herzlichen Glückwunsch zur Abschlussarbeit!