Erfahrungen und Stolpersteine beim Einbau einer AI-Fact-Checking-Funktion in eine politische Community

Hallo.
Ich bin der Entwickler, der sich vor etwa sechs Monaten mit „Uhheung“, einem Bürgerbeteiligungsdienst, über den man Gesetzesentwürfe leicht einsehen und Meinungen dazu abgeben kann, vorgestellt hat.

Diesmal habe ich eine AI-Fact-Checking-Funktion eingeführt, um Fake News und unproduktive Debatten innerhalb der Community zu reduzieren. Ich möchte die Überlegungen und technischen Stolpersteine teilen, die mir dabei begegnet sind.

Am Anfang bin ich sehr einfach herangegangen: Ich habe den Zieltext übergeben und den Prompt etwa so formuliert: „Prüfe, ob dieser Text wahr ist.“ Als ich das aber im echten Service ausgerollt habe, tauchten unerwartet viele Probleme auf.

Selbst bloße persönliche „Meinungen“ wurden behandelt, als wären sie faktisch überprüfbar, und auch ohne belastbare Grundlage wurden plausibel klingende Schlussfolgerungen gezogen. Außerdem kam es zu absurden Situationen, in denen das Ergebnis nach dem Fact-Check nicht mehr zum Beitrag passte, weil der Autor anschließend den Originaltext geändert hatte.

Am Ende habe ich die ursprüngliche Struktur komplett verworfen. Inzwischen haben wir die Pipeline ziemlich stark umgebaut und betreiben sie wie folgt.

1. Prüfbare Aussagen herausfiltern (Meinung vs. Fakt)

Wir prüfen nicht den gesamten Text auf einmal, sondern extrahieren zunächst nur objektiv überprüfbare „Faktenbehauptungen“. Werturteile wie „Diese Politik ist die schlechteste“ werden ignoriert; Sätze wie „Dieser Gesetzentwurf erhöht die Steuern um 20 %“ werden dagegen als Ziel genommen.
Um den Kontext korrekt zu erfassen, betrachten wir nicht nur den Zieltext, sondern liefern der AI den Originalbeitrag, den übergeordneten Kommentar und sogar angehängte Bilder multimodal gebündelt als Kontext.

2. Die AI dazu bringen, „Ich weiß es nicht“ zu sagen

Das war einer der Punkte, auf die ich am meisten geachtet habe. Um die für LLMs typischen Halluzinationen zu vermeiden, habe ich den Prompt stark so gesteuert, dass bei zu wenig verlässlichen Quellen für eine Kreuzprüfung oder bei nicht überprüfbaren Sachverhalten keine erzwungene Schlussfolgerung gezogen wird, sondern mit „nicht bekannt“ oder „Bewertung zurückgestellt“ geantwortet wird.

3. Snapshots des Originals archivieren und Quellen transparent machen

Um das Problem zu verhindern, dass Autoren ihre Beiträge nachträglich ändern, speichern wir die Originaldaten zum Zeitpunkt der Fact-Check-Anfrage unverändert als Snapshot. Wenn andere Nutzer das Ergebnis sehen, können sie transparent nachvollziehen, „welcher Text/welches Bild zu welchem Zeitpunkt“ geprüft wurde und „welche Quellen“ dafür herangezogen wurden.

4. Umgang mit Traffic und Ressourcen

Da es aufwendig ist, all diesen Kontext einzusammeln und zu prüfen, brauchten wir ein Warteschlangenmanagement für Nutzeranfragen. Deshalb schieben wir alle Anfragen mit Redis Cluster + BullMQ in eine asynchrone Queue und verarbeiten sie nacheinander in Background-Workern.
Unter Berücksichtigung von Kosten und Geschwindigkeit nutzen wir Gemini 3.5 Flash als Hauptmodell, haben aber eine Struktur eingebaut, die bei steigender Fehlerrate oder fehlgeschlagener komplexer Inferenz auf Gemini 3.1 Pro zurückfällt.
(Um wahllose Anfragen zu verhindern, bieten wir es einmal pro Tag kostenlos an und ziehen danach In-App-Punkte ab.)

Aufgaben, an denen wir noch arbeiten

Wir haben zwar einige Schutzlogiken eingebaut, aber es gibt weiterhin viele schwierige Fälle. Wenn Statistiken unterschiedliche Bezugszeitpunkte haben, wenn Aussagen von Politikern Metaphern oder Interpretationsspielraum enthalten oder wenn lange Texte Fakten und Unwahrheiten geschickt vermischen, ist eine perfekte Verarbeitung weiterhin schwierig.

Sie können es direkt in der Uhheung-App testen.
Falls Sie Prompting-Tipps haben, mit denen man Halluzinationen in solchen Prüf-Logiken besser eindämmen kann, oder UX/UI-Ideen, wie Nutzer uneindeutige Ergebnisse besser akzeptieren, freue ich mich über Ratschläge. Vielen Dank fürs Lesen des langen Beitrags!

Google Play: https://play.google.com/store/apps/details?id=kr.uhheung.app
App Store: https://apps.apple.com/kr/app/%EC%96%B4%ED%9D%A5/id6751951353