In einem vom Google-Research-Team veröffentlichten Paper ("Prompt Repetition Improves Non-Reasoning LLMs") wurde eine sehr einfache, aber wirkungsvolle Technik vorgestellt:
Wenn derselbe Prompt unverändert zweimal hintereinander eingegeben wird, steigt bei den meisten aktuellen LLMs (Gemini, GPT-4o, Claude, DeepSeek usw.) die Genauigkeit deutlich.
Wichtige Punkte:
- Aufgrund der autoregressiven Struktur von LLMs sind sie anfällig für die Reihenfolge von Prompt-Informationen und dafür, Inhalte nur einmal zu sehen → bei Aufgaben mit wichtigen Informationen im hinteren Teil oder mit Referenzbedarf liegen sie häufig daneben.
- Wird der Prompt zweimal wiederholt eingegeben, verarbeitet das Modell denselben Inhalt in der Prefill-Phase (Analyse der Eingabe) zweimal, wodurch die interne Repräsentation präziser wird und Referenz- sowie Erinnerungsfehler stark zurückgehen.
- Die Generierungsphase (Erzeugung von Output-Tokens) wird kaum beeinflusst → Inferenzzeit und Ausgabelänge steigen fast nicht an (Ausnahme: sehr lange Kontexte wie bei Claude).
- Versuchsergebnisse: Bei 70 Kombinationen aus 7 Modellen × mehreren Benchmarks gab es 47 Verbesserungen, ohne dass ein Fall deutlich schlechter wurde.
- Extrembeispiel: Aufgabe „Wie lautet der 25. Name in einer Liste mit 50 Namen?“
→ Gemini 2.0 Flash Lite: Basisgenauigkeit 21 % → 97 % nach Wiederholung (nahezu perfekt) - Bei komplexen Reasoning-Aufgaben wie Chain-of-Thought ist der Effekt gering (wenn Referenzen ohnehin schon gut verarbeitet werden).
- Nachteil: Ist der Prompt bereits sehr lang, kann sich die Prefill-Zeit erhöhen, und bei drei oder mehr Wiederholungen kann das Token-Limit erreicht werden.
Fazit
Ein erstaunlich einfacher und fast kostenloser Trick zur Steigerung der Genauigkeit, der ähnlich bekannt werden könnte wie „Think step by step“.
Vor allem bei einfachen Referenzen, Listenverarbeitung und Fragen zu strukturierten Daten ist es ein praktischer Tipp, der sich sofort einsetzen lässt.
Noch keine Kommentare.