KoHalluLens: Selbst für Unsinn gibt es eine Taxonomie?!

• KoHalluLens ist ein Projekt, das Facebook Researchs HalluLens auf Koreanisch erweitert und Halluzinationen von LLMs systematisch auf Basis eines jeweils neu erzeugten koreanischen Testsets bewertet.
• Dieser Benchmark unterteilt Halluzinationen in
  • „faktisch falsches Aussagen“ (Factuality issue) und
  • „so tun, als wüsste man etwas, obwohl man es nicht weiß“ (Hallucination)
• Er präsentiert klare Klassifikationskriterien zwischen Extrinsic Hallucination (Widerspruch zu Trainingsinformationen) und Intrinsic Hallucination (Widerspruch zum Eingabekontext).
• Während bestehende Benchmarks das Risiko von Data Leakage mit sich brachten, ermöglicht die extrinsic hallucination von HalluLens durch die Verwendung eines neuen Testsets bei jeder Evaluation eine verlässlichere Bewertung.
• KoHalluLens erweitert dies auf einen koreanischen Evaluierungsdatensatz und macht es über API-Hosting möglich, Halluzinationen des eigenen Modells direkt und ohne separate Computing-Ressourcen zu bewerten.