XrayGPT: Zusammenfassung von Thorax-Röntgenbildern mit einem medizinischen Vision-Language-Modell (VLM)

• Forschungsarbeit zur automatischen Analyse von Thorax-Röntgenaufnahmen
• Vicuna LLM wurde mit medizinischen Daten (100.000 reale Gespräche zwischen Patienten und Ärzten) sowie 30.000 radiologischen Dialogen feinabgestimmt
• Aus frei verfügbaren Datensätzen für radiologische Textberichte (MIMIC-CXR und OpenI) wurden dialogbasierte, prägnante Zusammenfassungen (~217k) erzeugt, um die Leistung des LLM zu verbessern
• Frozen Medical Visual Encoder (MedClip) auf das feinabgestimmte LLM (Vicuna) ausgerichtet (unter Verwendung einer Simple Linear Transformation)

[cosine20]

Wenn man ein Thorax-Röntgenbild hat, kann man die Demo auch selbst ausprobieren.