- Forschungsarbeit zur automatischen Analyse von Thorax-Röntgenaufnahmen
- Vicuna LLM wurde mit medizinischen Daten (100.000 reale Gespräche zwischen Patienten und Ärzten) sowie 30.000 radiologischen Dialogen feinabgestimmt
- Aus frei verfügbaren Datensätzen für radiologische Textberichte (
MIMIC-CXR und OpenI) wurden dialogbasierte, prägnante Zusammenfassungen (~217k) erzeugt, um die Leistung des LLM zu verbessern
- Frozen Medical Visual Encoder (
MedClip) auf das feinabgestimmte LLM (Vicuna) ausgerichtet (unter Verwendung einer Simple Linear Transformation)
1 Kommentare
Wenn man ein Thorax-Röntgenbild hat, kann man die Demo auch selbst ausprobieren.