1 Punkte von GN⁺ 2024-12-25 | 1 Kommentare | Auf WhatsApp teilen
  • Leitlinien zur Krebsbehandlung verdichten klinische Evidenz zu strukturierten Empfehlungen und verringern so Behandlungsunterschiede, lassen sich in der Praxis wegen Zeitdrucks und unterschiedlichem Zugang zu aktueller Forschung jedoch nur schwer einheitlich anwenden
  • Das NCCN ist ein Zusammenschluss von 32 führenden Krebszentren in den USA; multidisziplinäre Expertengremien für die einzelnen Krebsarten aktualisieren jährlich die NCCN Clinical Practice Guidelines in Oncology
  • Die heutigen Leitlinien sind PDF-Flussdiagramme, bei denen man mehreren Seiten und Links folgen muss; bei seltenen Subtypen oder komplexen Patientenbedingungen ist es schwierig, die richtige Version und den richtigen Pfad zu finden
  • Im Kern sind Leitlinien Entscheidungsbäume. In einem maschineninterpretierbaren Format könnten Patientendokumentationssysteme Untersuchungsvorschläge, Warnungen bei Abweichungen von Leitlinien und schnellere Such- und Navigationsoberflächen unterstützen
  • Ein Pilot-Tool hat die NCCN-Leitlinie zu Brustkrebs mithilfe eines LLM in ein JSON-Schema extrahiert und als Graph mit 271 Knoten gespeichert; die Genauigkeit liegt jedoch nur bei 70–80 %, und es darf nicht für klinische Entscheidungen verwendet werden

Die Rolle von Leitlinien bei der Standardisierung der Krebsbehandlung

  • Zwei Patienten mit derselben Krebsart, demselben Stadium, derselben Tumorgröße und -lokalisation sollten idealerweise auch bei Besuchen in unterschiedlichen Krankenhäusern dieselbe evidenzbasierte Behandlung oder zusätzliche Diagnostik erhalten
  • In der Realität stehen Ärzte unter Zeitdruck, haben unterschiedliche Ausbildungshintergründe und möglicherweise keinen unmittelbaren Zugang zu aktueller Forschung
  • Klinische Leitlinien fassen umfangreiche medizinische Evidenz zu strukturierten Empfehlungen zusammen und helfen so bei der Standardisierung der Behandlung zwischen Krankenhäusern und Klinikern
  • Die individuelle Reaktion auf eine Behandlung kann variieren, doch die Befolgung evidenzbasierter Leitlinien kann die Wahrscheinlichkeit positiver Ergebnisse erhöhen

Wie NCCN-Leitlinien entstehen

  • Spezialisierte Onkologen für die jeweiligen Krebsarten listen jedes Jahr die verschiedenen Situationen auf, die in der Praxis auftreten können, prüfen die klinische Evidenz für jede Situation und empfehlen ein Vorgehen
    • Beispiel: frühes Mammakarzinom, frühere brusterhaltende Teilresektion, derzeit schwangere Patientin
    • Beispiel: invasives duktales Karzinom und eine Tumorlänge von 0,6–1 cm
  • Empfehlungen können dazu führen, bestimmte Untersuchungen anzufordern, einen Behandlungsverlauf zu verordnen oder Termine zur weiteren Verlaufskontrolle festzulegen
  • Das Gremium prüft regelmäßig neue Evidenz und aktualisiert die Leitlinien
  • Da die verfügbaren Behandlungen regional unterschiedlich sind, erstellen verschiedene Organisationen unterschiedliche Leitlinien; auch die praktische Anwendung wird von der Region beeinflusst
  • Das NCCN ist ein Zusammenschluss von 32 führenden Krebszentren in den USA; multidisziplinäre Expertengremien für die einzelnen Krebsarten prüfen aktuelle Forschung und erzielen Konsens über Ansätze für Screening, Diagnose, Behandlung und supportive Therapie
  • Das Ergebnis, die NCCN Clinical Practice Guidelines in Oncology, gilt weltweit als umfassender und weit verbreiteter Standard für die Krebsbehandlung

Praktische Probleme einer PDF-basierten Umsetzung

  • Eine Seite der NCCN-Leitlinie zu Brustkrebs enthält Links wie BINV-6, und jeder Link führt zu einer separaten Seite mit eigenem Flussdiagramm
  • Ärzte ordnen die Situation des Patienten in das Flussdiagramm ein; wenn unbekannte Informationen wie der HER2-Status auftauchen, veranlassen sie Tests oder folgen mehreren Seiten, bis sie eine Behandlungsempfehlung erreichen
  • Auch mit Leitlinien ist vollständige Standardisierung schwierig
    • Es kann mehrere Behandlungsoptionen mit ähnlich starker Evidenz geben
    • Patientenfaktoren, die für die Behandlung relevant sind, werden in der Leitlinie möglicherweise nicht ausdrücklich aufgelistet
    • Ärzte müssen weiterhin urteilen, doch der Bereich möglicher Entscheidungen wird enger
  • Spitzenzentren wie die Mayo Clinic oder MD Anderson verfügen neben Finanzierung, hochspezialisierten Onkologen und Zugang zu klinischen Studien auch über systematische Behandlungsprozesse und Verfahren zur Umsetzung von Leitlinien
  • In jedem Krankenhaus kann die Behandlung von Leitlinien abweichen
    • Beispiel: Die Information, dass eine Patientin postmenopausal ist, wird in der Akte übersehen, und sie erhält möglicherweise eine Therapie, die für prämenopausale Patientinnen besser belegt ist
    • Da Ärzte Hunderte von Patienten betreuen, können trotz zugänglicher Leitlinien einzelne Bedingungen übersehen werden
  • Wege zur Verbesserung der Ergebnisse in der Krebsbehandlung umfassen auch die Entdeckung neuer Medikamente und bessere Operationstechniken; doch die Lücke in der evidenzbasierten Versorgung zu schließen, ist ein unmittelbarer, allgemeiner und erreichbarer Ansatz

Grenzen, wenn Entscheidungsbäume in PDFs feststecken

  • Leitlinien enthalten Hunderttausende Stunden Arbeit spezialisierter Onkologen, doch das Endprodukt ist ein dichtes, schwer zu durchsuchendes PDF
  • Ein Onkologe, der einen seltenen Brustkrebs-Subtyp nur alle paar Jahre sieht, muss die richtige PDF-Version finden, den passenden Abschnitt für die Tumoreigenschaften identifizieren, Links über mehrere Seiten verfolgen und dabei Patientenfaktoren kontinuierlich im Blick behalten
  • Leitlinien werden laufend überarbeitet und neue Versionen als separate PDFs verteilt; dadurch ist es leicht, Updates zu verpassen oder auf eine alte Version zu verweisen, die zwischen klinischen Dokumenten untergeht
  • Im Kern sind Leitlinien Entscheidungsbäume, und die Autorenteams investieren viel Aufwand darin, Evidenz zu prüfen und in Baumform zu ordnen
  • Mit ausreichend strukturierten Daten könnten Maschinen Leitlinien interpretieren
    • Ein Dokumentationssystem könnte automatisch notwendige diagnostische Untersuchungen für einen Patienten vorschlagen
    • Wenn eine Behandlung von der Leitlinie abweicht, könnte es Warnungen oder ein „Sind Sie sicher?“-Modal anzeigen
    • Ärzte könnten Leitlinien schneller und natürlicher prüfen, statt nach einem PDF zu suchen
  • Organisationen, die Leitlinien erstellen, sollten neben herunterladbaren PDFs auch ein strukturiertes, maschineninterpretierbares Format bereitstellen; idealerweise sollten alle Einrichtungen und Patientendatensysteme dasselbe Format interpretieren können
  • Allerdings liegt ein solcher datenbasierter Ansatz nicht im Kernkompetenzbereich von Leitlinienorganisationen

Pilot-Tool für strukturierte Leitlinien

  • Auf Basis der Erfahrung als Software Engineer in der Zusammenarbeit mit Onkologen wurde ein Proof-of-Concept-Tool entwickelt, das in PDFs eingeschlossene Entscheidungsbäume in eine für Maschinen verständliche Struktur extrahiert
  • Schema-Design

    • Zunächst wurde ein Schema definiert, das die meisten Informationen der NCCN-Leitlinien abbilden kann
    • Leitlinien wirken wie ein Informationsbaum, doch manche Verweise können zurückführen, sodass Zyklen entstehen
    • Die gesamte Leitlinie für eine Krebsart wird in mehrere voneinander getrennte gerichtete Graphen aufgeteilt
    • Jeder Punkt, etwa Bedingungen, einschränkende Merkmale oder Behandlungsoptionen, wird als Knoten dargestellt; zugehörige Literaturverweise und Fußnoten werden ebenfalls in Knoten gespeichert
    • Pfeile im Flussdiagramm oder Verweise zwischen Seiten werden als Beziehungen zwischen Knoten dargestellt
  • Datenextraktion

    • Im ersten Schritt durchsucht ein LLM das Dokument und erzeugt Referenzknoten für jede Seite der Leitlinie
    • Seitenreferenzen werden zu Elternknoten der obersten Knoten jeder Seite; wenn andere Knoten auf eine bestimmte Seite verweisen, zeigen sie auf den entsprechenden Seitenknoten
    • Anschließend liest das LLM die Leitlinie in kleinen Seitengruppen und extrahiert sie zusammen mit den Seitenreferenzen als JSON-Darstellung des Schemas
    • Dieser Prozess wurde auf die NCCN-Leitlinie zu Brustkrebs angewandt; Knoten und Beziehungen wurden in einer Datenbank gespeichert, insgesamt entstanden 271 Knoten
  • Visualisierung

    • Mit der React-Flow-Bibliothek wurde ein Graph-Viewer erstellt, der Seiten als Root-Knoten anzeigt, die keine eingehenden Referenzen haben
    • Wenn man auf einen Knoten klickt, erscheinen die Kindknoten, und Nutzer können dem Knotenfluss nach unten folgen
  • Agent-Implementierung

    • Es wurde ein Agent implementiert, der anhand einer eingegebenen Patientengeschichte den Graphen durchsucht
    • Zuerst findet er den obersten Knoten, der der Patientensituation am nächsten kommt, und wählt anschließend unter den Kindknoten denjenigen aus, der am besten zum Patienten passt
    • Dieser Prozess wird wiederholt, bis ein Blattknoten erreicht ist oder nicht genügend Informationen für den weiteren Verlauf vorliegen
    • Das Pilot-Tool ist hier verfügbar

Grenzen und nächste Schritte

  • Die Demo-Daten wurden nicht geprüft und enthalten Fehler und Auslassungen; sie dürfen daher nicht für klinische Entscheidungen verwendet werden
  • In den Extraktionsprozess flossen einige Stunden Arbeit, in den Agenten weniger; mit mehr Aufwand ließe sich die Genauigkeit erhöhen
  • Die aktuelle Genauigkeit liegt bei etwa 70–80 %
  • LLM-Extraktion ist eine einfache Methode, um Prototypen zu erstellen, und menschliche Prüfung kann die Zuverlässigkeit erhöhen; ideal wäre jedoch, Leitlinien von Anfang an in strukturierter Form zu verfassen
  • Die aktuellen Daten sind weiterhin halbstrukturiert
    • Informationen wie Kausalbeziehungen und die Art, wie jeder Knoten bewertet werden soll, erfordern weiterhin das Verständnis der natürlichen Sprache in den einzelnen Knoten
    • Künftige Arbeiten könnten ein stärker strukturiertes Schema definieren, das leichter auszuwerten ist

1 Kommentare

 
GN⁺ 2024-12-25
Meinungen auf Hacker News
  • Ich halte PDF für besser. Custom-Tools unterscheiden sich wahrscheinlich je nach Praxis oder elektronischer Patientenakte, und die Wartungskosten dürften hoch sein.
    PDF ist in vielerlei Hinsicht nicht ideal, aber langlebig und portabel. Selbst wenn man mit zwei Onkologen arbeitet, kann man dasselbe PDF verwenden.
    Die Absicht des Autors ist gut, aber am Ende wird es wahrscheinlich ein Tool, das nur er selbst versteht, und durch zahllose Ausnahmen eher schlechter.

    • Ich bin der Autor. Danke für das Feedback, und ich stimme zu, dass Portabilität und Beständigkeit wichtig sind.
      Ich will das nicht bauen, um es an medizinische Einrichtungen zu verkaufen, sondern zeigen, was mit strukturierten Behandlungsleitlinien möglich ist. Ich sehe keinen Grund, warum das an eine bestimmte Praxis oder elektronische Patientenakte gebunden sein müsste.
      Idealerweise würden Leitlinienorganisationen neben PDFs auch strukturierte Darstellungen veröffentlichen. Die Autorentools könnten in beide Formate exportieren, Onkologen könnten weiter PDFs nutzen, während Systeme die strukturierten Daten verwenden.
    • Der Autor plädiert dafür, zusätzlich zum PDF auch eine DAG-Darstellung bereitzustellen.

      The organizations drafting guidelines should release them in structured, machine-interpretable formats in addition to the downloadable PDFs.
      Idealerweise würde das PDF aus dem zugrunde liegenden DAG erzeugt. Dann könnte man sicher sein, dass alle Inhalte des PDFs im DAG erfasst sind.

    • Wenn es auch in kleineren Einrichtungen nutzbar ist, hat es Wert.
      Onkologen in der regionalen Versorgung haben im Vergleich zu nationalen Krebszentren begrenzte technische Ressourcen. Wenn man ihnen das Leben erleichtern kann, ist das gut.
      Allerdings sind auch veröffentlichte Dokumente wie PDFs gut. Systeme machen es meist schwer, ein Juni-Release mit einem September-Release zu vergleichen.
    • Genau. PDF funktioniert. Es geht nicht kaputt, man kann alle Informationen mit eigenen Augen prüfen, und man kann es per E-Mail verschicken.
      Wizard-artige Systeme verbergen die meisten Informationen, können unbekannte Bugs haben, alternative Pfade sind schwer zu überblicken, sie sind wahrscheinlich an registrierte Nutzer gebunden, und das System kann ausfallen.
      Ich glaube, dass deutlich intelligentere Computersysteme die Zukunft der Medizin sind, aber ich bezweifle, ob es richtig ist, mit noch einem Custom-Tool nur für Krebsleitlinien anzufangen.
    • Zustimmung. Allerdings unterstützt das PDF-Format strukturierte Daten, sodass man im Prinzip beides in einer einzelnen Datei haben kann.
  • Diese Idee ist nicht neu. Wenn man nach computable clinical guidelines sucht, findet man viel wissenschaftliche Literatur dazu; dieser Artikel ist ein guter Ausgangspunkt [1].
    Tatsächlich gibt es seit den 1970er-Jahren entsprechende Versuche, ein bekanntes Beispiel ist das MYCIN-Expertensystem [2].
    Wie die Geschichte von MYCIN zeigt, ist dieses Problem viel subtiler, als es auf den ersten Blick wirkt; technische, psychologische, soziologische und wirtschaftliche Faktoren greifen ineinander. Genau deshalb bleiben Krebsleitlinien auch in PDFs.
    Trotzdem gibt es keinen Grund, die Erforschung zu bremsen. Nur weil frühere Generationen es nicht lösen konnten, heißt das nicht, dass es unlösbar ist.
    [1] https://pmc.ncbi.nlm.nih.gov/articles/PMC10582221/
    [2] https://www.forbes.com/sites/gilpress/2020/04/27/12-ai-miles...

    • Der Kommentar oben ist ein guter Kommentar mit vielen Punkten, die sich zu vertiefen lohnen.
      Zusätzlich sollte man sich auch die Developer API des NCCN ansehen. Das ist weniger deshalb interessant, weil es technisch spannend wäre, sondern weil es das Umfeld der geistigen Eigentumsrechte zeigt.
      https://www.nccn.org/developer-api
  • Der Kern ist, dass es für Ärzte schwer ist zu prüfen, ob ihre Empfehlungen tatsächlich die aktuelle klinische Forschung widerspiegeln.
    Wichtig ist außerdem, dass die Vorteile, die Ärzte an maßgeblichen medizinischen Zentren im Zentrum der Forschung haben, allen Ärzten zugänglich gemacht werden könnten. Das nennt man oft das Problem der Wissensverbreitung.
    Derzeit sind systematische Literaturreviews nach Cochrane-Standards der beste Ansatz [0]. Solche Reviews sind arbeitsintensiv und werden viel zu selten durchgeführt, sind aber sehr wertvoll, wenn sie gut gemacht sind.
    In solchen Reviews wird auch sichtbar, wie oft veröffentlichte Studien wegen Verzerrungen, unvollständiger Datensätze und ähnlicher Gründe ausgeschlossen werden.
    Der im Link beschriebene Geiger-Ansatz ist gut gemeint, aber das Ergebnis wird auf dieselben Probleme stoßen wie manuelle systematische Literaturreviews.
    Ich frage mich, ob der Autor neben Machine-Learning-Ansätzen auch regelbasierte Ansätze wie Cochrane-Leitlinien in Betracht gezogen hat.
    [0] https://training.cochrane.org/handbook

    • Ich bin der Autor. Cochrane Reviews sind hervorragend.
      NCCN-Leitlinien und Cochrane Reviews haben in der Medizin komplementäre Rollen. NCCN stellt praktische und häufig aktualisierte Algorithmen zur Krebsbehandlung bereit, die auf Forschung und Expertenkonsens beruhen; Cochrane Reviews bieten für die gesamte Medizin eine strenge Evidenzanalyse mit stärkerem Fokus auf randomisierte kontrollierte Studien.
      NCCN-Leitlinien lassen sich im klinischen Alltag unmittelbarer anwenden, während Cochrane Reviews eine tiefere Analyse der Evidenzqualität liefern.
      Mein Hauptziel war zu zeigen, was mit beliebigen medizinischen Leitlinien möglich ist, wenn sie richtig strukturiert sind. Den Maßstab kann man nach Wunsch wählen.
    • Es überrascht mich, dass KI-Nutzung für Ärzte nicht nahezu zwingend ist. Wenn man bedenkt, wie viele Informationen veraltet oder schlicht falsch sind.
    • Ärzte interessieren sich ungefähr so sehr für aktuelle klinische Forschung, wie Software Engineers sich für aktuelle Informatikforschung interessieren.
      Einige Neugierige verfolgen sie, aber die allgemeine Haltung ist eher: Man hat bereits eine harte Ausbildung durchlaufen, also muss man das nicht mehr tun.
  • Die Aussage „Der Kern von Leitlinien ist ein Entscheidungsbaum“ ist eher Wunschdenken und kann selbst als Zielsetzung wenig hilfreich sein.
    In Leitlinien gibt es kaum Daten, die alle möglichen Entscheidungswege abdecken. Sie berichten gut gestützte Ergebnisse, liefern in einigen interpolierten Fällen Expertenmeinungen und listen für einen Teil des Rests Faktoren auf, die zu berücksichtigen sind.
    Reduziert man das auf einen Entscheidungsbaum, bleiben viele Äste leer, und die meisten Fachleute können Faktoren identifizieren, die zu einem komplexeren Baum führen müssten.
    Der Grund ist, dass die Äste selten deterministisch sind. Sie ähneln eher quantenartigen Wahrscheinlichkeiten, bei denen man mehrere Möglichkeiten gleichzeitig im Blick behalten muss; erst nachdem eine Behandlung Wirkung zeigt oder scheitert, zeigt die Krankheit – hier der Krebs – ihr wahres Gesicht.
    Bis die tatsächliche Informationsstruktur von Leitlinien erfasst ist, werden sie als autoritative und didaktische Darstellung der Standardbehandlung vermittelt werden.
    In fast allen Fällen ist es wichtiger, schneller zu publizieren und durch Literaturangaben die Transparenz zu erhöhen, als zur Steigerung der Akzeptanz zu vereinfachen oder operative Abläufe daraus zu machen.
    Die meisten Ärztinnen und Ärzte in dynamischen Fachgebieten brauchen keine Vereinfachung. Die Schwierigkeit des Materials überwinden sie durch lebenslange Selbstdisziplin und Sorgfalt; Leitlinien nutzen sie vor allem als Rahmen für Kommunikation und Vollständigkeit, um zu prüfen, ob bekannte Bedenken berücksichtigt wurden.
    Strukturierte Leitlinien dienen vor allem dazu, Außenstehenden Beobachtung und Kontrolle zu ermöglichen, und diese Art dürfte kaum produktiv sein.

  • Warum steckt nicht alles menschliche Wissen in einer einzigen riesigen JSON-Datei? Leitlinien sind zwar Entscheidungsbäume, aber sie sind nicht dafür geschrieben, mechanisch angewendet zu werden. Denn es gibt keine identischen Patienten mit identischem Krebs unter identischen Annahmen.
    Leitlinien sind nicht für den einzelgängerischen Arzt aus dem Film gedacht, der im Wettlauf gegen die Zeit mit dem Krebs in Echtzeit einen Entscheidungsbaum hinabsteigt, sondern für hochqualifizierte klinische Teams, die eingespielt zusammenarbeiten. Sie sind in der Lage zu erkennen, wo eine Leitlinie falsch ist oder erweitert bzw. angepasst werden muss.
    Anders gesagt: Leitlinien sind eine Abstraktion des aktuellen Behandlungsstands.
    Es wäre schön, solche Leitlinien wie Source Code in einem medizinischen Versionsverwaltungssystem zu behandeln, sodass Subspezialitäten und Fachärzte sie leicht ändern oder forken können. Aber biologische Abhängigkeiten sind viel komplexer als Silizium-Abhängigkeiten und werden sich auch auf absehbare Zeit schwerer diskretisieren lassen.
    Das heißt nicht, dass das Ziel des Autors falsch wäre. Es ist sehr gut. Ich denke nur, dass Fortschritt in diesem Bereich am einfachsten innerhalb der beteiligten Teams entsteht. Was von außerhalb des Systems konzeptionell einfach aussieht, wirkt nur deshalb so, weil die Auflösung fehlt.

    • Weil JSON für Menschen schrecklich zu lesen ist?
      Wenn es etwas gibt, das ich lesen möchte, dann ein durchsuchbares Papierdokument.
  • Aus demselben Grund, aus dem Datenblätter immer noch PDFs sind: Es ist ein vertrauenswürdiges, langlebiges und portables Format.
    Dass wir im Grunde Papier nachahmen, ist absurd, aber es gibt kein anderes Format, das diese Lücke füllt.
    Eigentlich hätte HTML diesem Zweck dienen sollen, aber in den letzten etwa 20 Jahren lag der Fokus auf allem Möglichen, nur nicht darauf, HTML zu einem besseren Format für den Informationsaustausch zu machen.
    Selbst für die triviale Aufgabe, komplexe HTML-Dokumente in eine einzelne Datei zu bündeln, gibt es keine Standardlösung. Bei file://-URLs funktionieren Cookies nicht, und sehr grundlegende Dinge funktionieren nicht oder existieren gar nicht.
    Stattdessen entstehen abgeleitete Formate wie ePUB, die größtenteils HTML sind, aber von den meisten Browsern praktisch nicht unterstützt werden.

    • Es wäre gut, wenn man HTML und JavaScript für die Offline-Ansicht auf standardisierte Weise paketieren könnte: im Grunde wie ein PDF behandeln, aber mit schicken Funktionen wie interaktiven Steuerelementen.
  • In den letzten zehn Jahren habe ich bei zwei Startups solche computerisierten Verfahren zweimal implementiert.
    Ich möchte nicht, dass NCCN das tut.
    Die NCCN-Leitlinien sind nicht in PDFs gefangen, sondern in den Köpfen der Ärztinnen und Ärzte.
    Wenn NCCN-Leitlinien in computerisierte Regeln überführt werden, beginnen diese Regeln ihrerseits, die Leitlinien zu lenken. Das wird zu einer zweiten Einflusskraft, die von der Grundlagenwissenschaft wegführt.
    Ich stimme völlig zu, dass eine Systematisierung von Regeln nötig ist, aber sie muss dem sich extrem häufig ändernden Wissen an der Krebsfront vollständig untergeordnet sein.
    Jedes Jahr nach großen fachübergreifenden Onkologie-Kongressen wie ASCO und krankheitsspezifischen Kongressen, etwa dem San Antonio Breast Cancer Symposium, muss das Wissen aktualisiert werden; und wenn noch im selben Jahr wichtige Studienergebnisse erscheinen, müssen Ärztinnen und Ärzte ihr Wissen über aktuelle Studien und Fortbildungen auf den neuesten Stand bringen. Das ist ein gesamtes Wissenssystem, das die von NCCN publizierten Grenzen ergänzt.
    Da ich mein Leben lang sowohl in der Informatik als auch in der Medizin gearbeitet habe, glaube ich, dass Ärztinnen und Ärzte Regeln viel schneller aktualisieren können als Programmierer und Datenbanken.
    Bitte sperrt die NCCN-Leitlinien nicht in Spaghetti-Code ein, den nur ein paar Programmierer verstehen, sondern haltet sie als PDF offen, dem jeder über Links folgen und das jeder überprüfen kann.
    Nachtrag: Vielleicht ändere ich meine Meinung, wenn ich diesen Artikel etwa eine Woche lang verdaut habe. Vielleicht sollte NCCN klinische Variablen so weit standardisieren, dass es trivial wird, sie in Regeln zu übersetzen. Allerdings müssten die Hypothesen klinischer Studien in diese Regeln passen; um zu sehen, ob das möglich ist, muss ich wohl noch etwa eine Woche darüber nachdenken.

  • Entscheidungsbäume funktionieren, um Entscheidungen zu treffen.
    Aber sie funktionieren nicht so gut wie andere Entscheidungstechniken. Random Forests, lineare Modelle, neuronale Netze usw. sind im Kern ebenfalls alles Entscheidungstechniken.
    In komplexen Systemen mit vielen Daten, also bei der menschlichen Gesundheit, schneiden Entscheidungsbäume schlecht ab.
    Warum verwenden wir also eine Methode, die als unterlegen gilt, nur weil sie sich leicht in PDFs schreiben, in Meetings leicht begründen und jemandem leicht erklären lässt?
    Sollten wir nicht ein modernes mathematisches Modell verwenden, das die höchste Wahrscheinlichkeit einer „Heilung“ liefert, selbst wenn es zu komplex ist, als dass Menschen es verstehen könnten?

    • Bei menschlicher Gesundheit gibt es nicht viele hochwertige Daten. Klinische Leitlinien für viele Krankheiten stehen überraschend oft auf einer dünnen Evidenzbasis.
      Ein Modell, das so komplex ist, dass Menschen es nicht verstehen können, lässt sich vor Gericht sicher hervorragend erklären, wenn sich später herausstellt, dass Datenleckage oder ein anderer Bias im Spiel war.
    • Auch die Erzeugung von Behandlungen basiert üblicherweise auf einem Entscheidungsbaum-Modell und passt daher zur Auflösung der verfügbaren Daten.
      Medizinische Praxis in der Realität interpoliert häufig zwischen solchen Datenpunkten.
    • Modelle, die für Menschen zu komplex sind, um sie zu verstehen, haben in der Praxis keine hohe Wahrscheinlichkeit einer „Heilung“.
  • Aus Sicht eines Krebsforschers beruhen manche Äste der Entscheidungsbäume in den NCCN-Leitlinien auf Studien, in denen mehrere Optionen zwar alle besser waren als Placebo, sich untereinander aber statistisch nicht signifikant unterschieden.
    In solchen Fällen können Kliniker andere Faktoren heranziehen, um zu entscheiden, welchen Weg sie wählen. Bei Prostatakrebs sind Operation und Strahlentherapie ein klassisches Beispiel. Beide sind ungefähr ähnlich wirksam, aber die Erfahrung für den Patienten ist sehr unterschiedlich.

  • Es ist noch viel schlimmer, als man es sich vorstellt. Ich habe bei einem Healthcare-Startup gearbeitet, das sich mit der Patientenrekrutierung für klinische Onkologie-Studien befasste, und die Hürden waren enorm.
    Ehrlich gesagt würde es keinen großen Unterschied machen, wenn die Daten als einfacher Text vorlägen. Diagnosecodes unterscheiden sich von medizinischer Einrichtung zu medizinischer Einrichtung, das semantische Verständnis von Diagnoseinformationen ebenfalls, elektronische Patientenakten sind ein Chaos, und alles ist in natürlicher Sprache statt in Datenstrukturen geschrieben.
    Wer schon einmal Healthcare-Software gemacht hat, kann noch viel mehr Horrorgeschichten erzählen.
    Ich hoffe, dass große Sprachmodelle dabei helfen, einen Teil davon aufzuräumen, aber wie jeder weiß, der Healthcare-Software gemacht hat, ist das kein technisches Problem, sondern ein sehr menschliches Problem.
    Es gibt dennoch einen Lichtblick. Kollegen haben mithilfe von Kategorientheorie und Prolog große Fortschritte dabei gemacht, ein beweisbar optimales 3+3-Dosis-Eskalationsprotokoll für klinische Onkologie-Studien zu finden [1].
    David hat dazu beim Scryer-Prolog-Meetup in Wien einen hervorragenden Vortrag gehalten [2].
    Es ist erstaunlich, wie sehr sich die Medizin im finsteren Mittelalter befindet. Obwohl dies die erste ausführbare und programmierbare Spezifikation für 3+3-Krebsstudien ist, kämpft er immer noch darum, medizinische Kollegen und Krankenhausmanager davon zu überzeugen, dass dies die optimale Studie ist. Wenig überraschend, denn sie sprechen weder Software noch Statistik.
    [1]: https://arxiv.org/abs/2402.08334
    [2]: https://www.digitalaustria.gv.at/eng/insights/Digital-Austri...