Implementierungsdetails
Entwicklung des NYUTron‑Foundation‑Modells
Der Eckpfeiler von NYU Langones KI‑Strategie ist NYUTron, ein LLM mit 6,7 Milliarden Parametern, entwickelt von der Division of Applied AI Technologies. Das Pretraining erfolgte auf einem massiven Korpus von 10 Jahren de‑identifizierter stationärer klinischer Notizen von NYU Langone Health mit insgesamt 4,0 Milliarden Wörtern über 4,4 Millionen Patientenkontakte, das vielfältige Narrative von Ärzten, Pflegekräften und Fachärzten abbildet.[1] Dieses Dataset fängt real‑world medizinische Diskurse ein, einschließlich Abkürzungen, Jargon und kontextueller Nuancen, die in öffentlichen Benchmarks oft fehlen. Unter Nutzung einer decoder‑only GPT‑Architektur wurde NYUTron darauf trainiert, das nächste Token in Sequenzen vorherzusagen, wodurch ein tiefes Verständnis klinischer Semantik entstand, zunächst ohne task‑spezifische Supervision.[4]
Feinabstimmungs‑Pipeline für Multitask‑Vorhersagen
Nach dem Pretraining wurde NYUTron separat für 10 Vorhersageaufgaben feinabgestimmt, wobei kleine, beschriftete Teilmengen (z. B. Tausende Beispiele pro Aufgabe) aus EHR‑Labels verwendet wurden. Die Aufgaben reichten von klinischen Outcomes wie stationärer Mortalität, 48‑Stunden‑Mortalität, verlängerter Verweildauer (>7 Tage), 30‑Tage‑Wiederaufnahmen und Hochkostenaufenthalten bis zu operativen Kennzahlen wie zukünftige No‑Show‑Wahrscheinlichkeit und Versicherungsablehnungswahrscheinlichkeit.[1] Das Fine‑Tuning nutzte binäre Klassifikationsköpfe auf den LLM‑Embedding‑Vektoren, optimiert mit Kreuzentropie‑Loss. Dadurch erzielte man AUROC‑Werte, die im Schnitt 4,4 Punkte höher lagen als Baselines wie PLM‑ICU, MedBERT und strukturierte logistische Regressionen auf getrennten Testsets von 2021–2022.[2] Validierung erfolgte über zeitliche Splits, um Generalisierbarkeit sicherzustellen und Overfitting zu verringern.
Überwindung zentraler Herausforderungen
Wesentliche Hürden waren der Umgang mit rauschhaften, heterogenen Notizen und die Gewährleistung von Datenschutz/Compliance nach HIPAA. NYUTron adressierte Rauschen durch massive Datenmengen und selbstüberwachtes Lernen; De‑Identifizierungs‑Pipelines entfernten PHI konsequent.[3] Rechenintensive Anforderungen wurden mit GPU‑Clustern bewältigt, wodurch das Training in Wochen möglich wurde. Im Gegensatz zu strukturierten Modellen, die auf Feature‑Pipelines angewiesen sind, reduzierte NYUTrons End‑to‑End‑Notizintegration die Vorverarbeitung intern um schätzungsweise 90%.[5] Bias‑Minderung nutzte die demografische Vielfalt der NYU‑Patientenbasis; fortlaufende Fairness‑Audits sind jedoch Teil der Roadmap.
Bereitstellung und Integration
NYUTron wird produktiv über APIs in das EHR‑Ökosystem von NYU Langone (Epic) integriert und markiert Hochrisiko‑Patienten in Echtzeit während der Notizerfassung. Pilotprojekte auf Intensivstationen und Normalstationen zeigen die Praxistauglichkeit; Modelle werden quartalsweise mit frischen Daten aktualisiert.[4] Die modulare Architektur erlaubt das Hinzufügen neuer Aufgaben innerhalb von Stunden. Jüngste Erweiterungen (2025) integrieren agentic RAG und offene LLM‑Gewichte für die Ausbildung von Assistenzärzten, wobei NYUTron für Fall‑Insights abgefragt wird.[6] Die Roadmap sieht außerdem multimodale Eingaben (z. B. Bildbefunde) und generative Zusammenfassungen vor.
Zeitrahmen und Skalierbarkeit
Initiiert 2021 in Folge der COVID‑Belastungen, wurde der Kern von NYUTron im Jahr 2023 mit der wegweisenden Nature‑Publikation vorgestellt.[1] Bis 2025 ist es systemweit skaliert und treibt gesundheitssystemweite Vorhersagen über mehr als 370 Standorte an. Dieser Ansatz — einmal trainieren, überall feinabstimmen — macht NYUTron zum Blueprint für KI im Gesundheitswesen.