NV-Raw2Insights-US: NVIDIA und Siemens Healthineers bauen Ultraschall mit KI neu

Ultraschall ist seit Jahrzehnten eines der meistgenutzten bildgebenden Verfahren in der Medizin — wegen seiner Sicherheit, seiner Portabilität und seiner Echtzeitfähigkeit. Doch das, was Kliniker auf dem Bildschirm sehen, ist kein direktes Abbild des Körpers. Es ist eine rekonstruierte Annäherung, entstanden aus Millionen winziger Schallreflexionen, die durch eine fest verdrahtete Verarbeitungspipeline gejagt werden — eine Pipeline, die Vereinfachungen trifft, Signale verwirft und vor allem eine Annahme als gegeben akzeptiert: dass Schall sich überall im Körper gleich schnell bewegt. Das stimmt nicht. Und genau hier setzt das neue KI-Modell NV-Raw2Insights-US an, das NVIDIA in enger Zusammenarbeit mit Forschern von Siemens Healthineers entwickelt hat. Das Modell lernt direkt aus den rohen Ultraschallsignalen, die die Sonde erfasst — noch bevor irgendeine Rekonstruktion stattfindet. Das Ziel: eine Bildgebung, die sich aktiv an die individuelle Physik jedes Patienten anpasst, in Echtzeit, per KI-Inferenz auf einer Blackwell-GPU. Das Modell, die Gewichte und der zugehörige Datensatz sind ab sofort öffentlich auf Hugging Face verfügbar. Was das technisch bedeutet, wie die Systemarchitektur aussieht und was das für den klinischen Einsatz und den breiteren DACH-Markt heißt — das schauen wir uns jetzt Schritt für Schritt an.

Das Problem mit dem klassischen Beamforming

Wer verstehen will, warum NV-Raw2Insights-US relevant ist, muss kurz verstehen, was traditionelles Ultraschall-Beamforming eigentlich macht — und wo es systematisch an seine Grenzen stößt. Eine Ultraschallsonde sendet Schallwellen in das Gewebe und misst die zurückkehrenden Echos. Aus diesen Messwerten — den sogenannten Rohdaten des Ultraschallkanals — rekonstruiert die klassische Pipeline ein zweidimensionales Bild. Dabei trifft sie zwangsläufig vereinfachende Annahmen: Die bekannteste und problematischste ist die Annahme einer konstanten Schallgeschwindigkeit im gesamten Körper.

In der Realität variiert die Schallgeschwindigkeit je nach Gewebetyp erheblich. Fettgewebe, Muskel, Drüsengewebe — all das leitet Schall unterschiedlich schnell. Wenn das System diese Unterschiede ignoriert, entstehen Fokusfehler: Das Bild wird unscharf, Strukturen erscheinen verschoben, diagnostisch relevante Details gehen verloren. Das ist kein Randproblem, sondern eine fundamentale Einschränkung jedes Systems, das Schallgeschwindigkeit als Konstante behandelt.

Forscher haben versucht, dieses Problem algorithmisch zu lösen — etwa durch iterative Optimierungsverfahren oder differenzierbares Beamforming, wie es in der Studie "Ultrasound Autofocusing" im IEEE Transactions on Medical Imaging (Vol. 45, Issue 2, Feb. 2026) beschrieben wird. Diese Methoden liefern gute Ergebnisse, sind aber rechenintensiv und schwer in Echtzeitsysteme zu integrieren. Der klassische Ansatz ist also nicht nur ungenau — er ist auch schwer zu verbessern, ohne die gesamte Architektur anzufassen.

Genau das ist der Ausgangspunkt von Raw2Insights: Anstatt die bestehende Pipeline zu flicken, wird sie grundsätzlich neu gedacht. Das Modell startet nicht bei rekonstruierten Bildern, sondern beim frühestmöglichen Datenpunkt — den rohen Signalen, die direkt von der Sonde kommen.

Was NV-Raw2Insights-US technisch anders macht

Der Kern des Ansatzes lässt sich in einem Satz zusammenfassen: NV-Raw2Insights-US lernt direkt aus den rohen Ultraschall-Kanaldaten — der nächstmöglichen Repräsentation davon, wie Schall wirklich mit Körpergewebe interagiert. Das klingt nach einem Detail, ist aber ein fundamentaler Paradigmenwechsel.

In der ersten Anwendung der Raw2Insights-Klasse schätzt das Modell die Schallgeschwindigkeit, um eine adaptive Bildfokussierung zu ermöglichen. Das Ergebnis ist eine personalisierte Schallgeschwindigkeitskarte für jeden einzelnen Patienten — und diese Karte wird genutzt, um das Bild in Echtzeit zu korrigieren. Was früher komplexe, zeitaufwändige Berechnungen erforderte, wird jetzt in einem einzigen KI-Durchlauf ausgeführt. Im Klartext: Das System versteht nicht nur, dass der Schall zurückkommt — es versteht, wie genau er durch diesen spezifischen Körper gelaufen ist, und passt die Bildrekonstruktion entsprechend an.

Dieser Ansatz reduziert die Fehler, die durch klassische vereinfachende Annahmen entstehen, und öffnet gleichzeitig die Tür für weitere KI-Modelle in derselben Pipeline. NVIDIA bezeichnet Raw2Insights ausdrücklich als ersten Schritt in Richtung eines vollständig KI-nativen Ultraschall-End-to-End-Systems. Die Forschungsgrundlage dafür ist solide: Neben dem IEEE-Paper greift das Projekt auch auf Arbeiten zur Deep-Learning-basierten Schallgeschwindigkeitsschätzung in der Brustultraschalldiagnostik zurück, etwa auf arXiv:2302.03064 "Investigating Pulse-Echo Sound Speed Estimation in Breast Ultrasound with Deep Learning".

Wichtig: Das Modell wurde in direkter Zusammenarbeit mit Ismayil Guracar und Rickard Loftman aus der KI- und Advanced-Platforms-Gruppe von Siemens Healthineers entwickelt. Es handelt sich also nicht um ein rein akademisches Experiment, sondern um ein Projekt mit klarer Verankerung in einem der führenden Medizintechnikunternehmen weltweit — und einem Unternehmen mit starker DACH-Präsenz, da Siemens Healthineers seinen Hauptsitz in Erlangen hat.

So setzt du es um: Die Systemarchitektur Schritt für Schritt

Der technische Aufbau des Systems ist einer der interessantesten Aspekte des Projekts, weil er zeigt, wie man bestehende klinische Hardware mit moderner KI-Infrastruktur verbindet — ohne die Scanner auszutauschen. Hier der konkrete Ablauf:

1. Rohdaten abgreifen (Data over DisplayPort): Rohe Ultraschall-Kanaldaten sind auf klinischen Ultraschallscannern normalerweise nicht zugänglich — die Bandbreite ist zu hoch für Standardschnittstellen. Der Holoscan Sensor Bridge (HSB), ein Open-Source-FPGA-IP von NVIDIA, löst dieses Problem. Ein Altera Agilex-7 FPGA Development Kit in Kombination mit dem HSB ermöglicht das Streaming von Rohdaten aus den DisplayPort-Ausgängen eines ACUSON Sequoia Ultraschallscanners. Diese Technik nennt NVIDIA "Data over DisplayPort".
2. Daten über Ethernet an NVIDIA IGX übertragen: Der HSB paketiert die Rohdaten und sendet sie per RoCE (RDMA over Converged Ethernet) über das Ethernet-Netzwerk an ein NVIDIA IGX System — mit hoher Bandbreite und niedriger Latenz. Zielplattformen sind NVIDIA IGX Thor und NVIDIA DGX Spark.
3. KI-Inferenz auf Blackwell-GPU ausführen: Sobald die Rohdaten im GPU-Speicher liegen, läuft NV-Raw2Insights-US auf einer Blackwell-class GPU. Das Modell schätzt in einem einzigen Inferenzpass die patientenspezifische Schallgeschwindigkeit und erstellt die entsprechende Karte.
4. Schallgeschwindigkeitskarte zurück an den Scanner streamen: Das Ergebnis — die individuelle Schallgeschwindigkeitsschätzung — wird in Echtzeit zurück an den Ultraschallscanner gesendet. Dort wird es genutzt, um die Bildfokussierung adaptiv zu korrigieren und den Live-Bildstream zu verbessern.
5. Modell erweitern oder aktualisieren: Da die Rohdaten bereits im GPU-Speicher vorliegen, lassen sich neue KI-Modelle nahtlos in dieselbe Pipeline integrieren. Das System ist modular aufgebaut — ein Software-Update reicht, um neue Fähigkeiten hinzuzufügen, ohne Hardware auszutauschen. Entwickler können direkt auf dem Modell aufbauen: Modellgewichte und Datensatz sind auf Hugging Face unter nvidia/NV-Raw2Insights-US verfügbar, der Code auf GitHub unter NVIDIA-Medtech/NV-Raw2insights-US.

Achte hier auf einen wichtigen Aspekt: Das gesamte System arbeitet als Software-Only-Integration in bestehende Geräte. Der ACUSON Sequoia Scanner selbst wird nicht modifiziert — die KI-Schicht wird extern angebunden. Das ist aus regulatorischer Sicht relevant, denn Änderungen an zugelassenen Medizinprodukten unterliegen eigenen Zulassungsprozessen.

Was sich rechnet: ROI und Praxisrelevanz

Lass uns konkret werden: Was bringt dieser Ansatz in der Praxis, und für wen lohnt sich ein näherer Blick? Der ROI lässt sich in diesem frühen Stadium nicht in klassischen Euro-Zahlen ausdrücken — das Modell ist als Forschungsprojekt freigegeben und noch nicht für den klinischen Einsatz in den USA oder anderen Ländern zugelassen, wie NVIDIA explizit betont. Dennoch lassen sich die Effizienzgewinne qualitativ einordnen.

Manueller Vorher-Zustand: Ein Radiologe oder Sonographeur arbeitet mit einem Bild, das durch konstante-Schallgeschwindigkeit-Annahmen verzerrt ist. Bei adipösen Patienten, in der Brustdiagnostik oder in anderen Hochrisikobereichen kann das zu Diagnosefehlern oder zur Notwendigkeit von Folgeuntersuchungen führen. Die adaptive Fokussierung durch NV-Raw2Insights-US eliminiert genau diesen systematischen Fehler — in Echtzeit, ohne zusätzlichen Arbeitsschritt für den Kliniker.

Nachher-Zustand: Das System generiert für jeden Patienten automatisch eine individuelle Schallgeschwindigkeitskarte und korrigiert das Bild vor der Anzeige. Der Kliniker sieht ein schärferes, physikalisch korrekteres Bild, ohne den Workflow zu verändern. Der Rechenaufwand, der früher komplexe Iterationsberechnungen erforderte, wird in einem einzigen KI-Durchlauf auf der Blackwell-GPU abgewickelt.

Für Forschungsinstitute und Medizintechnik-Unternehmen, die eigene Ultraschall-KI entwickeln wollen, ist der freie Zugang zu Modellgewichten, Datensatz und Code ein echter Hebel: Statt von null anzufangen, kann auf einer validierten Basis aufgebaut werden. Das spart Monate an Trainingszeit und Infrastrukturkosten. Die NVIDIA-Holoscan-Plattform, auf der das System läuft, ist als Edge-AI-Plattform für genau diese Art von Hochleistungs-Echtzeitanwendungen ausgelegt und gut dokumentiert — die NVIDIA Holoscan SDK Dokumentation bietet einen direkten Einstieg.

Die typischen Fallstricke

So vielversprechend die Architektur ist — es gibt klare Stolpersteine, die du kennen solltest, bevor du dieses System in irgendeiner Form einplanst.

• Fallstrick 1 — Regulatorische Hürde (EU/DACH): NVIDIA betont ausdrücklich, dass die Technologie sich in der investigativen Entwicklungsphase befindet und weder in den USA noch in anderen Ländern für den Verkauf oder klinischen Einsatz zugelassen ist. Im EU-Kontext bedeutet das: Jede klinische Nutzung würde eine MDR-Zulassung (Medical Device Regulation) erfordern — ein Prozess, der Jahre dauern kann. Wer plant, auf diesem Modell aufzubauen, muss den regulatorischen Pfad von Anfang an einplanen. Lösung: Frühzeitig eine Regulatory-Affairs-Expertise einbinden und das System klar als Forschungsprototyp klassifizieren, solange keine Zulassung vorliegt.
• Fallstrick 2 — Hardware-Abhängigkeit: Das System setzt eine spezifische Hardware-Konfiguration voraus — FPGA-Kit, HSB, NVIDIA IGX-System und eine Blackwell-GPU. Das ist kein Off-the-shelf-Setup für eine normale Radiologiepraxis. Für Forschungslabore und große Kliniken ist die Hürde beherrschbar, für kleinere Einrichtungen aber zunächst prohibitiv. Lösung: Das System primär als Forschungs- und Entwicklungsplattform betrachten; für breitere Deployments wird eine kostenoptimierte Hardware-Variante benötigt.
• Fallstrick 3 — DSGVO und Datenpfade: Rohe Ultraschall-Kanaldaten sind hochsensible Gesundheitsdaten. Wenn diese Daten über Ethernet-Verbindungen an externe GPU-Systeme übertragen werden, entstehen neue Datenpfade, die DSGVO-konform gestaltet sein müssen. Artikel 35 DSGVO (Datenschutz-Folgenabschätzung) ist bei medizinischen KI-Systemen in der Regel Pflicht. Lösung: Den Datenfluss von Scanner bis GPU vollständig dokumentieren, Verarbeitungsverträge mit allen beteiligten Systemkomponenten abschließen und eine DSFA vor dem Piloteinsatz durchführen.
• Fallstrick 4 — EU AI Act Einordnung: Medizinische Diagnosesoftware fällt unter den EU AI Act voraussichtlich in die Hochrisiko-Kategorie (Anhang III). Ab August 2026 gelten die Hauptpflichten des AI Acts für Hochrisiko-KI vollumfänglich — inklusive Konformitätsbewertung, technischer Dokumentation und menschlicher Aufsicht. Wer heute mit dem Aufbau eines Systems auf Basis von NV-Raw2Insights-US beginnt, muss diese Anforderungen von Anfang an in die Systemarchitektur einbauen. Lösung: AI-Act-Compliance parallel zur technischen Entwicklung planen, nicht nachträglich.

So What? Was das für DACH-Entscheider bedeutet

NV-Raw2Insights-US ist kein fertiges Produkt — aber es ist ein klares Signal, in welche Richtung die Ultraschall-Bildgebung der nächsten Generation marschiert. Für Entscheider in DACH — ob in Kliniken, Medizintechnikunternehmen oder Forschungsinstituten — ergeben sich daraus konkrete strategische Implikationen.

Erstens: Siemens Healthineers als direkter Kooperationspartner macht dieses Projekt für den DACH-Markt besonders relevant. Das Erlanger Unternehmen gehört zu den global führenden Medizintechnikherstellern, und die interne Zusammenarbeit mit der KI- und Advanced-Platforms-Gruppe signalisiert, dass Raw2Insights nicht nur ein akademisches Experiment ist, sondern auf dem Weg zur Produktintegration. Wenn Siemens Healthineers in diese Richtung investiert, folgt erfahrungsgemäß irgendwann ein kommerzielles Produkt.

Zweitens: Der Open-Source-Ansatz — Modellgewichte, Datensatz und Code sind frei verfügbar — ist eine bewusste Einladung an die Forschungsgemeinschaft. Universitätskliniken und Institute, die in der Ultraschallforschung tätig sind, können jetzt auf einer validierten Basis aufbauen, statt von null zu beginnen. Das ist eine Abkürzung, die in der klinischen KI-Forschung selten angeboten wird.

Drittens: Die softwarebasierte Integrationsarchitektur — bestehende Scanner via DisplayPort anbinden, KI extern rechnen, Ergebnis zurückstreamen — ist ein Muster, das über Ultraschall hinaus funktioniert. Es zeigt, wie Legacy-Medizingeräte mit moderner KI-Infrastruktur kombiniert werden können, ohne kostspielige Hardware-Erneuerungszyklen abzuwarten. Für einen Markt wie DACH, in dem viele Kliniken mit älteren Gerätebeständen arbeiten, ist das ein relevantes Architekturprinzip.

Was heißt das konkret? Wer im Medizintechnik-Bereich oder in der klinischen KI-Forschung tätig ist, sollte das GitHub-Repository und die Hugging-Face-Ressourcen jetzt evaluieren — nicht warten, bis das Thema in einem Kongressvortrag auftaucht. Die Kombination aus freiem Modellzugang, klarer Systemarchitektur und einem starken Industriepartner macht das Projekt zu einem der substanzielleren Open-Source-Beiträge im medizinischen KI-Bereich dieses Jahres.

Fazit: Ein Fundament, kein Endprodukt

NV-Raw2Insights-US löst ein real existierendes Problem in der Ultraschalldiagnostik — den systematischen Fehler durch vereinfachende Schallgeschwindigkeitsannahmen — und tut das mit einem Ansatz, der technisch überzeugend und architektonisch erweiterbar ist. Die erste Anwendung, die adaptive Schallgeschwindigkeitsschätzung per KI, ist dabei explizit als Anfang einer größeren Vision positioniert: ein vollständig KI-natives End-to-End-Ultraschallsystem.

Der Haken bleibt die regulatorische Realität. Kein klinischer Einsatz ohne Zulassung, und der Weg zur MDR- und AI-Act-Konformität ist lang. Das mindert den praktischen Nutzen kurzfristig — aber es macht das Projekt nicht weniger relevant für alle, die mittel- bis langfristig in diesem Bereich positioniert sein wollen.

Kurz gesagt: Wer in der medizinischen Bildgebung, der klinischen KI-Forschung oder der Medizintechnikentwicklung tätig ist, sollte dieses Projekt auf dem Radar haben. Nicht als Produkt, das morgen im OP steht — sondern als technologisches Fundament, auf dem die nächste Generation von Ultraschallsystemen gebaut werden wird. Die Ressourcen sind offen. Die Einladung zum Mitbauen ist explizit. Das Zeitfenster, früh dabei zu sein, ist jetzt.