NVIDIA Dynamo: Effizientere Agenten-Inferenz durch erweiterte Cache-Steuerung

NVIDIA Dynamo ist eine Plattform, die gezielt Kernprobleme bei der Inferenz von KI-Agenten, insbesondere im Bereich der Code-Generierung, adressiert. Unternehmen wie Stripe und Spotify nutzen zunehmend KI-Agenten, die Hunderte von API-Aufrufen pro Codierungssitzung generieren, wobei jeder Aufruf die vollständige Konversationshistorie mitführt; dies belastet den KV-Cache erheblich, da Systemprompts und wachsende Konversationspräfixe nur einmal berechnet und dann aus dem Cache bereitgestellt werden. Das maximale Wiederverhältnis des Caches über alle Worker hinweg ist daher ein zentrales Optimierungsziel. Während bestehende Infrastrukturen für verwaltete APIs bereits Lösungen für Präfix-Matching und Cache-Platzierung bieten, fehlt es Teams, die Open-Source-Modelle auf eigenen GPUs betreiben, an solchen Funktionen. Dynamo schließt diese Lücke, indem es die Inferenz für Agenten nativ auf drei Ebenen optimiert: die Frontend-API, den Router und das KV-Cache-Management.

Dynamo unterstützt Protokolle wie v1/responses und v1/messages, die eine strukturierte Handhabung von Interaktionen mit neuen Mustern wie verschränkten Denkprozessen und Werkzeugaufrufen ermöglichen. Dies erlaubt dem Orchestrator, Prompts zu optimieren und unterschiedliche Cache- und Planungsrichtlinien pro Blocktyp anzuwenden, wodurch Dynamo den Betrieb beliebiger Agenten-Harnesses über eine einzige Bereitstellung ermöglicht. Ein weiterer Fokus liegt auf der Schnittstelle zwischen Harness und Orchestrator. Bislang sahen Inferenzserver meist nur anonyme, tokenisierte Anfragen. Mit den neuen agent_hints erweitert Dynamo die API, um strukturierte Hinweise (z.B. Priorität, geschätzte Ausgabelänge, spekulatives Prefilling) an Anfragen anzuhängen, was dem Router und der Laufzeit ermöglicht, agentenbewusste Entscheidungen bei der Planung und Cache-Verwaltung zu treffen.

Herkömmliches Round-Robin-Routing ignoriert Cache-Lokalität und Anfragespezifitäten, dem DynamoS Router durch KV-bewusste Platzierung, Priorisierung und erweiterbare Routing-Strategien begegnet. Er verwaltet einen globalen Index darüber, welche KV-Cache-Blöcke auf welchen Workern vorhanden sind, und routet jede Anfrage so, dass die Kosten für Cache-Fehler und Dekodierungszeit minimiert werden. Das priority-Feld in den agent_hints ermöglicht eine flexible Steuerung der Warteschlangenordnung sowohl im Router als auch in der Inferenz-Engine. Darüber hinaus können Teams mit den Python-Bindungen des Routers benutzerdefinierte Routing-Strategien implementieren, um domänenspezifischen Lasten gerecht zu werden. Ein Beispiel aus dem NeMo Agent Toolkit (NAT) zeigte eine vierfache Reduzierung der p50 TTFT (Time-to-First-Token) und eine 1,5-fache Steigerung der p50 Tokens pro Sekunde durch ein lernendes, agentenbezogenes Routing.

Agentische Arbeitslasten erzeugen KV-Blöcke mit stark unterschiedlichem Wiederverwendungswert, von oft genutzten Systemprompts bis hin zu kurzlebigen Denk-Tokens. Traditionelle LRU-Verfahren behandeln alle Blöcke gleich, was zu ineffizienter Cache-Nutzung führen kann, insbesondere bei Werkzeugaufrufpausen, in denen Blöcke veralten können. Dynamo strebt eine vierstufige Speicherhierarchie an, die von GPU-Speicher bis zu Remote-Speicher reicht, um KV-Cache-Blöcke als gemeinsam genutzte Ressource zu behandeln, die einmal geschrieben und dann bei Bedarf von jedem Worker gelesen werden können, wodurch das Problem des Kaltstarts bei Subagenten gelöst wird. Das System nutzt auch die Möglichkeit zum Prefetching, bei dem der Harness historische Daten nutzt, um zu prognostizieren, wann bestimmte Blöcke benötigt werden, und diese proaktiv von der Speicherung auf die GPU lädt.

Zudem ermöglicht Dynamo durch selektive Cache-Aufbewahrung, dass bestimmte Blöcke – wie Systemprompts – vor der Verdrängung geschützt werden. Diese Mechanismen ermöglichen eine End-to-End-Kontrolle über den Lebenszyklus des Caches. Durch die Kombination von Priorisierung, TTL und Token-Bereichen kann Dynamo semantisches Wissen über die Blocknutzung in dynamische Cache-Verwaltungsentscheidungen übersetzen und so die Effizienz von KI-Agenten signifikant steigern, obwohl der hier beschriebene Entwurf nur sehr wenig konkrete, messbare Daten zur Verfügung stellt.