VimRAG: Alibabas Tongyi Lab löst das State-Blind-Spot-Problem bei Multimodal RAG

Alibabas Tongyi Lab hat VimRAG veröffentlicht, ein multimodales RAG-Framework, das das "State Blind Spot"-Problem klassischer Retrieval-Systeme durch einen strukturierten Multimodal Memory Graph löst. Dies modelliert den Reasoning-Prozess als dynamischen gerichteten azyklischen Graphen (DAG). Die Qwen3-VL-8B-Instruct-Version zeigt eine Verbesserung von 43,6 auf 50,1 Punkte auf einem kombinierten Benchmark, was durch Benchmarks wie SlideVQA, MMLongBench und LVBench bestätigt wird. VimRAG übertrifft dabei Baselines wie ReAct, VideoRAG und MemAgent.

Das Framework besteht aus drei Kernkomponenten: Graph-Modulated Visual Memory Encoding für adaptive Token-Allokation bei hochauflösenden Bildern und Graph-Guided Policy Optimization (GGPO). GGPO ist ein Reinforcement-Learning-Mechanismus, der die Schritt-für-Schritt-Validität von trajektoriellen Rewards trennt. Dies ermöglicht ein feinkörniges Credit Assignment und verhindert redundante Abrufschleifen, die in klassischen linearen RAG-Systemen bei langkontextigen visuellen Materialien die Effizienz beeinträchtigen. Trotz eines zusätzlichen Wahrnehmungsschritts reduziert VimRAG die Gesamtzahl der Aktionen pro Reasoning-Trajektorie messbar, was einen Effizienzgewinn für ressourcenbeschränkte Deployment-Umgebungen bedeutet.

Der Quellcode ist unter github.com/Alibaba-NLP/VRAG open source verfügbar. Laut den Forschern legt die Architektur den Grundstein für hierarchische und selbstevolvierende Agenten-Speicherstrukturen, was besonders für Multi-Agent-Systeme mit verteiltem, cross-modalem Reasoning skalieren kann. Aus EU-Sicht ist VimRAG als Forschungsframework aktuell nicht direkt durch den AI Act reguliert; jedoch greifen bei Einsatz in Hochrisiko-Anwendungen ab August 2026 entsprechende Transparenz- und Compliance-Pflichten.