AI Architecture · 12 Min.
Multimodal Retrieval für KI-Agenten: Wenn Text, Bild, Video und Audio zum Kontext werden
Wenn Agenten nicht nur Text, sondern auch Bilder, Videos, Audio und Dokumente verstehen, verändert sich die gesamte Kontextarchitektur.
SYSTEMS Grafik zu Multimodal Retrieval KI Agenten: Data -> Agent -> Outcome. Fokus: Wie Unternehmen multimodales Retrieval für KI-Agenten und Wissenssysteme planen.
Kurzfassung
Multimodales Retrieval erweitert RAG von Text auf Medien und Dokumente. Der Nutzen entsteht erst durch Metadaten, Rechte und Qualitätsprüfung. Agenten brauchen pro Medientyp eigene Evals und Grenzen.
Strategischer Lesepfad
Baue das Thema im passenden Cluster weiter aus und verknüpfe es mit den nächsten Architekturentscheidungen.
Warum Text-RAG nicht mehr reicht Viele Unternehmensdaten sind nicht nur Text. Produktbilder, Videos, Telefonmitschnitte, PDFs, Screenshots und Präsentationen enthalten wichtige Informationen.
Multimodales Retrieval macht diese Inhalte für Agenten nutzbar.
Stand Mai 2026: Gemini kann Kontext breiter lesen Gemini-Modelle können Bilder, Video und Audio verstehen. Google Cloud dokumentiert Multimodal Embeddings für Bild, Video und Text in einem gemeinsamen semantischen Raum; für rein textbasierte Retrieval-Fälle verweist Google explizit auf Text Embeddings. Vertex AI Vector Search und RAG Engine liefern Infrastruktur für Retrieval und Grounding, während Evaluation Services helfen, Qualität zu messen.
Das verändert RAG: Ein Agent soll nicht mehr nur den richtigen Absatz finden. Er muss vielleicht das richtige Bild, die richtige Videosequenz, den richtigen Screenshot, die richtige Tonstelle oder den passenden PDF-Bereich finden.
Der wichtige Punkt: Multimodal Retrieval ist keine größere Dropbox. Es ist eine Kontextarchitektur.
Medien brauchen unterschiedliche Datenmodelle Text, Bild, Video und Audio haben unterschiedliche Retrieval-Logik:
Ein multimodaler Agent braucht pro Medium einen Suchvertrag. Sonst vermischt er Treffer, die technisch ähnlich, aber fachlich falsch sind.
Text: Chunk, Abschnitt, Dokument, Quelle, Version. Bild: Objekt, Szene, OCR, Produkt, Metadaten, Rechte. Video: Szene, Zeitstempel, Transkript, Sprecher, visuelles Ereignis. Audio: Sprecher, Tonspur, Transkript, Sprache, Einwilligung; aktuell eher über Transkript oder Live-/Audio-Verständnis behandeln, nicht als pauschales Audio-Embedding-RAG versprechen. PDF/Slides: Seite, Tabelle, Diagramm, Textblock, Bildinhalt. Neue Risiken Mehr Kontext bedeutet mehr Risiko. Bilder können vertrauliche Informationen enthalten, Videos können veraltet sein, Audio kann personenbezogene Daten enthalten.
Deshalb braucht jede Medienklasse eigene Rechte und Aufbewahrungsregeln.
Grounding ist bei Google die Anbindung von Modellausgaben an verifizierbare Quellen. Es kann mit Google Search oder mit privaten Daten über Vertex AI Search erfolgen. Grounding Metadata liefert Felder wie `groundingChunks`, `groundingSupports` und Suchanfragen; die Check-Grounding-API kann Support-Scores und Claim-/Fakt-Citations liefern. Das reduziert Unsicherheit, macht Halluzinationen aber nicht unmöglich.
Model Armor und klassische Security-Kontrollen werden hier wichtig, weil Multimodal Retrieval Prompt Injection , Datenabfluss und problematische Inhalte nicht nur aus Text, sondern auch aus Dokumenten, Bildern oder Transkripten aufnehmen kann.
Ein gutes Rechte- und Governance-Modell beantwortet:
Mehr Modalitäten heisst mehr Verantwortung.
Wer darf welches Medium sehen? Welche Medien dürfen in Embeddings verarbeitet werden? Wie werden Personenbezug und Einwilligung bei Audio/Video behandelt? Wie werden alte Produktbilder oder veraltete Anleitungen markiert? Wie wird gelöscht, wenn eine Quelle entfernt werden muss? Wie verhindert man, dass ein Agent vertrauliche Bilddetails in Antworten ausgibt? Qualität messen Ein Agent muss nicht nur die richtige Textquelle finden, sondern das richtige Bild, die richtige Szene oder den richtigen Dokumentbereich. Das braucht Testfälle.
Ohne Evals wird multimodales Retrieval schwer steuerbar.
Architektur für multimodales Retrieval Ein produktives System hat acht Schichten:
1. Quellen: Dokumente, Bilder, Videos, Audio, Screenshots, Präsentationen. 2. Ingestion: OCR, Transkript, Scene Detection, Metadaten, Versionierung. 3. Embeddings: Text-, Bild-, Video- und Dokument-Embeddings. 4. Index: Vector Search, RAG Engine, Filter, Rechte, Tenant-Grenzen. 5. Retrieval: Query Expansion, Modalitätswahl, Re-Ranking, Quellenanker. 6. Grounding: Zitat, Zeitstempel, Seite, Bildregion, Confidence. 7. Agent: Antwort, Analyse, Workflow, Eskalation, Tool-Nutzung. 8. Evals: Trefferqualität, Rechte, Halluzination, Aktualität, Medienfehler.
Die wichtigste Designentscheidung ist, ob der Agent direkt in Medien sucht oder ob eine kuratierte Medien-Wissensschicht dazwischenliegt. Für Enterprise-Systeme ist die zweite Variante meist stabiler.
Evals für multimodale Agenten Vor Produktivbetrieb sollte getestet werden:
Multimodale Agenten werden nicht durch mehr Kontext besser, sondern durch richtigen Kontext.
findet der Agent die richtige Szene, nicht nur ein ähnliches Video? erkennt er, wenn ein Bild veraltet oder nicht freigegeben ist? verbindet er Transkript und visuelles Ereignis korrekt? zitiert er Seite, Zeitstempel oder Quelle nachvollziehbar? beachtet er Rechte und Datenklassifizierung? erkennt er unsichere OCR-/Transkriptionsfehler? beantwortet er multimodale Fragen besser als Text-RAG allein? Der SYSTEMS-Blick Wir bauen multimodale AI nicht als Datenablage, sondern als Kontextsystem: Quelle, Format, Rechte, Aktualität, Suche, Eval.
So wird Medienwissen produktiv, ohne Chaos im Kontext zu erzeugen: Bilder, Videos, Audio und Dokumente werden nutzbar, aber nicht unkontrolliert.
