AI Governance · 11 Min.
Agentic AI Governance: Das Board-Framework für Unternehmen, die KI-Agenten ernst meinen
Sobald KI-Agenten Tools nutzen und Prozesse beeinflussen, wird Governance kein Papierprozess mehr. Sie wird Betriebsarchitektur.
SYSTEMS Grafik zu Agentic AI Governance: Risk -> Guardrail -> Audit. Fokus: Wie Unternehmen ein Governance-Modell für produktive KI-Agenten aufbauen.
Kurzfassung
Agentic AI Governance muss Tool-Rechte, Datenzugriff und Betriebsverantwortung klären. Ein Board ist nur sinnvoll, wenn es Entscheidungen schneller und sicherer macht. Governance muss als Produktivsystem gedacht werden, nicht als PDF.
Strategischer Lesepfad
Baue das Thema im passenden Cluster weiter aus und verknüpfe es mit den nächsten Architekturentscheidungen.
Warum Agenten Governance verändern Bei klassischer KI ging es oft um Modellrisiko, Datenqualität und Bias. Bei Agenten kommt eine neue Ebene dazu: Handlung. Ein Agent kann Tools nutzen, Daten verändern, Kommunikation vorbereiten und Prozesse anstossen.
Damit wird Governance operativ. Es reicht nicht, eine Richtlinie zu besitzen. Das System muss die Richtlinie ausführen.
Stand Mai 2026: Governance wird Lifecycle-Arbeit NIST strukturiert AI-Risikomanagement über Govern, Map, Measure und Manage. ISO/IEC 42001 beschreibt ein AI-Management-System für Organisationen. Der EU AI Act setzt für bestimmte Risikoklassen konkrete Anforderungen an Risikomanagement, Daten, Dokumentation, Transparenz, menschliche Aufsicht und Monitoring.
Für Agenten reicht deshalb kein "AI Policy"-Dokument. Ein Governance Board muss wie ein Produkt- und Risk-Operating-System arbeiten: Inventar pflegen, Rechte prüfen, Releases freigeben, Incidents auswerten und Evidenz sammeln.
Wichtig: Ein Board ist kein gesetzlich vorgeschriebenes Organigramm. Es ist eine praktische Struktur, um geforderte Outcomes betriebsfähig zu machen: Rollen, Verantwortlichkeiten, Risikobewertung, Aufsicht, Dokumentation und kontinuierliche Verbesserung.
Die fünf Board-Fragen Ein gutes Governance-Board beantwortet regelmäßig:
Diese Fragen halten Governance nah am Betrieb.
Ein starkes Board fragt zusätzlich:
Welche Agenten laufen produktiv? Welche Rechte haben sie? Welche Evals prüfen sie? Welche Incidents oder Korrekturen gab es? Welche Rechte dürfen erweitert werden? Welche Agenten haben seit dem letzten Review neue Tools bekommen? Welche Datenquellen wurden neu angebunden? Welche Prompts, Policies oder Modelle wurden geändert? Welche Evals sind schlechter geworden? Welche Human-in-the-Loop-Entscheidungen zeigen neue Muster? Welche Agenten sollten Rechte verlieren? Rollen statt diffuse Verantwortung Jeder Agent braucht klare Verantwortung: fachlicher Owner, technischer Owner, Sicherheitsreview, Datenverantwortung und Freigabeinstanz. Ohne Rollen bleibt niemand zuständig, wenn ein Agent falsch handelt.
Governance beginnt deshalb mit Ownership, nicht mit Tool-Auswahl.
Das Agentenregister Das Board braucht ein lebendes Agentenregister. Pro Agent gehören hinein:
Ohne Register gibt es keine Governance. Dann weiss niemand, welche Autonomie bereits im Unternehmen unterwegs ist.
Zweck und Owner. Nutzergruppe und betroffene Personen. Modelle, Tools und Datenquellen. Schreibrechte und externe Aktionen. Risikoklasse. Evals und letzte Release-Entscheidung. Human-Approval-Regeln. Logs, Traces und Retention. Incident- und Änderungshistorie. Rechte wachsen durch Evidenz Ein Agent sollte nicht aus Vertrauen mehr Rechte bekommen, sondern aus Evidenz. Wenn Evals stabil sind, Fehlerraten sinken und Review-Queues sauber laufen, können Rechte erweitert werden.
So entsteht ein kontrollierter Reifegradpfad.
Drei Board-Kadenzen Nicht jede Entscheidung gehört in dasselbe Meeting:
Diese Kadenzen verhindern, dass Governance entweder alles blockiert oder nur halbjährlich auf Papier passiert.
Weekly Ops Review: Incidents, Freigaben, Fehlerraten, Kosten, akute Blocker. Monthly Release Board: neue Rechte, neue Tools, neue Modelle, größere Prompt- oder Workflow-Änderungen. Quarterly Risk Review: Risikoklassen, Rechtslage, Datenflüsse, externe Anbieter, Portfolio-Prioritäten. Security- und Tool-Risiken OWASP LLM Top 10 und MCP Top 10 zeigen, warum Agenten-Governance nicht nur Datenschutz ist. Prompt Injection , Sensitive Information Disclosure, Excessive Agency, Tool Poisoning , Scope Creep und fehlendes Audit können direkt aus einem schlecht kontrollierten Agenten entstehen.
Das Board sollte deshalb nicht nur "Ist die Antwort korrekt?" fragen. Es muss fragen: Welche Tools kann der Agent missbrauchen, welche Daten können abfliessen, welche Aktionen sind zu breit, welche Logs fehlen?
OWASP MCP Top 10 ist dabei als living document zu verstehen, nicht als finales Gesetz. Genau deshalb ist es für Boards trotzdem nützlich: Es benennt Risiken, die in klassischen AI-Governance-Checklisten oft fehlen, etwa Scope Creep, Shadow MCP Servers und fehlende Telemetry.
AI-Act- und GPAI-Timeline im Blick behalten Die EU-Kommission beschreibt für den AI Act eine gestaffelte Anwendung: Inkrafttreten am 1. August 2024, erste Verbote und AI-Literacy-Pflichten ab 2. Februar 2025, Governance- und GPAI-Pflichten ab 2. August 2025, grundsätzliche volle Anwendbarkeit ab 2. August 2026.
Für Unternehmen heisst das nicht, dass jeder interne Agent automatisch Hochrisiko ist. Es heisst aber: Das Board muss AI-Systeme klassifizieren, betroffene Pflichten dokumentieren und bei GPAI- oder Hochrisiko-Bezug technische Dokumentation, Monitoring, Human Oversight und Incident-Prozesse ernst nehmen.
Artefakte statt Bauchgeführ Jede Board-Entscheidung sollte auf Artefakten beruhen:
Wenn diese Artefakte fehlen, ist die richtige Entscheidung meistens: keine Rechteerweiterung.
Architekturdiagramm. Datenflusskarte. Tool- und Rechte-Matrix. Eval-Report. Trace-Beispiele. Human-Approval-Auswertung. Incident-Log. Rollback-Plan. Der SYSTEMS-Blick Wir bauen Governance in die Architektur: Rollen, Rechte, Logs, Evals, Freigaben und Reports. Dadurch wird sie nicht zur Bremse, sondern zur Grundlage für echte Skalierung.
Unternehmen, die das früh sauber aufsetzen, können Agenten schneller ausrollen, weil Risiken sichtbar und steuerbar sind.
