Security-Kolumne
Datum:
Dieser Artikel wurde verfasst von
Consultant, Incident Response
Consultant, Offensive Security
Consultant, Offensive Security
Anfang 2026 bestätigte Microsoft einen Fehler in seinem 365-Copilot-Chat: Der KI-Assistent hatte über Wochen vertrauliche E-Mails aus den Ordnern „Gesendet" und „Entwürfe" zusammengefasst und dabei genau jene Schutzregeln umgangen, die das eigentlich verhindern sollten.[1] Kein Angreifer war beteiligt, kein Datenleck im klassischen Sinn. Nur eine KI, die etwas tat, was sie nicht hätte tun dürfen.
Der Vorfall zeigt, worum es bei der Absicherung von KI-Systemen im laufenden Betrieb wirklich geht. Nach der Entwicklung eines Modells beginnt der vielleicht kritischste Abschnitt, denn erst hier zeigt sich, ob die über den gesamten Lebenszyklus gedachten Sicherheitsmaßnahmen tatsächlich wirken. Das Bild hat sich dabei in den vergangenen Monaten grundlegend verschoben, weg von der Frage „Was sagt das Modell?" hin zu „Was tut das Modell?".
Denn KI-Systeme sind heute keine reinen Antwortmaschinen mehr. Sie rufen selbstständig Werkzeuge auf, lesen Dokumente und E-Mails, führen Transaktionen aus und beauftragen sogar weitere KI-Agenten. Diese neue Handlungsfähigkeit macht KI produktiver, eröffnet aber zugleich eine neue Angriffsfläche.
Um diese Vielschichtigkeit greifbar zu machen, zieht sich durch alle folgenden Kapitel ein Leitbild: die Vertrauenskette. Sie reicht vom Anbieter des Modells über die Software- und Datenlieferkette bis in das eigene Haus und schließlich bis zur laufenden Kontrolle im Betrieb. Jedes Glied dieser Kette lässt sich missbrauchen, und jedes Glied lässt sich absichern. Verantwortlich sind dafür nicht nur Entwickler und Anbieter. Auch wer KI-Systeme lediglich betreibt, muss deren Konformität mit dem Gesetz und die technische Sicherheit selbst gewährleisten.
Für die Bewertung eignet sich ein risikobasierter Ansatz, ähnlich einer Threat-and-Risk-Analyse. Diesem Prinzip folgt auch die geltende Regulatorik. Der EU AI Act klassifiziert KI-Systeme nach ihrem Gefährdungspotenzial und unterscheidet zwischen minimalem, begrenztem, hohem und unzulässigem Risiko. Systeme in der Personalrekrutierung, der biometrischen Überwachung oder in kritischen Infrastrukturen gelten als Hochrisikoanwendungen. Wie streng die Anforderungen ausfallen, hängt vom identifizierten Risiko ab.
Nachfolgend gehen wir die einzelnen Glieder der Vertrauenskette durch.
Bei der Integration externer Modelle in Unternehmensdienste gilt der Kontrolle des Modellverhaltens besondere Aufmerksamkeit. Mechanismen wie System-Prompts und Input-Output-Filter definieren das Verhalten und begrenzen es auf klare operative Grenzen. So lassen sich beispielsweise KI-generierte Inhalte wie Bilder oder Texte mit unsichtbaren Wasserzeichen versehen, um ihre Herkunft nachvollziehbar zu machen. Kritisch wird es vor allem dann, wenn fremde, schwer nachvollziehbare Modelle zum Einsatz kommen. Um dennoch Souveränität zu wahren, braucht es eine strikte Governance.
Digitale Souveränität bezeichnet die Fähigkeit von Unternehmen, ihre digitale Infrastruktur, Technologien, Daten und Dienstleistungen selbstbestimmt zu gestalten, zu nutzen und zu kontrollieren. Ziel ist es, die Abhängigkeit von externen Anbietern zu minimieren. Vor allem im europäischen Kontext gewinnt dieses Prinzip an Bedeutung, weil es nicht allein um technologische Autonomie geht, sondern auch um wirtschaftliche Wettbewerbsfähigkeit und regulatorische Unabhängigkeit.
Inzwischen ist diese Frage auch politisch angekommen. Sicherheitsexperten fordern, dass Europa seine strategische Abhängigkeit von US-amerikanischen Spitzenmodellen (sogenannten „Frontier-Modellen") gezielt reduziert und eigene Fähigkeiten zur Echtzeit-Überwachung aufbaut. Der Hintergrund ist ernst. Im Jahr 2025 setzte eine chinanahe Gruppe erstmals in einer publik gewordenen, großangelegten Operation ein kommerzielles Sprachmodell gegen ausländische Regierungen und kritische Infrastruktur ein.[2] Digitale Souveränität ist damit von einer rein technischen zu einer sicherheitspolitischen Frage geworden.
Europa treibt das Ziel aktiv voran.[3] Projekte wie Gaia-X entstehen als Infrastruktur-Vorbilder, um Alternativen zu US-amerikanischen und chinesischen Hyperscalern aufzubauen. Dabei geht es nicht allein um Hardware oder Rechenzentren, sondern ebenso um offene Standards, Open-Source-Software und nationale KI-Kompetenzen.
Doch was passiert, wenn bestimmte Abhängigkeiten alternativlos sind? Wenn eigene Modelle technisch, personell oder finanziell nicht realisierbar sind, braucht es ein dezidiertes Governance- und Sicherheitskonzept. Externe Blackbox-Systeme bergen Risiken, darunter eine unklare Datenverarbeitung, fehlende Nachvollziehbarkeit sowie mögliche Compliance-Verstöße wie Datenschutz-Übertretungen oder unkontrollierte Modelländerungen.
Klare Nutzungsbedingungen und Verträge sind hier maßgeblich. Service-Level-Agreements sollten Transparenz bei Datenquellen, Modellupdates, Audit-Rechte und Sicherheitsvorfällen regeln. Ergänzend lassen sich technische Schutzmechanismen wie „Model Firewalls", Proxy-Schnittstellen und eine laufende Überwachung einsetzen, um externe Modelle in kontrollierte Pipelines einzubinden und ihre Ergebnisse regelmäßig auf Konsistenz, Verzerrungen (Bias) oder Datenlecks zu prüfen. Auch der Zugang selbst sollte reglementiert sein, etwa über stringente Berechtigungskonzepte nach dem Least-Privilege-Prinzip oder über getrennte, limitierte API-Zugänge. Selbst die vollständige Sperrung besonders kritischer Dienste ist eine Option, erfordert aber oft weitergehende Schritte wie eine Übereinkunft mit dem Betriebsrat.
Ein Risiko wird dabei leicht übersehen, weil es nicht von außen kommt, sondern aus dem eigenen Haus: Schatten-KI (Shadow AI). Gemeint ist die Nutzung nicht freigegebener KI-Tools durch Mitarbeitende, meist nicht aus böser Absicht, sondern aus Bequemlichkeit oder Unwissenheit. Das Problem dabei ist, dass sensible Daten an nicht vertraglich gebundene Anbieter abfließen, ohne Maskierung und ohne Prüfspur.[4]
Die entscheidende Erkenntnis ist, dass ein Unternehmen ohne durchgesetztes KI-Gateway keine „KI-freie" Umgebung betreibt, sondern lediglich eine unüberwachte. Ein striktes KI-Verbot würde das Problem nicht lösen. Deutlich wirksamer ist der Einsatz eines KI-Gateways, das erlaubte Dienste bündelt, Eingaben unmittelbar prüft, sensible Daten maskiert und jeden Zugriff protokolliert.
Auch nach einem möglichen Sicherheitsvorfall bleibt ein resilienter Betrieb gefragt. Ein sauberes Zugriffsmanagement im Betrieb von Machine-Learning-Systemen (ML) ist zentral, damit nach einem Einbruch keine sensiblen Modelle oder Daten abfließen. Empfehlenswert ist eine segmentierte Pipeline-Architektur, bei der Entwicklungs- und Produktionsumgebungen getrennt sind, Zugriffe nur nach dem Least-Privilege-Prinzip vergeben werden und alle kritischen Aktionen protokolliert werden, sodass jede abnormale Änderung nachvollziehbar bleibt.
Mit der Nutzung externer Komponenten wie vortrainierter KI-Modelle entstehen Risiken durch fremdverwaltete Software. Die KI-Supply-Chain besteht nicht nur aus Daten und Code, sondern auch aus Bibliotheken, Container-Images, vortrainierten Modellen und Cloud-Plattformen. Eine kompromittierte Bibliothek kann unbemerkt Schadcode einschleusen oder Hintertüren öffnen, und zwar sowohl vor der Inbetriebnahme als auch während der laufenden Betriebsphase.
Dass dies keine graue Theorie ist, zeigten die ersten Monate des Jahres 2026 deutlich. In der weit verbreiteten Software LiteLLM wurden innerhalb eines Monats mehrere Sicherheitslücken bekannt, darunter eine Umgehung der Authentifizierung im Gateway selbst.⁵ In verbreiteten Agenten-Frameworks fanden Sicherheitsforscher sogenannte „Prompt-to-Shell"-Eskalationspfade, über die sich manipulierte Eingaben in echte Systembefehle übersetzen ließen. In einem dokumentierten Fall wurde ein Sprachmodell sogar erstmals nach einem erfolgreichen Einbruch als Werkzeug des Angreifers eingesetzt.[5]
Die kontinuierliche Überwachung der Schutzziele Authentizität und Integrität muss daher über einen umfassenden Asset- und Dependency-Management-Prozess sichergestellt werden. Dazu gehören Signaturen, Hash-Prüfungen und eine fortlaufende Inventarisierung aller Komponenten.
Ein besonderer Fall von Supply-Chain-Risiko betrifft nicht den Code, sondern die Inhalte, die eine KI verarbeitet. Bei der indirekten Prompt Injection verstecken Angreifer Anweisungen in einem Dokument, einer E-Mail oder auf einer Webseite. Da ein Sprachmodell Text zugleich als Information und als potenzielle Anweisung interpretiert, kann es diese versteckten Befehle als Teil des Nutzerauftrags ausführen. In einer Umgebung wie einem Büro-Assistenten mit breitem Zugriff auf vertrauliche Daten wird so aus einer versteckten Anweisung schnell ein operativer Befehl. Angreifbar ist hier also nicht die Software, sondern der verarbeitete Inhalt.
Wir beraten Sie in allen Fragen der sicheren Implementierung technischer Systeme. Kontaktieren Sie jetzt unsere Spezialistinnen und Spezialisten.
Die bisherigen Glieder betrachten KI überwiegend als System, das Antworten liefert. Der eigentliche Bruch des Jahres 2026 besteht jedoch darin, dass KI zunehmend handelt. Ein einzelner KI-Agent ruft in einem einzigen Arbeitsablauf autonom eine Datenbank, einen Bezahldienst und ein internes Ticketsystem auf. Damit entsteht an jedem Berührungspunkt ein eigenes Risiko. Drei Gefahren stechen hervor.
Zu viel Autonomie („Excessive Agency"). Erhält ein Agent zu viele Rechte, Funktionen oder zu viel Handlungsspielraum, kann bereits ein einziger Fehler oder eine einzige manipulierte Eingabe weitreichende Folgen haben. Der eingangs geschilderte Copilot-Vorfall ist genau dafür ein Beispiel.
Manipulation über Prompt Injection. Wie im vorigen Kapitel beschrieben, lassen sich handelnde Agenten über versteckte Anweisungen kapern. Der entscheidende Unterschied ist, dass sie das Ergebnis nicht nur ausgeben, sondern in echte Aktionen umsetzen.
Multi-Agenten-Risiken. Wenn Agenten andere Agenten beauftragen, entsteht eine Kette aus Vertrauensbeziehungen. Ein kompromittierter Agent kann andere täuschen, beispielsweise über eine gefälschte „Visitenkarte" (Agent Card), die falsche Fähigkeiten vorgibt, um für eine Aufgabe ausgewählt zu werden.
Die wirksamsten Gegenmittel sind konzeptionell einfach, müssen aber konsequent umgesetzt werden:
Etablierte Rahmenwerke bieten hier Orientierung, ohne dass man das Rad neu erfinden muss: die OWASP Top 10 für LLM-Anwendungen, die neue OWASP Top 10 für agentenbasierte Anwendungen, das NIST AI Risk Management Framework sowie die gemeinsamen Leitfäden von CISA und den „Five Eyes" zur Nutzung agentenbasierter KI.
Parallel dazu spielt die Absicherung der KI-Infrastruktur eine tragende Rolle. Maßnahmen wie Sandboxing oder Netzwerk-Isolation schotten die Dienste vom Rest der eigenen Infrastruktur ab, etwa von den E-Mail-Systemen. Das schützt vor unautorisiertem Zugriff und verhindert zugleich, dass kompromittierte Modelle sensible Unternehmenssysteme gefährden.
Gerade bei handelnden Agenten reicht Netzwerk-Isolation allein nicht mehr aus. Isolation muss auch auf der Ebene der Berechtigungen und der Architektur berücksichtigt werden. Ein Agent sollte nur die Werkzeuge und Datenbereiche erreichen, die er für seine konkrete Aufgabe braucht, und nichts darüber hinaus. Flankiert werden technische Lösungen durch physische und strukturelle Sicherheitsmechanismen wie klare Zugangskontrollen, regelmäßige Audits und eine durchgängige Versionskontrolle sämtlicher Modell- und Trainingsdaten. Das schützt vor Angriffen wie Data Poisoning oder Model Stealing, die oft mit fortgeschrittenen Operationen gegen die KI-Supply-Chain einhergehen.
Der EU AI Act nimmt diese Aspekte explizit auf. Hochrisiko-Systeme müssen fortlaufend auf Genauigkeit, Robustheit und Sicherheit geprüft werden, und zwar systematisch über den gesamten Lebenszyklus. Eine einmalige Konformitätsprüfung genügt nicht. Besonders bei sich adaptierenden Modellen muss eine kontinuierliche Kontrolle verankert sein.
Die Umsetzung erfolgt gestaffelt. Der Stand im Sommer 2026 ist:
Ursprünglich sollten die Hochrisiko-Pflichten bereits am 2. August 2026 greifen. Mit dem sogenannten „Digital Omnibus" (Verordnung (EU) 2026/1744), der am 24. Juli 2026 im Amtsblatt veröffentlicht wurde und am 27. Juli 2026 in Kraft trat, hat die EU diese Fristen jedoch verschoben. Die Transparenzpflichten nach Artikel 50 blieben davon ausdrücklich unberührt und gelten weiterhin ab August 2026.
Besonders konkret wird die künftige Protokollierungspflicht. Artikel 12 verlangt eine lückenlose Aufzeichnung, bis hin zur Ziel-Kennung, der exakten Eingabe, der exakten Ausgabe und der Begründung für die Werkzeugauswahl eines Systems. Aus einer abstrakten Rechtspflicht wird damit eine sehr konkrete technische Anforderung an das Monitoring (siehe nächstes Kapitel).
Systeme unterhalb des Hochrisiko-Bereichs unterliegen deutlich weniger Anforderungen. Für Anwendungen mit begrenztem Risiko führt der AI Act vor allem Transparenz- und Kennzeichnungspflichten ein. Nutzer müssen erkennen können, dass sie mit einem KI-System interagieren oder dass Inhalte KI-generiert sind. Bei verbotener KI drohen Bußgelder von bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes, bei Verstößen gegen die Hochrisiko-Pflichten bis zu 15 Mio. € oder 3 %
Die Verschiebung durch den Digital Omnibus verschafft Unternehmen mehr Zeit, macht die Planung aber nicht einfacher, denn die Regulierung selbst bleibt in Bewegung, und darin liegt ein eigenständiges Risiko. Die eigentliche Klassifizierungsarbeit sollte trotz der späteren Fristen jetzt beginnen, weil sich ein Compliance-Programm für 2027 nur aufbauen lässt, wenn schon 2026 feststeht, welche Systeme überhaupt in den Hochrisiko-Bereich fallen. Wer seine Maßnahmen an soliden Grundprinzipien statt an einzelnen Stichtagen ausrichtet, ist gegen beide Szenarien gewappnet.
Insgesamt zeigt sich, dass der AI Act mit der EU als Vorreiter eher einen Standortvorteil schafft als ein Hindernis darstellt. Er lässt Gestaltungsspielraum bei den Maßnahmen und schafft zugleich einheitliche Festlegungen auf gemeinsamer rechtlicher Grundlage.[6]
Wir sind Ihr Partner auf dem Weg zur Cyber Compliance. Kontaktieren Sie unsere Spezialistinnen und Spezialisten.
Eine gut strukturierte Transparenz- und Monitoringstrategie rundet das Sicherheitskonzept ab. Systeme zur Anomalie- und Angriffserkennung, ein umfassendes Logging sowie eine gezielte menschliche Kontrolle bei sensiblen Anwendungen („Human-in-the-Loop") stellen sicher, dass Auffälligkeiten zeitnah erkannt und Gegenmaßnahmen umgehend eingeleitet werden.
Ein aufkommender Best-Practice-Ansatz verdient dabei besondere Erwähnung: kryptografisch signierte Handlungsprotokolle. Die Idee ist einfach und zugleich wirkungsvoll. Jede Aktion eines Agenten wird mit einem Schlüssel signiert, den der Agent selbst nicht besitzt, und jede Signatur wird mit der vorherigen verkettet. Auf diese Weise kann das überwachte System seine eigenen Protokolle nicht nachträglich manipulieren. Das schafft die Grundlage, Compliance nicht nur zu behaupten, sondern belegen zu können.
Begleitend sollten klare und verständliche Richtlinien zur Datenhaltung, -nutzung und -löschung gelten, orientiert an internationalen Standards wie der ISO/IEC 27001 oder 42001. So entsteht ein ganzheitliches Ökosystem, das technische Risiken reduziert und zugleich das Bewusstsein für den sicheren Umgang mit KI im Unternehmen nachhaltig stärkt.
Um zur Eingangsszene zurückzukehren: Ein Monitoring, das nicht nur Ausgaben, sondern auch die Handlungen eines Agenten lückenlos und manipulationssicher aufzeichnet, hätte einen Vorfall wie das wochenlange Mitlesen vertraulicher E-Mails deutlich früher sichtbar gemacht. Genau darin liegt der Sinn des letzten Glieds der Vertrauenskette.
So unterschiedlich die sieben Glieder sind, sie dienen letztlich einem gemeinsamen Zweck: dem Schutz der Daten, mit denen eine KI arbeitet. Genau hier laufen technische, organisatorische und regulatorische Anforderungen zusammen. Trainings-, Eingabe- und Ausgabedaten enthalten häufig personenbezogene oder geschäftskritische Informationen, für die neben dem AI Act auch die Datenschutz-Grundverordnung gilt. Ein KI-System ist deshalb nur dann sicher betrieben, wenn nachvollziehbar bleibt, welche Daten es verarbeitet, wo diese gespeichert werden und wer darauf zugreift.
In der Praxis bedeutet das vor allem Datensparsamkeit und Zweckbindung: Ein Modell sollte nur die Daten erhalten, die es für seine Aufgabe wirklich braucht. Sensible Inhalte lassen sich vor der Verarbeitung anonymisieren oder pseudonymisieren, und klare Lösch- und Aufbewahrungsfristen verhindern, dass Daten länger vorgehalten werden als zulässig. Besondere Aufmerksamkeit verdient dabei die Frage, ob Eingaben in externe Modelle zu deren Weitertraining verwendet werden dürfen – ein Punkt, der vertraglich ausgeschlossen werden sollte. So wird aus abstraktem Datenschutz eine konkrete Betriebsanforderung, die sich in denselben Kontrollen wie Least Privilege, Monitoring und Isolation verankern lässt.
Von Paper über Digitalisierung bis hin zur KI-Anwendungen. Kontaktieren Sie jetzt unsere Spezialistinnen und Spezialisten.
Der EU AI Act tritt schrittweise in Kraft. Die Regeln zu verbotenen KI-Systemen, zu General-Purpose-KI und zu Sanktionen gelten bereits. Entscheidend ist jetzt eine fundierte Bestandsaufnahme der eigenen KI-Systeme und die Ableitung passender Maßnahmen. Konkret bieten sich sieben Schritte an:
Dieses Zusammenspiel aus technischer Architektur, Prozessen und Governance führt zu einem resilienten Betrieb. Die KI bleibt steuerbar, Angriffe werden früh erkannt, und im Ernstfall reagiert das System kontrolliert. Die Vertrauenskette ist nur so stark wie ihr schwächstes Glied, doch jedes einzelne davon lässt sich absichern.
[1] BleepingComputer: „Microsoft says bug causes Copilot to summarize confidential emails" (Service-Health-Advisory CW1226324, Februar 2026), https://www.bleepingcomputer.com/news/microsoft/microsoft-says-bug-causes-copilot-to-summarize-confidential-emails/
[2] Carnegie Endowment for International Peace: „When AI Agents Attack: Autonomous Cyber Operations and Europe's Governance Gap" (Juli 2026), https://carnegieendowment.org/europe/research/2026/07/when-ai-agents-attack-autonomous-cyber-operations-and-europes-governance-gap
[3] Gaia-X – A Federated Secure Data Infrastructure (offizielle Projektseite), https://gaia-x.eu/ sowie Bundesministerium für Wirtschaft: „Das Projekt Gaia-X", https://www.bundeswirtschaftsministerium.de/Redaktion/EN/Dossier/gaia-x.html
[4] Apire: „AI Security in 2026: What EU Enterprises Need to Know" (zur Shadow-AI-Problematik und KI-Gateways), https://www.apire.io/post/ai-security-in-2026-what-eu-enterprises-need-to-know
[5] DeepInspect: „Agentic AI News in 2026" (u. a. zu den LiteLLM-Schwachstellen und zum Einsatz eines LLM nach einem Einbruch), https://www.deepinspect.ai/blog/agentic-ai-news
[6] Certivo: „EU AI Act August 2026: What Applies After the Digital Omnibus" (Transparenzpflichten nach Artikel 50 bleiben zum 2. August 2026 in Kraft), https://www.certivo.com/blog-details/eu-ai-act-august-2026-what-applies-after-the-digital-omnibus
[7] Verordnung (EU) 2026/1744 („Digital Omnibus on AI", Amtsblatt vom 24. Juli 2026); Übersicht u. a. bei Cloud Security Alliance: „EU AI Act's High-Risk Deadline: Deferred, Not Cancelled", https://labs.cloudsecurityalliance.org/research/csa-research-note-eu-ai-act-high-risk-deadline-omnibus-20260/ und Gibson Dunn: „EU AI Act Omnibus Agreement — Postponed High-Risk Deadlines", https://www.gibsondunn.com/eu-ai-act-omnibus-agreement-postponed-high-risk-deadlines-and-other-key-changes/
Ob Offensive, Defensive oder Strategieberatung. Kontaktieren Sie jetzt unsere Spezialistinnen und Spezialisten.