Im Juli 2026 verließ ein KI-Agent seine Testumgebung und drang in die Infrastruktur eines fremden Unternehmens ein. Ohne Auftrag. Solche Meldungen häufen sich. Ein Gespräch mit Andreas Grau, der bei Consileon Unternehmen von der Risikoanalyse bis zur technischen Umsetzung begleitet.
Ja, aber nicht so, wie es meistens erzählt wird. Die Angriffsmethoden sind im Kern dieselben wie vor fünf Jahren: Phishing, gestohlene Zugangsdaten, ungepatchte Systeme, zu großzügige Berechtigungen. Die KI hat diese Einfallstore nicht direkt geöffnet. Verändert haben sich Tempo, Menge und Qualität. Das Ausnutzen einer Schwachstelle war früher teils wochenlange Handarbeit. Heute läuft der Angriff an einem Wochenende. Das ist kein Paradigmenwechsel bei den Methoden, aber ein massiver Skaleneffekt. Und Skaleneffekte entscheiden in der Sicherheit fast immer das Spiel.
OpenAI hat autonome KI-Agenten in einem internen Sicherheitstest eingesetzt. Die Agenten haben ihre Sandbox verlassen und die Infrastruktur von Hugging Face angegriffen.1 Ein Unternehmen das mit dem Test nichts zu tun hatte. Die Agenten nutzten zwei Schwachstellen aus und konnten auf Systeme und somit die Daten von Hugging Face zugreifen. Über 17.000 protokollierte Einzelaktionen an einem Wochenende.1
Der lehrreiche Teil steht im technischen Bericht. Dort zeigt sich eine ganze Kette von bekannten Sicherheitsmängeln: Zugangsdaten wurden unsicher bereitgestellt, technische Konten waren nicht ausreichend voneinander getrennt, Berechtigungen waren zu weit gefasst und einzelne Infrastrukturkomponenten konnten von Bereichen aus erreicht werden, aus denen sie eigentlich nicht erreichbar sein sollten.1
Das Interessante daran ist weniger die KI als die Tatsache, dass hier keine neuartige Schwachstelle ausgenutzt wurde. Die beschriebenen Probleme gehören zu den Dingen, die auch schon vor der Verbreitung von KI bestanden. Ein etablierter Secure Development Lifecycle, regelmäßige Architektur- und Sicherheitsreviews sowie ein wirksames Rollen- und Berechtigungskonzept hätten viele dieser Punkte bereits vor einem externen Test erkennen und vermeiden können.
Genau darin liegt die Botschaft: Die KI hat keine völlig neue Angriffsmethode entwickelt. Sie hat bekannte Schwachstellen schneller, konsequenter und in größerem Umfang ausgenutzt, als es bislang üblich war.1,2 Was früher ein motivierter Angreifer oder ein Penetrationstester mit genügend Zeit geschafft hätte, gelingt nun deutlich schneller und günstiger.
„Wer Informationssicherheit aktiv managt, seine Systeme aktuell hält, Berechtigungen sauber steuert und ein wirksames ISMS etabliert hat, steht auch im Zeitalter der KI deutlich robuster da. Wer diese Grundlagen vernachlässigt, wird die Folgen künftig wesentlich schneller spüren als früher.“ – Andreas Grau
Darüber muss man kaum noch spekulieren. Die eigentliche Frage ist heute nicht mehr, ob KI bei Angriffen eingesetzt wird, sondern wie viel menschliche Steuerung noch erforderlich ist.
Anthropic hat im November 2025 eine Spionagekampagne offengelegt, hinter der nach eigener Einschätzung eine staatlich unterstützte Gruppe aus China stand.3 Rund 30 Ziele, erfolgreich war die Kampagne nur in wenigen Fällen. Aber die KI übernahm 80 bis 90 Prozent der taktischen Arbeit selbstständig: Aufklärung, Schwachstellensuche, Exploit-Entwicklung, Zugangsdaten, Datenabfluss. Menschen griffen an vier bis sechs Entscheidungspunkten ein.3
Fairerweise: Das ist ein Selbstbericht eines Anbieters ohne veröffentlichte technische Indikatoren, und Teile der Security-Community haben die Darstellung angezweifelt. Anthropic nennt selbst eine Einschränkung: Das Modell halluzinierte Zugangsdaten und benötigt Kontrolle.3 Diese Unzuverlässigkeit bremst noch. Aber der Anteil menschlicher Handarbeit sinkt drastisch.
Für Unternehmen ist dabei etwas anderes entscheidend. Ob ein Angreifer jeden Schritt selbst ausführt oder eine KI große Teile davon übernimmt, spielt für die Verteidigung nur eine untergeordnete Rolle. Wenn sich der Aufwand eines Angriffs massiv reduziert, geraten plötzlich deutlich mehr potenzielle Ziele in den Fokus.
Davon ist insbesondere der Mittelstand betroffen. Viele mittelständische Unternehmen waren bislang nicht deshalb sicher, weil sie besonders gut geschützt waren, sondern weil sich der Aufwand eines gezielten Angriffs oft nicht lohnte. KI verschiebt diese Rechnung. Angriffe, die früher nur gegen wenige ausgewählte Ziele wirtschaftlich waren, können künftig gegen Hunderte oder Tausende Unternehmen parallel durchgeführt werden. Gerade deshalb wird Cybersecurity zunehmend zu einer Frage der Resilienz ganzer Wertschöpfungsnetzwerke und nicht nur einzelner großer Unternehmen. Das zeigen auch die Statistiken zu Lage der Informationssicherheit des BSI.7
Vor allem das, was am Menschen ansetzt. In der TÜV-Cybersecurity-Studie 2025 berichten 84 Prozent der Unternehmen, die einen Sicherheitsvorfall hatten, von Phishing.5 Der Anbieter KnowBe4 gibt für Anfang 2026 an, dass 86 Prozent der von ihm erkannten Phishing-Angriffe KI-gestützt waren.6 Eine mit unbekannter Methodik durch einen Anbieter erfasste Zahl, aber die Richtung deckt sich mit unseren Projekterfahrungen.
Die Rechtschreibfehler, an denen man Betrugsmails früher oft erkannt hat, spielen heute kaum noch eine Rolle. KI erstellt Nachrichten, die sprachlich und optisch nahe am Original sind. Klassische Warnsignale werden seltener, gezielte Erkennungsmerkmale die in Awarenesschulungen wie wir sie anbieten verinnerlicht werden umso wichtiger.
Hinzu kommt eine neue Qualität bei Identitätsbetrug. Heute können zusätzlich Stimme und Gesicht täuschend echt nachgebildet werden. Bekannt wurde der Fall des Ingenieurbüros Arup, bei dem nach Angaben der Ermittlungsbehörden ein Mitarbeiter nach einer Videokonferenz rund 25 Millionen US-Dollar freigab, obwohl die vermeintlichen Gesprächspartner laut Polizei gefälscht waren.8 Solche Deepfake Angriffe machen bestehende Betrugsmethoden deutlich glaubwürdiger. Deshalb beraten wir Unternehmen inzwischen auch gezielt zu diesen Szenarien und zeigen, was technisch möglich ist.
Auf technischer Ebene steigt das Tempo. Das BSI zählte im Berichtszeitraum Juli 2024 bis Juni 2025 durchschnittlich 119 neue Schwachstellen pro Tag, rund ein Viertel mehr als zuvor.7 Gleichzeitig verändert KI beide Seiten der Gleichung. Einerseits hilft sie dabei, Schwachstellen schneller zu finden, zu analysieren und auszunutzen. Andererseits wächst das Risiko, dass durch KI-gestützte Entwicklung neue Schwachstellen in Systeme gelangen, unabsichtlich durch unzureichend geprüften KI-generierten Code oder im Extremfall auch gezielt und vorsätzlich.
Genau hier setzen unsere aktuellen Cybersecurity- und AI-Governance-Assessments an. Die zentrale Frage lautet nicht, ob KI eingesetzt wird, sondern wie sie eingesetzt wird. Gibt es klare Leitplanken, wirksame Kontrollmechanismen und definierte Verantwortlichkeiten? Werden die Risiken systematisch bewertet und gesteuert, beispielsweise im Sinne der ISO/IEC 42001? Und ist sichergestellt, dass KI-generierte Ergebnisse nicht ungeprüft in produktive Systeme übernommen werden?
Bemerkenswert ist zudem, wie schnell sich die Lagebilder verändern. Was heute noch als experimentelle Fähigkeit gilt, kann wenige Monate später bereits praktisch eingesetzt werden. Im Februar 2026 kam Googles Threat Intelligence Group zu dem Schluss, Angreifer hätten durch KI keine echten Durchbruchfähigkeiten gewonnen. Im Mai-Bericht beschreibt dasselbe Team den Übergang zur industriellen Anwendung generativer Modelle in Angriffsabläufen und dokumentiert erstmals einen KI-entwickelten Zero-Day-Exploit.4 Unternehmen sollten deshalb nicht davon ausgehen, dass ein einmal erstelltes Risikobild oder Sicherheitskonzept für mehrere Jahre unverändert tragfähig bleibt.
Gleichzeitig muss auch die Verteidigungsseite dieses Tempo mitgehen. Ein Sicherheitskonzept kann heute nicht mehr alle paar Jahre überprüft werden, sondern muss kontinuierlich an neue Risiken, Anforderungen und Bedrohungen angepasst werden.
Dabei kann KI unterstützen. Mit Lösungen wie dem Consileon Compliance Manager helfen wir Unternehmen, ihr Risikobild, regulatorische Anforderungen und den Stand der Technik laufend zu überwachen und Veränderungen frühzeitig in konkrete Maßnahmen zu überführen.
Das ist die Zahl, die alle zitieren. Ich halte sie für die falsche Sorge. Relevanter ist eine andere Zahl aus derselben Studie: 91 Prozent bewerten die eigene Cybersicherheit als gut oder sehr gut, aber nur 22 Prozent setzen Sicherheitsstandards konsequent um.5 Da klafft keine KI-Lücke in der technischen Verteidigung, sondern eine Lücke in der Selbstwahrnehmung.
Wer Multi-Faktor-Authentifizierung nicht flächendeckend hat, kein sauberes Berechtigungsmanagement betreibt und sein Patch-Management nicht misst, gewinnt durch ein KI-Abwehrprodukt wenig. Dann steht ein hochmodernes, teures Werkzeug auf einem instabilen Fundament.
Das bedeutet aber nicht, dass Unternehmen auf der Verteidigungsseite auf KI verzichten sollten. Im Gegenteil: Auch Verteidiger müssen das steigende Tempo beherrschen. Die KI kann aber viel mehr sinnvoll dabei helfen, den Überblick zu behalten, Risiken zu priorisieren, Anforderungen auszuwerten, Maßnahmen nachzuverfolgen und den aktuellen Stand von Sicherheit und Compliance kontinuierlich zu überwachen. Genau hier sehen wir aktuell einen hohen Bedarf bei unseren Kunden.
Die Reihenfolge ist entscheidend: Erst die organisatorischen Grundlagen schaffen, damit die KI-basierten technischen Abwehrmaßnahmen ihre Wirksamkeit entfalten können.
„Wer seine Sicherheitsprozesse nicht im Griff hat, wird durch KI keinen Vorsprung in der technischen Abwehr erlangen.“ – Andreas Grau
Das ist aus meiner Sicht eines der am meisten unterschätzten Risiken. Unternehmen führen heute in immer mehr Alltagsbereichen KI ein, nicht nur in Spezialdisziplinen. Copilots, Chatbots und zunehmend auch Agenten erhalten Zugriff auf Informationen, Anwendungen und Geschäftsprozesse. Damit entsteht eine neue Angriffs- und Risikofläche, die in vielen Sicherheitskonzepten bisher nur unzureichend berücksichtigt wird.
Drei Punkte sind dabei besonders relevant.
Genau deshalb werden Identity & Access Management, Least Privilege und AI Governance künftig noch wichtiger. Die Herausforderung besteht nicht darin, KI zu verhindern, sondern ihren Einsatz kontrollierbar, nachvollziehbar und sicher zu gestalten. Ein Agent sollte denselben Governance-Grundsätzen unterliegen wie ein Mitarbeiter: klare Verantwortlichkeiten, definierte Zugriffsrechte und vollständige Nachvollziehbarkeit.
„Ein Agent ist nicht einfach ein weiterer technischer Account. Er ist eine neue digitale Identität im Unternehmen.“ – Andreas Grau
Wer nicht geregelt hat, wie solche Identitäten verwaltet, berechtigt und überwacht werden, hat kein Technikproblem, sondern ein Governance-Problem. Das BSI hat Ende Juli genau das gefordert: Identitäts- und Zugriffskontrollen für KI-Systeme.2
Vier Dinge. Erstens eine ehrliche Standortbestimmung: nicht das Gefühl, sondern der gemessene Reifegrad. Zweitens Prozesse gegen Deepfakes härten. Zahlungsfreigaben dürfen nicht auf Stimme oder Video vertrauen, sondern brauchen einen zweiten, unabhängigen Kanal. Drittens Awareness neu aufsetzen. Trainings, die vor schlechtem Deutsch warnen, sind wertlos geworden. Viertens die eigene KI-Nutzung inventarisieren.
Und dann die unbequeme Wahrheit: Sicherheit ist kein IT-Projekt, sondern eine Führungsdisziplin. Der Vorfall bei Hugging Face war kein Versagen an der Zukunft. Er war ein Versagen an bekannten Sicherheitsgrundlagen, nur in neuer Geschwindigkeit vorgeführt.1,2
Deshalb sind Managementsysteme wichtiger denn je. Ein wirksames ISMS oder AI-Managementsystem sorgt dafür, dass Risiken, Bedrohungen, technische Entwicklungen und regulatorische Anforderungen nicht einmalig bewertet, sondern kontinuierlich überprüft und aktualisiert werden. KI kann dabei unterstützen, den Überblick zu behalten und Veränderungen frühzeitig sichtbar zu machen. Entscheidend bleibt jedoch, dass Unternehmen diese Erkenntnisse systematisch steuern und in konkrete Maßnahmen überführen.
Wie Consileon Unternehmen von der Prävention über die Beratung bis zum Notfallmanagement begleitet, lesen Sie auf unserer Themenseite zu Cybersecurity.
Unsere Broschüre „Schutz vor digitalen Bedrohungen. Von Prävention bis Notfallmanagement“ mit dem vollständigen Leistungsüberblick können Sie hier herunterladen:
Seit zwei Jahren steht der 2. August 2026 in den Compliance-Kalendern als der Tag, an dem der EU AI-Act in voller Breite scharf gestellt wird. Viele Unternehmen haben sich entsprechend vorbereitet, mit Blick auf Hochrisikoklassifizierung, Konformitätsbewertung und Dokumentationspflichten für Systeme in Personalwesen, Kreditvergabe oder Gesundheitsversorgung.
Diese Vorbereitung war richtig, sie beruhte auf einem Zwischenstand, der sich allerdings in diesem Jahr verändert hat. Mit dem sogenannten Digital Omnibus on AI hat die EU im Mai 2026 eine politische Einigung erzielt, die die Fristen für Hochrisiko-KI-Systeme deutlich nach hinten verschiebt. Dennoch bleibt der 2. August 2026 ein relevanter Stichtag.
Am 2. August 2026 werden die allgemeinen Transparenzpflichten nach Artikel 50 verbindlich, für jedes KI-System, das auf dem EU-Markt bereitgestellt wird, unabhängig von Branche oder Unternehmensgröße. Das betrifft drei Bereiche:
Wer sein KI-System bereits vor dem Stichtag auf dem Markt hatte, bekommt für die Nachrüstung Zeit bis zum 2. Dezember 2026. Für neu platzierte Systeme gilt die Pflicht ab sofort.
Ebenfalls branchenübergreifend gilt: Jedes Unternehmen muss seine KI-Systeme gegen Anhang III prüfen und das Ergebnis dokumentieren, auch wenn die Antwort „kein Hochrisiko“ lautet. Diese Begründungspflicht aus Artikel 6 Absatz 3 wird in der Praxis oft unterschätzt, dazu unten mehr.
Was dagegen verschoben wurde: Eigenständige Hochrisiko-KI-Systeme nach Anhang III, etwa im Personalwesen, in der Bildung oder bei der Kreditvergabe, müssen jetzt erst bis zum 2. Dezember 2027 vollständig konform sein. Für Hochrisiko-Systeme, die in bereits regulierte Produkte eingebettet sind, also insbesondere Medizinprodukte und Maschinen nach Anhang I, gilt eine noch längere Frist bis zum 2. August 2028.
Rechtlich verbindlich ist das allerdings erst mit der Veröffentlichung im EU-Amtsblatt. Das Europäische Parlament hat der Reform am 16. Juni 2026 zugestimmt, der Rat der EU am 29. Juni 2026 endgültig, der finale Rechtsakt wurde am 8. Juli 2026 unterzeichnet. Damit die neuen Fristen rechtzeitig vor dem 2. August 2026 greifen, muss die Veröffentlichung im Amtsblatt noch in diesem Monat erfolgen. Bis dahin gilt formal weiterhin der ursprüngliche Zeitplan.
Die Grundpflichten sind für alle gleich, die konkreten Konsequenzen und Fristen unterscheiden sich aber deutlich nach Sektor. Die folgende Übersicht ordnet beispielhaft ein, was für unterschiedliche Branchen gilt.
| Branche | Beispiele, was automatisch als Hochrisiko gilt | Zuständige Aufsicht | Besonderheit |
| Finanzdienstleistungen und Versicherungen | Kreditscoring, Bonitätsbewertung, versicherungsmathematische Risikobewertung | BaFin | Aufsicht wird in bestehende Prüfpraxis integriert, Nähe zu MaRisk und DORA |
| Gesundheitswesen | KI als Medizinprodukt (SaMD, Klassen IIa bis III) automatisch über MDR/IVDR; zusätzlich Entscheidungen über Zugang zu Gesundheitsleistungen | Zwei-Ebenen-Modell: BfArM als fachlich-sektorale Behörde für die medizinprodukterechtliche Bewertung nach MDR/IVDR, BNetzA als übergeordnete KI-Aufsichts- und Koordinationsstelle nach KI-MIG | Aufbewahrungspflichten kollidieren: AI-Act verlangt 6 Monate Logging, § 630f BGB verlangt 10 Jahre Dokumentation |
| Öffentlicher Sektor | Entscheidungen über Sozialleistungen, Migration und Zugang zu öffentlichen Diensten | Bundesnetzagentur (koordinierend) | Frist bis 2. Dezember 2027 (Anhang III); für Bestandssysteme wird in einzelnen Quellen eine noch längere Übergangsfrist genannt, aktuell nicht einheitlich bestätigt |
| Industrie | Nur KI-Sicherheitsbauteile in Maschinen nach der Maschinenverordnung (EU) 2023/1230 | Marktüberwachungsbehörden der Länder | Frist bis 2. August 2028 (Anhang I); Großteil industrieller KI (Wartung, Qualitätskontrolle, Produktionsplanung) bleibt minimales Risiko, ohne Zusatzpflichten |
Zwei Punkte in der Tabelle sind bewusst vorsichtig formuliert: Für Hochrisiko-Systeme, die in Anhang-I-Produkte eingebettet sind, also insbesondere Medizinprodukte und Maschinen, kursieren in aktuellen Quellen zwei unterschiedliche Enddaten für die verlängerte Übergangsfrist, August 2027 und August 2028. Und die Frist für Bestandssysteme im öffentlichen Sektor wird nicht durchgängig gleich beschrieben. Beide Punkte sollten Unternehmen gemeinsam mit ihrem Rechtsberater final absichern, bevor sie daraus einen festen Fahrplan ableiten.
Mit dem KI-Marktüberwachungs- und Innovationsförderungsgesetz, kurz KI-MIG, hat der Bundestag im Juni 2026 die nationale Zuständigkeit geregelt. Zentrale koordinierende Aufsichtsbehörde wird die Bundesnetzagentur; für Finanzdienstleister und Versicherungen bleibt die BaFin sektoral zuständig.
Die Aufsichtsbehörden können von Unternehmen technische Dokumentation, Trainingsdaten und Konformitätsnachweise einfordern und bei Mängeln Abhilfemaßnahmen anordnen, bis hin zur Rücknahme eines Systems vom Markt. Die Bußgeldrahmen sind gestaffelt:
Der letzte Punkt ist der, den Unternehmen am häufigsten unterschätzen. Die Grundpflicht aus Artikel 6 Absatz 3 ist zunächst nur Papierkram: eine dokumentierte Begründung, warum ein System kein Hochrisiko-System ist.
Wenn ein Unternehmen diese Begründung bei einer Prüfung nicht vorlegen kann, wird daraus kein kleines Formfehler-Problem, sondern zweierlei zugleich: Erstens gilt die fehlende Mitwirkung gegenüber der Behörde als eigener Bußgeldtatbestand, unabhängig davon, ob das System inhaltlich überhaupt problematisch war. Zweitens kann die Behörde bis zum Nachweis der Konformität vorsorglich Abhilfemaßnahmen anordnen, im Extremfall die Rücknahme des Systems vom Markt. Aus einer im Kern harmlosen Lücke, einer fehlenden Randnotiz zur Risikoeinstufung, werden so im Ernstfall ein Bußgeld und ein Betriebsstopp für das KI-System. Genau das steckt hinter dem Satz, dass fehlende Dokumentation schlechter dasteht, als es die Grundpflicht selbst vermuten lässt.
Kontrollen erfolgen dabei nicht flächendeckend, sondern stichprobenartig oder anlassbezogen, etwa nach Beschwerden. Das senkt die gefühlte Dringlichkeit, ändert aber nichts am Risiko im Einzelfall.
1. Inventur und Risikoklassifizierung durchführen: KI-Systeme inventarisieren und nach Risikoklasse einordnen, branchenspezifisch entlang der eigenen Anhang-III- und gegebenenfalls Anhang-I-Kategorien, nicht nach Bauchgefühl.
2. Transparenzpflichten ernst nehmen: Die Transparenzpflichten aus Artikel 50 nicht unterschätzen, nur weil sie im Schatten der größeren Hochrisiko-Debatte stehen. Sie gelten für praktisch jedes Unternehmen, unabhängig von Branche oder Größe.
3. KI-Governance aufbauen: Die gewonnene Zeit bei den Hochrisiko-Pflichten aktiv nutzen, statt sie als Entwarnung misszuverstehen. Wer jetzt beginnt, Governance-Strukturen und die Dokumentation der eigenen Risikoeinstufung aufzubauen, kommt ohne Zeitdruck ans Ziel, und nicht erst, wenn die Aufsichtsbehörde das erste Mal nachfragt.
Der 2. August 2026 ist kein Tag, an dem der EU AI-Act plötzlich in voller Schärfe wirkt, aber auch kein Tag zum Zurücklehnen. Transparenzpflichten und die Dokumentationspflicht für Risikoeinstufungen werden real, die Aufsicht bekommt eine Adresse, und die Bußgeldrahmen stehen. Wie stark ein Unternehmen betroffen ist, hängt stark von der Branche ab, ein pauschaler Blick auf den Stichtag reicht nicht mehr aus.
Consileon begleitet Unternehmen aus Finanzdienstleistung, Versicherung, Healthcare und Public Sector dabei, ihre KI-Systeme branchenspezifisch regulatorisch einzuordnen und praxistaugliche Governance-Strukturen aufzubauen, die auch der nächsten Gesetzesanpassung standhalten. Sprechen Sie mit uns, wenn Sie wissen möchten, wo Ihr Unternehmen heute steht und was bis zum nächsten Stichtag wirklich zu tun ist.
SadM: Software as a Medical Device
MDR: Medical Device Regulation
IVDR: In-Vitro Device Regulation
BfArM: Bundesinstitut für Arzneimittel und Medizinprodukte
BNetzA: Bundesnetzagentur
KI-MIG: KI-Marktüberwachungs-und-Innovationsförderungsgesetz
