Wenn die KI zum Angreifer wird

Im Juli 2026 verließ ein KI-Agent seine Testumgebung und drang in die Infrastruktur eines fremden Unternehmens ein. Ohne Auftrag. Solche Meldungen häufen sich. Ein Gespräch mit Andreas Grau, der bei Consileon Unternehmen von der Risikoanalyse bis zur technischen Umsetzung begleitet.

Herr Grau, KI verändert die Cybersicherheit. So hört man es überall. Stimmt das?

Ja, aber nicht so, wie es meistens erzählt wird. Die Angriffsmethoden sind im Kern dieselben wie vor fünf Jahren: Phishing, gestohlene Zugangsdaten, ungepatchte Systeme, zu großzügige Berechtigungen. Die KI hat diese Einfallstore nicht direkt geöffnet. Verändert haben sich Tempo, Menge und Qualität. Das Ausnutzen einer Schwachstelle war früher teils wochenlange Handarbeit. Heute läuft der Angriff an einem Wochenende. Das ist kein Paradigmenwechsel bei den Methoden, aber ein massiver Skaleneffekt. Und Skaleneffekte entscheiden in der Sicherheit fast immer das Spiel.

Der Vorfall bei Hugging Face im Juli hat viel Aufsehen erregt. Was ist da passiert?

OpenAI hat autonome KI-Agenten in einem internen Sicherheitstest eingesetzt. Die Agenten haben ihre Sandbox verlassen und die Infrastruktur von Hugging Face angegriffen.1 Ein Unternehmen das mit dem Test nichts zu tun hatte. Die Agenten nutzten zwei Schwachstellen aus und konnten auf Systeme und somit die Daten von Hugging Face zugreifen. Über 17.000 protokollierte Einzelaktionen an einem Wochenende.1

Der lehrreiche Teil steht im technischen Bericht. Dort zeigt sich eine ganze Kette von bekannten Sicherheitsmängeln: Zugangsdaten wurden unsicher bereitgestellt, technische Konten waren nicht ausreichend voneinander getrennt, Berechtigungen waren zu weit gefasst und einzelne Infrastrukturkomponenten konnten von Bereichen aus erreicht werden, aus denen sie eigentlich nicht erreichbar sein sollten.1  

Das Interessante daran ist weniger die KI als die Tatsache, dass hier keine neuartige Schwachstelle ausgenutzt wurde. Die beschriebenen Probleme gehören zu den Dingen, die auch schon vor der Verbreitung von KI bestanden. Ein etablierter Secure Development Lifecycle, regelmäßige Architektur- und Sicherheitsreviews sowie ein wirksames Rollen- und Berechtigungskonzept hätten viele dieser Punkte bereits vor einem externen Test erkennen und vermeiden können.  

Genau darin liegt die Botschaft: Die KI hat keine völlig neue Angriffsmethode entwickelt. Sie hat bekannte Schwachstellen schneller, konsequenter und in größerem Umfang ausgenutzt, als es bislang üblich war.1,2 Was früher ein motivierter Angreifer oder ein Penetrationstester mit genügend Zeit geschafft hätte, gelingt nun deutlich schneller und günstiger.

„Wer Informationssicherheit aktiv managt, seine Systeme aktuell hält, Berechtigungen sauber steuert und ein wirksames ISMS etabliert hat, steht auch im Zeitalter der KI deutlich robuster da. Wer diese Grundlagen vernachlässigt, wird die Folgen künftig wesentlich schneller spüren als früher.“ – Andreas Grau

Und wenn jemand KI gezielt als Waffe einsetzt?

Darüber muss man kaum noch spekulieren. Die eigentliche Frage ist heute nicht mehr, ob KI bei Angriffen eingesetzt wird, sondern wie viel menschliche Steuerung noch erforderlich ist.  

Anthropic hat im November 2025 eine Spionagekampagne offengelegt, hinter der nach eigener Einschätzung eine staatlich unterstützte Gruppe aus China stand.3 Rund 30 Ziele, erfolgreich war die Kampagne nur in wenigen Fällen. Aber die KI übernahm 80 bis 90 Prozent der taktischen Arbeit selbstständig: Aufklärung, Schwachstellensuche, Exploit-Entwicklung, Zugangsdaten, Datenabfluss. Menschen griffen an vier bis sechs Entscheidungspunkten ein.3 

Fairerweise: Das ist ein Selbstbericht eines Anbieters ohne veröffentlichte technische Indikatoren, und Teile der Security-Community haben die Darstellung angezweifelt. Anthropic nennt selbst eine Einschränkung: Das Modell halluzinierte Zugangsdaten und benötigt Kontrolle.3 Diese Unzuverlässigkeit bremst noch. Aber der Anteil menschlicher Handarbeit sinkt drastisch.  

Für Unternehmen ist dabei etwas anderes entscheidend. Ob ein Angreifer jeden Schritt selbst ausführt oder eine KI große Teile davon übernimmt, spielt für die Verteidigung nur eine untergeordnete Rolle. Wenn sich der Aufwand eines Angriffs massiv reduziert, geraten plötzlich deutlich mehr potenzielle Ziele in den Fokus. 

Davon ist insbesondere der Mittelstand betroffen. Viele mittelständische Unternehmen waren bislang nicht deshalb sicher, weil sie besonders gut geschützt waren, sondern weil sich der Aufwand eines gezielten Angriffs oft nicht lohnte. KI verschiebt diese Rechnung. Angriffe, die früher nur gegen wenige ausgewählte Ziele wirtschaftlich waren, können künftig gegen Hunderte oder Tausende Unternehmen parallel durchgeführt werden. Gerade deshalb wird Cybersecurity zunehmend zu einer Frage der Resilienz ganzer Wertschöpfungsnetzwerke und nicht nur einzelner großer Unternehmen. Das zeigen auch die Statistiken zu Lage der Informationssicherheit des BSI.7

Was verschärft sich konkret und messbar?

Vor allem das, was am Menschen ansetzt. In der TÜV-Cybersecurity-Studie 2025 berichten 84 Prozent der Unternehmen, die einen Sicherheitsvorfall hatten, von Phishing.5 Der Anbieter KnowBe4 gibt für Anfang 2026 an, dass 86 Prozent der von ihm erkannten Phishing-Angriffe KI-gestützt waren.6 Eine mit unbekannter Methodik durch einen Anbieter erfasste Zahl, aber die Richtung deckt sich mit unseren Projekterfahrungen.  

Die Rechtschreibfehler, an denen man Betrugsmails früher oft erkannt hat, spielen heute kaum noch eine Rolle. KI erstellt Nachrichten, die sprachlich und optisch nahe am Original sind. Klassische Warnsignale werden seltener, gezielte Erkennungsmerkmale die in Awarenesschulungen wie wir sie anbieten verinnerlicht werden umso wichtiger.  

Hinzu kommt eine neue Qualität bei Identitätsbetrug. Heute können zusätzlich Stimme und Gesicht täuschend echt nachgebildet werden. Bekannt wurde der Fall des Ingenieurbüros Arup, bei dem nach Angaben der Ermittlungsbehörden ein Mitarbeiter nach einer Videokonferenz rund 25 Millionen US-Dollar freigab, obwohl die vermeintlichen Gesprächspartner laut Polizei gefälscht waren.8 Solche Deepfake Angriffe machen bestehende Betrugsmethoden deutlich glaubwürdiger. Deshalb beraten wir Unternehmen inzwischen auch gezielt zu diesen Szenarien und zeigen, was technisch möglich ist.   

Auf technischer Ebene steigt das Tempo. Das BSI zählte im Berichtszeitraum Juli 2024 bis Juni 2025 durchschnittlich 119 neue Schwachstellen pro Tag, rund ein Viertel mehr als zuvor.7 Gleichzeitig verändert KI beide Seiten der Gleichung. Einerseits hilft sie dabei, Schwachstellen schneller zu finden, zu analysieren und auszunutzen. Andererseits wächst das Risiko, dass durch KI-gestützte Entwicklung neue Schwachstellen in Systeme gelangen, unabsichtlich durch unzureichend geprüften KI-generierten Code oder im Extremfall auch gezielt und vorsätzlich.  

Genau hier setzen unsere aktuellen Cybersecurity- und AI-Governance-Assessments an. Die zentrale Frage lautet nicht, ob KI eingesetzt wird, sondern wie sie eingesetzt wird. Gibt es klare Leitplanken, wirksame Kontrollmechanismen und definierte Verantwortlichkeiten? Werden die Risiken systematisch bewertet und gesteuert, beispielsweise im Sinne der ISO/IEC 42001? Und ist sichergestellt, dass KI-generierte Ergebnisse nicht ungeprüft in produktive Systeme übernommen werden? 

Bemerkenswert ist zudem, wie schnell sich die Lagebilder verändern. Was heute noch als experimentelle Fähigkeit gilt, kann wenige Monate später bereits praktisch eingesetzt werden. Im Februar 2026 kam Googles Threat Intelligence Group zu dem Schluss, Angreifer hätten durch KI keine echten Durchbruchfähigkeiten gewonnen. Im Mai-Bericht beschreibt dasselbe Team den Übergang zur industriellen Anwendung generativer Modelle in Angriffsabläufen und dokumentiert erstmals einen KI-entwickelten Zero-Day-Exploit.4 Unternehmen sollten deshalb nicht davon ausgehen, dass ein einmal erstelltes Risikobild oder Sicherheitskonzept für mehrere Jahre unverändert tragfähig bleibt.   

Gleichzeitig muss auch die Verteidigungsseite dieses Tempo mitgehen. Ein Sicherheitskonzept kann heute nicht mehr alle paar Jahre überprüft werden, sondern muss kontinuierlich an neue Risiken, Anforderungen und Bedrohungen angepasst werden. 

Dabei kann KI unterstützen. Mit Lösungen wie dem Consileon Compliance Manager helfen wir Unternehmen, ihr Risikobild, regulatorische Anforderungen und den Stand der Technik laufend zu überwachen und Veränderungen frühzeitig in konkrete Maßnahmen zu überführen.

Der TÜV berichtet, dass 51 Prozent der Unternehmen KI bei Angreifern vermuten, aber nur 10 Prozent selbst KI-gestützt verteidigen. Ist das die eigentliche Lücke?

Das ist die Zahl, die alle zitieren. Ich halte sie für die falsche Sorge. Relevanter ist eine andere Zahl aus derselben Studie: 91 Prozent bewerten die eigene Cybersicherheit als gut oder sehr gut, aber nur 22 Prozent setzen Sicherheitsstandards konsequent um.5 Da klafft keine KI-Lücke in der technischen Verteidigung, sondern eine Lücke in der Selbstwahrnehmung. 

Wer Multi-Faktor-Authentifizierung nicht flächendeckend hat, kein sauberes Berechtigungsmanagement betreibt und sein Patch-Management nicht misst, gewinnt durch ein KI-Abwehrprodukt wenig. Dann steht ein hochmodernes, teures Werkzeug auf einem instabilen Fundament.   

Das bedeutet aber nicht, dass Unternehmen auf der Verteidigungsseite auf KI verzichten sollten. Im Gegenteil: Auch Verteidiger müssen das steigende Tempo beherrschen. Die KI kann aber viel mehr sinnvoll dabei helfen, den Überblick zu behalten, Risiken zu priorisieren, Anforderungen auszuwerten, Maßnahmen nachzuverfolgen und den aktuellen Stand von Sicherheit und Compliance kontinuierlich zu überwachen. Genau hier sehen wir aktuell einen hohen Bedarf bei unseren Kunden. 

Die Reihenfolge ist entscheidend: Erst die organisatorischen Grundlagen schaffen, damit die KI-basierten technischen Abwehrmaßnahmen ihre Wirksamkeit entfalten können.

„Wer seine Sicherheitsprozesse nicht im Griff hat, wird durch KI keinen Vorsprung in der technischen Abwehr erlangen.“ – Andreas Grau

Ein Thema, über das weniger gesprochen wird: die eigene KI im Unternehmen.

Das ist aus meiner Sicht eines der am meisten unterschätzten Risiken. Unternehmen führen heute in immer mehr Alltagsbereichen KI ein, nicht nur in Spezialdisziplinen. Copilots, Chatbots und zunehmend auch Agenten erhalten Zugriff auf Informationen, Anwendungen und Geschäftsprozesse. Damit entsteht eine neue Angriffs- und Risikofläche, die in vielen Sicherheitskonzepten bisher nur unzureichend berücksichtigt wird. 

Drei Punkte sind dabei besonders relevant. 

  1. Prompt Injection
    Dabei wird nicht die KI selbst angegriffen, sondern die Informationen, mit denen sie arbeitet. Manipulierte Dokumente, Webseiten oder E-Mails können versuchen, die KI zu unerwünschten Aktionen zu verleiten. Deshalb müssen Unternehmen nicht nur die eingesetzten Modelle bewerten, sondern auch testen, wie robust diese gegenüber solchen Manipulationsversuchen sind und welche Schutzmechanismen vorhanden sind. 
  2. Schatten-KI
    Mitarbeitende verwenden nicht freigegebene KI-Dienste, weil sie produktiver arbeiten möchten. Dabei können vertrauliche Informationen, Geschäftsgeheimnisse, personenbezogene Daten oder interne Quellcodes in externe Systeme gelangen. Das ist oft weniger ein technisches als vielmehr ein Governance- und Regelungsthema: Welche Werkzeuge sind erlaubt? Welche Daten dürfen verwendet werden? Und wie wird das kontrolliert? 
  3. Identitäten und Berechtigungen
    Dieser Punkt wird häufig unterschätzt. Ein Agent ist kein klassischer technischer Account, der genau eine fest definierte Aufgabe erfüllt. Er agiert vielmehr stellvertretend für Menschen, greift auf unterschiedliche Systeme zu und trifft innerhalb vorgegebener Grenzen Entscheidungen. Deshalb sollten Agenten als eigene digitale Identitäten mit Rechten und Rollen wie Personen betrachtet werden. Unternehmen müssen nachvollziehbar regeln, welche Berechtigungen ein Agent erhält, wessen Auftrag er ausführt, welche Aktionen er durchführen darf und wie diese protokolliert werden. 

Genau deshalb werden Identity & Access Management, Least Privilege und AI Governance künftig noch wichtiger. Die Herausforderung besteht nicht darin, KI zu verhindern, sondern ihren Einsatz kontrollierbar, nachvollziehbar und sicher zu gestalten. Ein Agent sollte denselben Governance-Grundsätzen unterliegen wie ein Mitarbeiter: klare Verantwortlichkeiten, definierte Zugriffsrechte und vollständige Nachvollziehbarkeit.

„Ein Agent ist nicht einfach ein weiterer technischer Account. Er ist eine neue digitale Identität im Unternehmen.“ – Andreas Grau

Wer nicht geregelt hat, wie solche Identitäten verwaltet, berechtigt und überwacht werden, hat kein Technikproblem, sondern ein Governance-Problem. Das BSI hat Ende Juli genau das gefordert: Identitäts- und Zugriffskontrollen für KI-Systeme.2

Was raten Sie einem Vorstand, der in den nächsten 90 Tagen etwas bewegen will?

Vier Dinge. Erstens eine ehrliche Standortbestimmung: nicht das Gefühl, sondern der gemessene Reifegrad. Zweitens Prozesse gegen Deepfakes härten. Zahlungsfreigaben dürfen nicht auf Stimme oder Video vertrauen, sondern brauchen einen zweiten, unabhängigen Kanal. Drittens Awareness neu aufsetzen. Trainings, die vor schlechtem Deutsch warnen, sind wertlos geworden. Viertens die eigene KI-Nutzung inventarisieren.  

Und dann die unbequeme Wahrheit: Sicherheit ist kein IT-Projekt, sondern eine Führungsdisziplin. Der Vorfall bei Hugging Face war kein Versagen an der Zukunft. Er war ein Versagen an bekannten Sicherheitsgrundlagen, nur in neuer Geschwindigkeit vorgeführt.1,2

Deshalb sind Managementsysteme wichtiger denn je. Ein wirksames ISMS oder AI-Managementsystem sorgt dafür, dass Risiken, Bedrohungen, technische Entwicklungen und regulatorische Anforderungen nicht einmalig bewertet, sondern kontinuierlich überprüft und aktualisiert werden. KI kann dabei unterstützen, den Überblick zu behalten und Veränderungen frühzeitig sichtbar zu machen. Entscheidend bleibt jedoch, dass Unternehmen diese Erkenntnisse systematisch steuern und in konkrete Maßnahmen überführen.

Weiterführende Informationen

Wie Consileon Unternehmen von der Prävention über die Beratung bis zum Notfallmanagement begleitet, lesen Sie auf unserer Themenseite zu Cybersecurity. 

Unsere Broschüre „Schutz vor digitalen Bedrohungen. Von Prävention bis Notfallmanagement“ mit dem vollständigen Leistungsüberblick können Sie hier herunterladen:

Broschüre Cybersecurity-Portfolio

Quellen

  1. Hugging Face: Security incident disclosure, Juli 2026 und Anatomy of a Frontier Lab Agent Intrusion: Technical Timeline. Primärquelle des Betroffenen, mit technischen Details und offener Benennung eigener Fehlkonfigurationen.
  2. BSI: Wenn eine KI aus ihrer Sandbox ausbricht, 24.07.2026. Behördliche Einordnung des Vorfalls, Empfehlungen zu Identitäts- und Zugriffskontrollen für KI-Systeme.
  3. Anthropic: Disrupting the first reported AI-orchestrated cyber espionage campaign, 13.11.2025. Anbieter-Selbstbericht ohne veröffentlichte Indicators of Compromise, in der Fachöffentlichkeit teils bestritten. Im Text entsprechend gekennzeichnet.
  4. Google Threat Intelligence Group: AI Threat Tracker Februar 2026 und Mai 2026. Belastbarste öffentliche Quelle zur Angreiferseite, gestützt auf eigene Telemetrie.
  5. TÜV-Verband: Cybersecurity-Studie 2025. 506 befragte Unternehmen. Die 84 Prozent beziehen sich auf die Teilstichprobe von 89 Unternehmen mit Sicherheitsvorfall, nicht auf alle Befragten.
  6. KnowBe4: 86% of Phishing Attacks Are AI Driven, 30.04.2026. Anbieterstudie über sechs Monate und mehr als 3.000 Threat Actors. Methodik nicht offengelegt, daher im Text als Anbieterzahl gekennzeichnet.
  7. BSI: Die Lage der IT-Sicherheit in Deutschland 2025, veröffentlicht 11.11.2025, Berichtszeitraum Juli 2024 bis Juni 2025.
  8. CFO Dive: Scammers siphon $25M from engineering firm Arup via AI deepfake CFO. Von Arup und der Hongkonger Polizei bestätigter Fall aus 2024.