KI-Verordnung der EU

Vermarktet oder verwendet Ihr Unternehmen KI-Systeme?

Im März 2024 hat das EU-Parlament eine Verordnung verabschiedet, die den öffentlichen und kommerziellen Einsatz solcher Systeme reguliert. Das auch als KI-Gesetz oder EU AI-Act bekannte Regelwerk teilt KI-Systeme in vier Risikoklassen ein. Je höher das Risiko, desto strenger die Auflagen. Die Verordnung tritt voraussichtlich Mitte des Jahres in Kraft, einzelne Vorschriften gelten bereits sechs Monate später.

Der EU AI-Act soll Menschen, Institutionen und Umwelt vor Risiken des staatlichen oder kommerziellen KI-Einsatzes schützen und dafür sorgen, dass KI-Systeme sicher, transparent, egalitär und umweltfreundlich arbeiten.

Die von solchen Systemen ausgehenden Risiken teilt das Gesetz in vier Klassen ein:

Klasse 1: Unzumutbares Risiko

Unzumutbar oder untragbar riskante KI-Apps verbietet die Verordnung. Darunter fallen Systeme, die implizit Grundrechte verletzen, etwa indem sie menschliche Schwächen zur Verhaltensmanipulation ausnutzen, Menschen nach biometrischen oder sozialen Merkmalen selektieren (Social Scoring), anlasslos überwachen oder verdächtigen. Dies erstreckt sich auch auf eigenmächtiges, wahlloses Auslesen und Sammeln von Gesichtern aus Online-Bildmaterial oder Überwachungskameras sowie auf die maschinelle Interpretation menschlicher Emotionen am Arbeitsplatz oder in Bildungseinrichtungen. Nur amtliche Strafverfolger genießen hier – streng reglementierte – Sonderbefugnisse.

Klasse 2: Hochrisikosysteme 

Hochriskant sind KI-Systeme, deren Einsatz zwar nicht automatisch die Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie oder den Rechtsstaat schädigt, die aber für vorsätzlichen oder fahrlässigen Missbrauch anfällig sind. Typischerweise dienen sie der Verwaltung kritischer Infrastruktur, materieller oder ideeller Ressourcen oder von Personal.

Mehr anzeigen

Solche Systeme unterliegen künftig strengen Auflagen. Beispiel Kreditvergabe: Laut KI-Gesetz dürfen Banken nicht allein die Maschine über die Bonität der Kundin oder des Kunden entscheiden lassen. Ein Mensch muss den maschinell errechneten Score prüfen und die Freigabe oder Ablehnung verantworten.

Hersteller solcher Hochrisikosysteme haben diese vor der Markteinführung gründlich zu testen, Importeure und nachgelagerte Händler müssen sich vergewissern, dass die Systeme dem Gesetz genügen, Anwender müssen den Einsatz überwachen. Letzte Entscheidungs- und Aufsichtsinstanz bleibt nach dem Gesetz der Mensch. Den Adressaten der Entscheidungen solcher Systeme verleiht die Verordnung Einspruchs-, Auskunfts- und Beschwerderechte. Zu den Hochrisikosystemen zählen insbesondere:

  • KI-Systeme als Komponenten von Produkten, die der EU-Produktsicherheitsverordnung unterliegen
  • KI-Systeme aus einer der folgenden acht Kategorien:
    • Erkennung und Klassifikation anhand biometrischer Merkmale
    • Betrieb kritischer Infrastruktur
    • Allgemein- und Berufsbildung
    • Arbeit, Personalverwaltung, Zugang zur Selbständigkeit
    • Grundversorgung mit öffentlichen oder privaten Diensten
    • Strafverfolgung
    • Migration, Asyl, Grenzkontrolle
    • Rechtsberatung

 

Klasse 3: Transparenzrisiko

Als moderat riskant, zumindest intransparent stuft der EU-Gesetzgeber eine KI ein, die zwar nicht mit Grundrechten kollidiert, die Nutzer aber über Art und Quellen des Angebots im Unklaren lässt. Das betrifft Chatbots, vor allem aber die sogenannte generative KI, das heißt Programme, die artifizielle Texte, Bilder oder Videos erzeugen (z.B. Deepfakes). Laut Gesetz müssen sich solche Apps als Maschinen zu erkennen geben, ihre Erzeugnisse als Artefakte kennzeichnen, Trainingsdaten und deren Quellen dokumentieren, die Urheberrechte der Quellen wahren und die Erzeugung illegaler Inhalte verhindern.

Klasse 4: Geringes Risiko

Keinerlei Einschränkungen gelten für einfache KI-Systeme wie Spamfilter oder Empfehlungsdienste.

Leuchtturm

Qualitätssicherung für KI-Anwendungen?

Lighthouz AI

Adressaten, Pflichten und Sanktionen

Bereits sechs Monate nach Inkrafttreten der Verordnung, also voraussichtlich zum Jahresende, ist der Einsatz von Systemen der Risikoklasse 1 zu beenden. Weitere Vorschriften sind jeweils nach 12 respektive 24 Monaten anwendbar, nach 36 Monaten gilt das KI-Gesetz vollumfänglich. Neben den Anwendern umfasst der Adressatenkreis Hersteller, Importeure sowie nachgelagerte Händler. Bei Verstößen gegen die Verordnung drohen je nach Schwere Bußgelder von einem bis sieben Prozent des weltweiten Jahresumsatzes. Unternehmen sollten daher umgehend prüfen, welche Pflichten ihnen aus dem Gesetz entstehen, und sich frühzeitig darauf einstellen.

Betreiber KI

Betreiber

Natürliche oder juristische Person (Behörde oder Unternehmen), die ein KI-System entwickelt oder entwickeln lässt, um es im eigenen Namen oder unter eigener Marke entgeltlich oder unentgeltlich zu ver- oder betreiben.

Einführer KI

Einführer

In der Europäischen Union ansässige oder niedergelassene natürliche oder juristische Person, die ein KI-System, das den Namen oder die Marke eines außerhalb der EU ansässigen oder niedergelassenen Herstellers trägt, in der Union ver- oder betreibt. Pflichten:

  • prüfen, ob der Hersteller die EU-Konformität seines KI-Produkts bewertet hat und es ein CE-Zeichen trägt
  • prüfen, ob die technische Dokumentation des Herstellers vorliegt
  • eigene (Handels-) Namen in das KI-System einpflegen
  • Behörden auf Verlangen den Konformitätsnachweis vorlegen
Händler KI

Händler

Natürliche oder juristische Person, die ein von Dritten hergestelltes oder importiertes KI-System ohne Änderung seiner Merkmale innerhalb der EU vertreibt. Pflichten:

  • Prüfung auf CE-Zeichen und Dokumentation
  • bei Verdacht, dass ein KI-System nicht (mehr) EU-konform ist: Vertrieb aussetzen, Meldung an Behörde
  • Behörden auf Verlangen den Konformitätsnachweis vorlegen
Nutzer KI

Nutzer

Natürliche oder juristische Person, die ein KI-System in Eigenregie zu beruflichen, kommerziellen oder amtlichen Zwecken einsetzt. Pflichten:

  • regelkonformer Einsatz des KI-Systems
  • Überwachung des Systems laut Vorschrift des Herstellers
  • bei Verdacht auf Fehlfunktion oder Risiko: Verwendung aussetzen, Meldung an Händler oder Hersteller
  • Aufbewahrung der vom System erzeugten Protokolle

Mein Chatbot halluziniert!

Bei der KI liegt der Akzent auf dem K, nicht auf dem I – die Maschine weiß nicht wirklich, was sie tut. Was bisher manchmal kurios, oft ärgerlich, peinlich, bisweilen schädlich war, wird nach dem Willen des EU-Gesetzgebers vor allem eines: illegal. Systeme, die mit der Menschenwürde spielen, müssen zügig ausrangiert werden. Als verantwortbar, aber riskant eingestufte KI-Anwendungen sind ständig zu beaufsichtigen.

Fehlfunktionen solcher Systeme aufzudecken, hat sich das US-Startup Lighthouz vorgenommen. Gemeinsam mit den amerikanischen Kolleginnen und Kollegen unterstützt Consileon Sie bei den gesetzlich vorgeschriebenen Tests. Lighthouz AI prüft KI-Systeme auf:

  • Kohärenz: Wie bewährt sich die KI in längeren Dialogen (Multiturn-Conversation) mit Menschen?
  • Zuverlässigkeit: Hält sich die KI an programmierte Regeln oder neigt sie zur Halluzination?
  • Sicherheit: Ist die KI anfällig für die sogenannte Prompt-Injection?
  • Privatsphäre: Sind die Betreiber der KI vor Datenlecks geschützt?

Im Kern testet Lighthouz AI generative KI, wie nahe die maschinell erzeugte Antwort auf eine komplexe Frage der Erwartung der Nutzerin oder des Nutzers kommt. Dazu bewertet Lighthouz AI das Ergebnis mit syntaktischen und semantischen Metriken.

Wenn Sie genau wissen möchten, wie das Testverfahren von Lighthouz AI funktioniert, was Sie dazu brauchen und wie es Ihnen hilft, die KI-Verordnung einzuhalten, freuen sich unsere KI-Experten auf Ihre Nachricht.

Leuchtturm

Qualitätssicherung für KI-Anwendungen?

Lighthouz AI

Betrifft die KI-Verordnung Ihr Unternehmen?

Consileon hilft, KI-Anwendungen rechtssicher zu entwickeln, zu vermarkten oder einzusetzen sowie Altsysteme der neuen Rechtslage anzupassen.

*“ zeigt erforderliche Felder an

Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Mehr zum Thema

Weitere Informationen zur KI-Verordnung finden Sie beim Europäischen Parlament. Einen kurzen Einstieg bietet ein Video des MDR.

 

Das könnte Sie interessieren

Datenbank, Digitalisierung, KI

MyPersonalGPT – schont Ihre Zeit und Ressourcen

Durch die Verwendung von MyPersonalGPT können Informationen in Sekundenschnelle abgerufen werden. Dies bietet sowohl Ihren Mitarbeitern als auch Ihren Kunden erhebliche Vorteile und führt insgesamt zu Zeitersparnissen für Ihr Unternehmen.

RPA

Die Zukunft der Arbeit: Robotic Process Automation im Fokus 

In einer sich rasant entwickelnden, digitalen Welt stehen Unternehmen vor der Herausforderung, ihre Arbeitsprozesse effizienter und produktiver zu gestalten. Eine Technologie, die in diesem Kontext zunehmend an Bedeutung gewinnt, ist die Robotic Process Automation (RPA). Wir werfen einen genaueren Blick auf RPA, ihre Anwendungen, ihren Nutzen und potenziellen Auswirkungen auf die Arbeitswelt.

chatbot

Chatbots im Finanzsektor: Mehr als digitale Beratung

KI-basierte Chatbots revolutionieren den Finanzsektor durch schnelle, personalisierte Kundeninteraktionen und automatisierte Beratung. Sie liefern wertvolle Daten und entlasten das Personal. Consileon bietet eine flexible Chatbot-Lösung, MyPersonalGPT, für Finanzdienstleister.