Analyse · Rechtslage · Audit-Prozess
Ein Entwicklungsteam integriert einen KI-Coding-Assistant. Ein HR-Team nutzt ein KI-gestütztes Bewerber-Screening-Tool. Ein Medizinproduktehersteller setzt maschinelles Lernen zur Anomalie-Erkennung ein. In allen drei Fällen laufen vermutlich KI-Systeme ohne formale Klassifizierung, ohne Auftragsverarbeitungsvertrag und ohne dokumentierten Audit-Trail. Das war lange tolerierbar. Seit August 2024 hat sich das regulatorische Umfeld grundlegend verändert.
Der EU AI Act ist seit dem 1. August 2024 in Kraft. Die ersten Verbote galten ab Februar 2025. Ab August 2026 gelten die vollständigen Pflichten für Hochrisiko-KI-Systeme. Wer bis dahin kein strukturiertes Audit durchgeführt hat, kann nicht nur Bußgelder riskieren — in bestimmten Konstellationen drohen auch operative Unterbrechungen, wenn Tools nachträglich als nicht compliant eingestuft werden. Die konkreten Anforderungen ergeben sich aus der jeweiligen Risikoklassifizierung gemäß EU AI Act.
Unternehmen, die KI-Systeme einsetzen, bleiben für die Einhaltung der regulatorischen Anforderungen verantwortlich, auch bei Nutzung externer oder cloudbasierter Systeme.
EU AI Act (Verordnung 2024/1689)
- Art. 9 — Risikomanagementsystem
- Für Hochrisiko-KI-Systeme sieht Art. 9 die Einrichtung und Pflege eines dokumentierten Risikomanagementsystems vor. Risiken sollen identifiziert, bewertet und mit geeigneten Maßnahmen adressiert werden. Die konkrete Ausgestaltung hängt vom Einsatzkontext und der Risikoklassifizierung ab.
- Art. 13 — Transparenz und Bereitstellung von Informationen
- Hochrisiko-KI-Systeme sollen so gestaltet sein, dass ihr Betrieb für Betreiber hinreichend transparent ist. Nutzer sollen in der Lage sein, Ausgaben zu interpretieren und einzuordnen. Die Anforderungen variieren je nach Risikoklasse.
- Art. 17 — Qualitätsmanagementsystem
- Für Anbieter von Hochrisiko-Systemen sieht Art. 17 ein dokumentiertes QMS vor: Risikokontrollen, Datengovernance, technische Dokumentation, Post-Market-Monitoring. Dies kann auch interne KI-Lösungen betreffen, die als Hochrisiko eingestuft werden — abhängig von Einsatzkontext und Klassifizierung.
DSGVO (Verordnung 2016/679)
- Art. 28 — Auftragsverarbeitung
- Werden personenbezogene Daten an einen externen KI-Dienst übermittelt — etwa durch API-Calls mit Nutzerinhalten — kann ein Auftragsverarbeitungsvertrag (AVV) gemäß Art. 28 DSGVO erforderlich sein. Ohne AVV kann die Übermittlung rechtswidrig sein. Die Bewertung hängt davon ab, ob und welche personenbezogenen Daten tatsächlich verarbeitet werden und in welcher Rolle das Unternehmen dabei handelt.
- Art. 35 — Datenschutz-Folgenabschätzung (DSFA)
- Bei Verarbeitungen mit voraussichtlich hohem Risiko für natürliche Personen — etwa systematischer Profilerstellung, Verarbeitung sensibler Daten oder automatisierten Entscheidungen — kann eine DSFA vor der Inbetriebnahme erforderlich sein. KI-gestütztes HR-Screening oder medizinische KI lösen diese Prüfpflicht typischerweise aus; ob im konkreten Fall eine DSFA notwendig ist, hängt vom jeweiligen Verarbeitungskontext ab.
- Art. 22 — Automatisierte Entscheidungen
- Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen und rechtliche oder ähnlich erhebliche Auswirkungen haben, sind nach Art. 22 DSGVO grundsätzlich unzulässig — außer unter bestimmten Voraussetzungen wie ausdrücklicher Einwilligung oder gesetzlicher Grundlage. KI-gestütztes Kredit-Scoring, Bewerbungsauswahl oder Mitarbeiterbeurteilung können unter diesen Tatbestand fallen; die konkrete Einordnung erfordert eine Einzelfallprüfung.
Branchenspezifische Anforderungen
- DO-178C — Luftfahrt
- Software-Lebenszyklusstandard für airborne systems. KI-Komponenten in flugkritischer Software erfordern typischerweise vollständige Nachvollziehbarkeit, formale Verifikation und Zertifizierungsplanung — die genauen Anforderungen hängen von der Sicherheitskritikalität der jeweiligen Komponente ab.
- IEC 62304 — Medizinprodukte-Software
- Softwareentwicklungsprozess für Medizingeräte. KI-Algorithmen in Diagnosesoftware oder Medizingeräten können unter diese Norm fallen und Risikoklassifizierung, Validierungsdokumentation und Traceability erfordern — abhängig von der Sicherheitsklassifizierung der Medizinprodukte-Software.
- ISO 26262 — Automotive
- Funktionale Sicherheit für Straßenfahrzeuge. KI in ADAS-Systemen oder autonomen Fahrfunktionen kann ASIL-Anforderungen unterliegen. KI-Modelle mit stochastischem Verhalten stellen die Normkonformität vor besondere Herausforderungen; die konkrete Einordnung hängt vom Systemkontext ab.
- BetrVG §87 — Mitbestimmung
- Bei der Einführung von Systemen, die das Verhalten oder die Leistung der Arbeitnehmer überwachen können, besteht typischerweise ein Mitbestimmungsrecht des Betriebsrats gemäß §87 Abs. 1 Nr. 6 BetrVG. Ob KI-gestützte Produktivitätsüberwachung, Code-Review-Auswertungen oder ähnliche Tools darunter fallen, ist im Einzelfall zu prüfen — auch wenn das Tool primär als "Entwicklerwerkzeug" eingeführt wird.
Ein KI-Compliance-Audit ist kein Papierprojekt. Es beginnt mit der Frage: Welche KI-Tools sind überhaupt im Einsatz? Diese Frage ist in den meisten Unternehmen nicht trivial zu beantworten. Ein Audit ist ein Bestandteil eines umfassenden Compliance- und Governance-Systems, ersetzt dieses jedoch nicht.
Der Einsatz von Cloud-KI-Diensten in regulierten Umgebungen erzeugt strukturelle Probleme, die keine einfache Lösung haben.
Bei jedem API-Call verlassen potenziell sensible Daten das Unternehmen. Das gilt für Prompts, die Codeausschnitte mit Geschäftslogik enthalten, für HR-Anfragen mit Mitarbeiterdaten, für medizinische Anfragen mit Patienteninformationen. Der Nutzer eines KI-Assistenten denkt selten daran, was er gerade in den API-Request schreibt.
AVVs mit US-Anbietern unter EU-DSGVO sind kompliziert. Das Privacy Shield war ungültig, das EU-US Data Privacy Framework existiert, steht aber unter politischem Druck. Wer sich auf Standardvertragsklauseln stützt, muss eine Transfer Impact Assessment durchführen und dokumentieren. Das erledigen die wenigsten Teams systematisch.
In air-gapped Umgebungen — Defense, sicherheitskritische Infrastruktur, bestimmte Healthcare-Settings — scheidet Cloud-KI vollständig aus. Hier sind ausschließlich on-premise betriebene Modelle zulässig. Das ist technisch lösbar, erfordert aber andere Infrastruktur und andere Deployment-Prozesse als Cloud-Dienste.
Wir folgen einem strukturierten Fünf-Schritte-Prozess. Das Ergebnis ist kein Gutachten, das im Regal bleibt — sondern ein priorisierter Aktionsplan mit konkreten Maßnahmen und Zeitrahmen.
Der Audit-Bericht ist schriftlich und enthält alle Grundlagen, die für eine Kommunikation mit Datenschutzbehörden, Betriebsrat oder Zertifizierungsstellen typischerweise erforderlich sind. Auf Wunsch begleiten wir die Umsetzung — von der AVV-Erstellung bis zur on-premise Modell-Deployment.
Hinweis
- Rechtliche Entwicklung
- Die regulatorischen und rechtlichen Anforderungen im Bereich KI entwickeln sich aktuell weiter. Die konkrete Bewertung hängt vom jeweiligen Einzelfall, Einsatzkontext und der Ausgestaltung des Systems ab.
- Keine Rechtsberatung
- Dieser Beitrag stellt keine Rechtsberatung dar. Für die Beurteilung konkreter Compliance-Pflichten empfehlen wir die Einbeziehung eines auf KI-Recht spezialisierten Rechtsanwalts.
Technisches Gespräch vereinbaren
Wir beginnen mit einer kostenlosen Ersteinschätzung. Keine Vorabverpflichtung — Sie erhalten eine erste Bewertung Ihrer KI-Tool-Landschaft und der dringlichsten Compliance-Lücken.
Ersteinschätzung anfragen → alpitype.deClaude on-premise: Praxisworkshop
Lokale KI ohne Cloud-Abhängigkeit. Wir zeigen, wie Claude sicher im eigenen Rechenzentrum oder air-gapped Environment betrieben wird — DSGVO-konform, ohne API-Key, ohne externe Datenübertragung.
Workshop-Details ansehen →