Die überarbeitete Fassung konkretisiert die praktischen Empfehlungen, verdeutlicht den Unterschied zwischen rechtlichen Verpflichtungen und freiwilligen Standards und richtet den Fokus stärker auf das Betriebsmodell, das Führungskräfte für die Steuerung von KI benötigen. Außerdem verwendet sie überprüfte offizielle Quellen für die wichtigsten Rechtsverweise und vermeidet den zuvor nicht verifizierten Link zu einem Cybersicherheitskurs.
Künstliche Intelligenz kann Unternehmen dabei helfen, Prozesse zu verbessern, Entscheidungen zu unterstützen und neue Dienstleistungen zu entwickeln. Der Einsatz von KI wirft jedoch auch Fragen zu Verantwortlichkeit, Datenschutz, Sicherheit, Zuverlässigkeit und menschlicher Aufsicht auf. Ohne klare Governance können verschiedene Teams Tools nach uneinheitlichen Regeln einführen. Dadurch kann unklar bleiben, wer ein System genehmigt hat und wie seine Risiken gesteuert werden.
Ein KI-Governance-Framework bietet einem Unternehmen eine strukturierte Grundlage für solche Entscheidungen. Es legt Verantwortlichkeiten fest, etabliert Genehmigungs- und Risikomanagementprozesse und definiert Erwartungen daran, wie KI-Systeme während ihres gesamten Lebenszyklus überwacht werden.
Für Unternehmen, die in Deutschland tätig sind, sollte das Framework außerdem dabei helfen, geltende Verpflichtungen aus dem EU AI Act, der Datenschutz-Grundverordnung (DSGVO; auf Englisch GDPR) und einschlägigen branchenspezifischen Vorschriften zu ermitteln. Ziel ist nicht, unnötige Bürokratie zu schaffen, sondern den KI-Einsatz verantwortlicher und kontrollierter zu gestalten.
Ein KI-Governance-Framework umfasst die Organisationsstrukturen, Richtlinien, Prozesse und Kontrollen, mit denen ein Unternehmen die Auswahl, Entwicklung, Beschaffung, Bereitstellung und Überwachung von KI steuert. Es legt fest, wer Entscheidungen trifft, wie Risiken bewertet werden, welche Schutzmaßnahmen erforderlich sind und wie Bedenken eskaliert werden.
Eine wirksame Governance deckt den gesamten KI-Lebenszyklus ab. Ein Unternehmen muss möglicherweise einen geplanten Anwendungsfall vor der Beschaffung bewerten, Datenverarbeitung und Sicherheit vor der Genehmigung prüfen, während des Betriebs eine angemessene menschliche Aufsicht sicherstellen und das System erneut bewerten, wenn sich Zweck, Fähigkeiten oder Betriebsumfeld ändern.
Governance verbindet die Einhaltung gesetzlicher Vorgaben auch mit umfassenderen Praktiken für einen verantwortungsvollen KI-Einsatz. Anwendbare Gesetze begründen innerhalb ihres Geltungsbereichs verbindliche Pflichten. Zusätzliche Maßnahmen können helfen, Risiken in Bezug auf Zuverlässigkeit, Fairness, Erklärbarkeit und Reputation zu adressieren.
Ein KI-Governance-Framework definiert das übergeordnete System der Verantwortlichkeit und Entscheidungsfindung. Eine KI-Richtlinie legt konkretere Regeln für Mitarbeitende und Geschäftsaktivitäten fest, etwa welche Tools zulässig sind, welche Informationen eingegeben werden dürfen und wann eine menschliche Prüfung erforderlich ist.
Ein Unternehmen könnte beispielsweise über sein Governance-Framework die Genehmigungsverantwortung den Geschäftsverantwortlichen und relevanten Kontrollfunktionen zuweisen. Die Richtlinie für Mitarbeitende könnte untersagen, vertrauliche Kundeninformationen in nicht genehmigte öffentliche KI-Tools hochzuladen.
Für Organisationen, die einen formalen Managementsystemansatz verfolgen möchten, legt ISO/IEC 42001:2023 Anforderungen an die Einrichtung, Aufrechterhaltung und kontinuierliche Verbesserung eines KI-Managementsystems fest. Es handelt sich um einen freiwilligen internationalen Standard, sofern seine Anwendung nicht durch eine bestimmte vertragliche oder sonstige geltende Verpflichtung vorgeschrieben ist. Er ersetzt keine Gesetze. ISO/IEC 42001:2023
Ein wirksames unternehmensweites KI-Governance-Framework übersetzt allgemeine Grundsätze in klare Verantwortlichkeiten und wiederholbare Verfahren. Seine Ausgestaltung sollte Größe, Branche, KI-Anwendungsfälle und rechtliche Verpflichtungen der Organisation berücksichtigen. Mehrere Bestandteile bilden jedoch eine hilfreiche Grundlage.
Die Unternehmensleitung sollte Ziele, Risikobereitschaft und Aufsichtsstrukturen festlegen. Auch die Verantwortung für alltägliche Entscheidungen muss ausdrücklich zugewiesen werden, statt sie einer vermeintlich zuständigen „KI-verantwortlichen Person“ zu überlassen.
Zu den relevanten Beteiligten können gehören:
Ein formeller KI-Governance-Ausschuss kann Entscheidungen koordinieren, wenn Größe oder Risikoprofil der Organisation dies rechtfertigen. Er ist keine allgemeine gesetzliche Pflicht. Kleinere Unternehmen können diese Verantwortlichkeiten in bestehende Risiko-, Compliance- oder Technologie-Governance-Strukturen integrieren.
Ein praktisches Framework sollte ein Verzeichnis von KI-Systemen und Anwendungsfällen, Risikobewertungen, Genehmigungsverfahren, Regeln zur zulässigen Nutzung, Datenschutz- und Cybersicherheitskontrollen, Dokumentation, menschliche Aufsicht sowie Verfahren zum Umgang mit Vorfällen umfassen.
Die Kontrollen sollten dem tatsächlichen Einsatz angemessen sein. Ein KI-Tool, das interne Besprechungsnotizen zusammenfasst, erfordert möglicherweise andere Prüfungen als ein System zur Vorauswahl von Bewerbungen oder zur Unterstützung von Entscheidungen über Kundinnen und Kunden. Wenn ein KI-System folgenreiche Entscheidungen beeinflusst, sollten insbesondere die Qualität der Eingabedaten, bekannte Einschränkungen, eine wirksame menschliche Prüfung und Eskalationswege berücksichtigt werden.
Das NIST AI Risk Management Framework bietet freiwillige Leitlinien zur Organisation von KI-Risikomanagementaktivitäten. Es ist selbst kein deutsches oder europäisches Gesetz. Unternehmen können KI-Kontrollen außerdem in bestehende Informationssicherheits- und operative Risikoprozesse integrieren, anstatt ein separates, isoliertes Programm aufzubauen. NIST AI Risk Management Framework
Unternehmen müssen nicht alle Kontrollen auf einmal einführen. Ein sinnvoller Ausgangspunkt ist, die bestehende KI-Nutzung zu verstehen, Verantwortlichkeiten zuzuweisen und die Risiken zu priorisieren, die Aufmerksamkeit erfordern.
Ein Verzeichnis sollte genügend Informationen enthalten, um fundierte Entscheidungen zu ermöglichen. Nützliche Felder sind Systemname, Zweck, geschäftlich verantwortliche Person, Anbieter, betroffene Daten, vorgesehene Nutzergruppen, Genehmigungsstatus und Überprüfungsdatum. Bei Anwendungsfällen mit größeren Auswirkungen sollten auch bekannte Einschränkungen, Testergebnisse, Regelungen zur menschlichen Aufsicht und Eskalationskontakte dokumentiert werden.
Lernen Sie, KI und digitale Technologien gezielt einzusetzen, um Innovationen voranzutreiben, die Produktivität zu steigern und die digitale Transformation Ihres Unternehmens erfolgreich zu gestalten.
Wichtig ist, rechtliche Einstufungen von internen Risikobewertungen zu unterscheiden. Ein Unternehmen kann ein Tool im Rahmen seiner eigenen Richtlinie als „hochriskant“ einstufen, um eine zusätzliche Prüfung auszulösen. Dadurch wird das System jedoch nicht automatisch rechtlich als Hochrisiko-KI-System nach dem EU AI Act eingestuft. Die rechtliche Einstufung muss anhand der einschlägigen Bestimmungen sowie des vorgesehenen Zwecks und Kontexts des Systems erfolgen.
Governance sollte nach der Genehmigung fortgesetzt werden. Während der Beschaffung sind der geplante Einsatz und der Anbieter zu bewerten. Bei Tests sollten Leistung, Einschränkungen, Datenverarbeitung und vorhersehbare Fehlerarten untersucht werden. Vor der Bereitstellung ist zu bestätigen, dass erforderliche Schutzmaßnahmen und Anweisungen vorhanden sind. Im laufenden Betrieb sind Vorfälle und wesentliche Änderungen zu überwachen. Beim Austausch oder der Stilllegung eines Systems sollten der Entzug von Zugriffsrechten, die Datenaufbewahrung und aufzubewahrende Unterlagen berücksichtigt werden.
Beispiel: Ein deutscher Arbeitgeber möchte ein KI-Tool einsetzen, um Bewerberinnen und Bewerber zu bewerten und zu ordnen. Die geschäftlich verantwortliche Person trägt den Anwendungsfall in das Verzeichnis ein; HR und Rechtsspezialisten bewerten den vorgesehenen Zweck und die geltenden Anforderungen, während die IT Sicherheit und Datenverarbeitung prüft. Vor dem Einsatz legt die Organisation fest, wie Menschen die Ergebnisse prüfen, Bedenken anfechten und Entscheidungen dokumentieren können. Anschließend überwacht sie das System, statt die ursprüngliche Genehmigung als dauerhaft gültige Erlaubnis zu behandeln.
Dies ist eine praktische Managementabfolge und kein gesetzlich allgemein vorgeschriebener Prozess. Weiterführende Perspektiven für Führungskräfte bietet der GCI-Artikel „KI-Governance für Führungskräfte: Risiken unter dem EU AI Act steuern“. AI Governance for Executives: Managing Risks Under the EU AI Act
Ein KI-Governance-Framework sollte einem Unternehmen dabei helfen, die für seine Systeme und Aktivitäten geltenden rechtlichen Anforderungen zu ermitteln. Der EU AI Act und die Datenschutz-Grundverordnung (DSGVO; in Deutschland auch als Datenschutz-Grundverordnung bezeichnet) sind zwei wichtige Ausgangspunkte. Sie behandeln unterschiedliche Aspekte und können auf denselben Anwendungsfall zutreffen.
Der EU AI Act, Verordnung (EU) 2024/1689, schafft einen risikobasierten Rechtsrahmen für KI. Die Anforderungen hängen unter anderem vom vorgesehenen Zweck und der Einstufung des Systems sowie von der Rolle der Organisation ab. EU AI Act, Regulation (EU) 2024/1689
Der Rechtsakt unterscheidet zwischen Anbietern, die ein KI-System entwickeln oder entwickeln lassen und es unter ihrem Namen auf den Markt bringen oder in Betrieb nehmen, und Betreibern, die ein KI-System in eigener Verantwortung verwenden. Auch andere Rollen und bestimmte Ausnahmen können relevant sein. Organisationen sollten daher ihre tatsächliche Position prüfen und sich nicht allein auf Bezeichnungen verlassen.
KI-Kompetenz ist ein weiterer Aspekt der Governance. Artikel 4 verpflichtet Anbieter und Betreiber, Maßnahmen zu ergreifen, damit ihre Mitarbeitenden und andere Personen, die in ihrem Auftrag mit KI umgehen, nach besten Kräften über ein ausreichendes Maß an KI-Kompetenz verfügen. Geeignete Maßnahmen hängen von Wissen, Erfahrung, Ausbildung, Nutzungskontext und den betroffenen Personen ab. Die Vorschrift schreibt weder einen einheitlichen Kurs noch eine feste Anzahl von Schulungsstunden vor.
Die Anwendungszeitpunkte des Rechtsakts unterscheiden sich je nach Bestimmung. Nach dem derzeit konsolidierten Text gelten Kapitel I und II seit dem 2. Februar 2025; für viele andere Bestimmungen gelten abweichende Zeitpunkte. Bestimmte Anforderungen an Hochrisiko-Systeme sind – je nach anwendbarem Einstufungsweg – für den 2. Dezember 2027 oder den 2. August 2028 vorgesehen. Da Änderungen und Übergangsbestimmungen die Planung beeinflussen können, sollte vor der Festlegung von Compliance-Fristen die konsolidierte Verordnung auf EUR-Lex geprüft werden. consolidated Regulation on EUR-Lex
Wenn KI-bezogene Aktivitäten personenbezogene Daten betreffen, kann die DSGVO eine Rechtsgrundlage, transparente Informationen, Datenminimierung, angemessene Sicherheit und die Wahrung der Rechte betroffener Personen verlangen. Eine Datenschutz-Folgenabschätzung (DSFA) ist nach Artikel 35 erforderlich, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Sie ist nicht automatisch für jedes KI-Projekt erforderlich.
Das deutsche KI-Marktüberwachungs- und Innovationsförderungs-Gesetz (KI-MIG) legt nationale Regelungen zur Umsetzung und Überwachung des EU AI Act fest. Im offiziellen Gesetzestext wird die Bundesnetzagentur als zentrale Marktüberwachungsbehörde benannt; für bestimmte Systeme oder Branchen werden zugleich Aufgaben anderen Behörden zugewiesen. Beispielsweise sieht das Gesetz für bestimmte KI-Systeme, die unmittelbar mit regulierten Finanzaktivitäten verbunden sind, eine Rolle der BaFin vor. official KI-MIG text
Die KI-Governance sollte Bewertungen nach dem EU AI Act mit bestehenden Datenschutz-, Sicherheits- und branchenspezifischen Compliance-Prozessen verbinden. Ergänzenden Kontext zum Datenschutz bietet der GCI-Artikel „DSGVO und EU AI Act: Datenschutz im Zeitalter der KI“. GDPR and the EU AI Act: Managing Data Privacy in the AI Era
Welches KI-Governance-Framework oder welchen Standard sollten Sie verwenden?
Gesetze, Managementsystemstandards und Leitlinien zum Risikomanagement erfüllen unterschiedliche Zwecke. Sie sollten nicht als austauschbar betrachtet werden.
| Ansatz | Hauptfunktion | Wissenswertes für Führungskräfte |
|---|---|---|
| EU AI Act | Verbindliches EU-Recht | Legt rechtliche Verpflichtungen fest, soweit der Rechtsakt anwendbar ist. |
| ISO/IEC 42001:2023 | Standard für KI-Managementsysteme | Legt Anforderungen für die Einrichtung und kontinuierliche Verbesserung eines KI-Managementsystems fest. |
| NIST AI Risk Management Framework | Freiwillige Leitlinien zum Risikomanagement | Bietet einen strukturierten Ansatz zur Identifizierung und Steuerung von KI-Risiken. |
Die Beschreibung des ISO-Standards erläutert den Fokus von ISO/IEC 42001 auf Managementsysteme. Das NIST AI RMF bietet freiwillige Leitlinien. Für die aktuelle Version und ergänzende Materialien sollten Organisationen die jeweils aktuellen Ressourcen von NIST prüfen. ISO standard description NIST AI RMF
Ermitteln Sie zunächst die rechtlichen Verpflichtungen, die für Ihre Organisation und Ihre Anwendungsfälle gelten. Wählen Sie anschließend Standards oder Leitlinien aus, die dabei helfen, diese Verpflichtungen und geschäftlichen Risiken in praktische Prozesse zu überführen.
Ein Unternehmen mit etablierten Risiko- und Informationssicherheitsmanagementsystemen kann KI-Governance möglicherweise in bestehende Strukturen integrieren, statt ein isoliertes Programm aufzubauen. Ziel ist, dass Verantwortlichkeiten, Genehmigungen und Kontrollen zusammenwirken.
Ein Standard kann eine konsistente Governance unterstützen. Seine Anwendung oder eine Zertifizierung belegt jedoch nicht automatisch die Einhaltung sämtlicher geltender gesetzlicher Anforderungen. Der passende Ansatz berücksichtigt die tatsächlichen Pflichten und Risiken der Organisation und liefert Nachweise dafür, dass die Kontrollen in der Praxis wirksam sind.
Ein Governance-Framework sollte ein aktiver Managementprozess sein und nicht nur ein Richtliniendokument, das im Intranet abgelegt ist. KI-Systeme, Anbieter, Geschäftsprozesse und rechtliche Anforderungen können sich ändern. Daher benötigt die Organisation ein Verfahren, um zu erkennen, wann bestehende Kontrollen nicht mehr ausreichen.
Zu den hilfreichen Praktiken gehören:
Legen Sie Überprüfungsintervalle entsprechend den Risiken und betrieblichen Anforderungen fest und führen Sie bei wesentlichen Änderungen oder Vorfällen zusätzliche Prüfungen durch. Wenn Gesetze oder branchenspezifische Regeln konkrete Anforderungen festlegen, haben diese Vorrang vor einem intern gewählten Zeitplan.
