Das europäische KI-Gesetz AI Act

Anforderungen an Testdaten und Testing

Seit dem 1. August 2024 gilt der EU AI Act – das weltweit erste Gesetz zum Umgang mit künstlicher Intelligenz - auf staatsübergreifender Ebene. Dieses Gesetz hat das Ziel, Vertrauen in KI-Systeme zu schaffen, Unternehmen klare Regeln für die Entwicklung und Nutzung zu geben und gleichzeitig die Gesellschaft vor potenziellen Risiken zu schützen. Es schafft eine wichtige Grundlage für die sichere Nutzung und Weiterentwicklung von KI-Systemen.

Das Gesetz folgt einem risikobasierten Ansatz und unterscheidet vier Risikostufen:

• Inakzeptable Risiken: KI-Systeme, die Sicherheit, Rechte oder Lebensgrundlagen bedrohen (z. B. Social Scoring), sind verboten. Dies umfasst Technologien, die potenziell diskriminierend oder schädlich eingesetzt werden könnten.
• Hohes Risiko: KI-Systeme, die in sensiblen Bereichen wie dem Gesundheitswesen oder der Strafverfolgung eingesetzt werden, unterliegen strengen Vorschriften. Beispiele sind medizinische Diagnose-Tools oder Gesichtserkennungssysteme in öffentlichen Räumen.
• Begrenztes Risiko: Systeme mit moderatem Risiko (z. B. Chatbots) erfordern Transparenz. Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren.
• Minimales oder kein Risiko: Systeme wie KI in Videospielen haben geringe oder keine Anforderungen, da sie keinen Einfluss auf sensible Bereiche oder Rechte haben.

Für wen gilt das KI-Gesetz?

Obwohl der AI Act ein EU-Gesetz ist, betrifft er auch die Schweiz. Besonders relevant ist dies für:

• Unternehmen: Beispielsweise Schweizer Firmen, die KI-Dienste in der EU anbieten oder nutzen, wie Softwareentwickler und Technologieanbieter.
• Dienstleister: Organisationen, die KI-basierte Dienste betreiben, etwa in der Finanz- oder Gesundheitsbranche.
• Behörden: Institutionen, die KI-Systeme zur Effizienzsteigerung oder Entscheidungsunterstützung einsetzen.
• Händler und Importeure: Firmen, die KI-Systeme aus der EU beziehen und in der Schweiz vertreiben.
• Entwickler von KI-Tools: Dazu gehören auch jene, die KI-Modelle an spezifische Anwendungsfälle anpassen. Schweizer Unternehmen, die KI-Dienste in der EU anbieten oder KI-Systeme aus der EU nutzen, müssen die Vorgaben einhalten.

Was bedeutet das fürs Testing

Natürlich haben wir uns gefragt, was der EU AI Act für die Softwarequalitätssicherung und das Testing bedeutet. Wir haben die wichtigsten Punkte in diesem Blog zusammengetragen.

Insbesondere für Hochrisikosysteme gelten klare Vorschriften, welche sich direkt auf das Testing auswirken und nun gesetzlich vorgeschrieben sind. Dies bedeutet, dass spezifische Tests durchgeführt werden müssen, um sicherzustellen, dass alle rechtlichen Anforderungen erfüllt sind. Dazu gehört die Validierung von Funktionalitäten, die Identifizierung und Minimierung von Risiken sowie die Dokumentation aller Testergebnisse zur Konformitätsbewertung.

Testing als essentieller Bestandteil des Entwicklungsprozesses

Es muss nachweislich sichergestellt werden, dass sämtliche Anforderungen sinngemäss umgesetzt wurden und im Rahmen eines Risikomanagementsystems getestet und geprüft sind.

Diese Tätigkeit ist als kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus des KI-Systems zu implementieren. Teststrategien müssen explizit dazu beitragen, dass die Zweckbestimmung sichergestellt ist. Testaktivitäten müssen im gesamten Entwicklungsprozess verankert sein.

Testdaten als Teil der Konformitätsbewertung

Trainings-, Validierungs- und Testdaten für KI-Modelle müssen klare Qualitäts- und Governance-Kriterien erfüllen. Dazu gehören:

• Klare Zwecke bei der Datenerhebung, insbesondere bei Personendaten
• Massnahmen zur Vermeidung von Verzerrungen (Bias) und Datenlücken sowie die Nutzung von „Fair-Data“
• Nutzung repräsentativer Testdaten
• Strenge Schutzmassnahmen für personenbezogene Daten

Bei KI-Systemen, die nicht mit Daten trainiert werden, gelten diese Punkte ausschliesslich für die Testdaten.

Die Rolle synthetischer Testdaten

Synthetische Test- und Trainingsdaten spielen eine zentrale Rolle im Schutz personenbezogener Daten und zur Vermeidung von Verzerrungen. Insbesondere bei personenbezogenen Daten fordert das KI-Gesetz die Verwendung synthetischer oder anonymisierter Daten.

Das KI-Gesetz setzt deshalb insbesondere bei personenbezogenen Daten die Nutzung synthetischer oder anonymisierter Daten voraus und definiert gewisse Ausnahmeregeln für die Bearbeitung von realen Personendaten.

KI-Systeme produzieren oft grosse Mengen synthetischer Daten, die schwer von echten zu unterscheiden sind. Solche Daten müssen eindeutig deklariert werden.

Sicherstellung des Qualitätsmanagements

Die Einrichtung eines Qualitätsmanagement-Systems ist eine zwingende Voraussetzung für die Anbieter. Es wird eine technische Dokumentation vorausgesetzt, die unter anderen Aspekten folgende Punkte umfassen sollte:

• Eine detaillierte Beschreibung der eingesetzten Testmethoden
• Die Dokumentation aller Testergebnisse sowie deren Interpretation
• Nachweise zur Risikobewertung und deren Behandlung
• Massahmen zur Gewährleistung der Datenintegrität und Fairness
• Angaben zu Testumgebungen und genutzten Datensets

Diese Elemente helfen dabei, die gesetzlichen Anforderungen zu erfüllen und die Transparenz des gesamten Prozesses sicherzustellen.

Testing unter Realbedingungen

Das KI-Gesetz nutzt die Begrifflichkeit von Tests unter Realbedingungen, welche zusätzliche Verpflichtungen mit sich bringen. Es ist deshalb wichtig zu erkennen, wann von einem solchen Test auszugehen ist. Merkmale dafür sind:

• Der Test simuliert reale Nutzungsszenarien oder wird in der Produktionsumgebung durchgeführt
• Die verwendeten Daten sind repräsentativ für die Realität und tatsächliche Anwendung des KI-Systems

Für Hochrisiko-KI-Systeme gelten für Testaktivitäten unter Realbedingungen ausserhalb von KI-Reallaboren eine Vielzahl von Auflagen. Die wichtigsten zusammengefasst:

• Es existiert ein Plan für solche Testaktivitäten
• Der vorgelegte Plan wurde vom entsprechenden Mitgliedstaat (stillschweigend) genehmigt
• Die Tests sind bei der EU registriert
• Es besteht eine EU-Niederlassung bzw. ein gesetzlicher Vertreter in der EU
• Übermittlung von Daten entspricht den Schutzvorkehrungen gemäss Unionsrecht
• Die Tests sind zeitlich auf deren Notwendigkeit limitiert
• Schutzbedürftige Personen sind angemessen geschützt
• Personendaten dürfen nur mit Einwilligung bearbeitet werden und werden nach dem Test gelöscht
• Die Testdurchführung wird durch spezialisierte Personen überwacht
• Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können rückgängig gemacht werden

KI-Testing Kompetenzen aufbauen

Möchtest du mehr über das Testing von KI-Systemen erfahren? Unsere Trainings und Beratungsangebote helfen dir dabei, gesetzliche Anforderungen sicher umzusetzen.

‍

‍

‍