„KI“ auf dem Prüfstand

Künstliche Intelligenz muss ­verantwortungsvoll entwickelt, vertrauenswürdig und sicher sein. Das Institut für Machine Learning der Johannes Kepler Universität (JKU) Linz entwickelt mit dem TÜV Austria ein Zertifikat, das als ­Qualitätssiegel für vertrauens­würdige KI-Systeme gelten soll.

(Foto: 2018 Andrew Ostrovsky – GettyImages.com)

Unbestritten! Künstliche Intelligenz (KI) wird eine der Schlüsseltechnologien der kommenden Jahre sein. Vereinfacht gesagt, werden bei der KI große Datenmengen dazu benutzt, um Modelle zu trainieren, die dann selbständig Entscheidungen treffen und daraus wieder weiter lernen sollen. Schlechte Daten, falsche Modelle oder Manipulationen wären da fatal. Wenn sie etwa nicht nur die Entscheidungen trifft, welche Maschine gewartet werden soll, sondern Röntgenbilder analysiert oder Kreditentscheidungen trifft und mit Ihnen als Chat-Bot am Telefon plaudert, muss sichergestellt sein, dass die Software der KI korrekt arbeitet und vor Manipulationen geschützt ist.

In Österreich ist Prof. Sepp Hochreiter von der Linzer Johannes Kepler Universität (JKU) bei KI ganz vorn mit dabei. Nach der Einführung eines eigenen KI-Studiums kommt nun der nächste große Wurf mit der KI-Zertifizierung, bei der der TÜV Austria als Prüfpartner fungiert. Hochreiter bezeichnet Machine Learning (ML) als „die derzeit wichtigste Grundlagentechnologie“, die langfristig unser technisches Umfeld und unser ganzes Leben massiv beeinflussen wird. Deshalb ist es ihm und seinem Team wichtig, „mit der Zertifizierung von ML-Anwendungen das Vertrauen der Konsumenten in diese Technologie zu stärken. Daher arbeiten wir gerne daran mit, die notwendigen Qualitätskriterien maßgeblich mitzugestalten.“

Vier Themengebiete

Im Rahmen der Zertifizierung werden deshalb nicht nur die ML-Modelle, sondern auch deren Entwicklungsprozess im Detail überprüft. Neben der Untersuchung der eigentlichen Funktion und der Verlässlichkeit der trainierten Modelle steht auch die Sicherheit der Software und die angemessene Entwicklung entsprechend den Anforderungen des späteren Einsatzgebiets auf dem Prüfstand.

Vier Themengebiete werden bei der Prüfung zur Zertifizierung adressiert:

1. Sicherheit in der Software-Entwicklung: In 21 Prüfkategorien muss der Zertifizierungswerber nachweisen, dass die Software manipulationssicher geschützt ist und in sicheren (Cloud-)Umgebungen eingesetzt wird. Qualität und Integrität der Daten, technische Stabilität, Sicherheitstests bis hin zur Qualifikation der Software-Entwickler sind hier nachzuweisen.

2. Die funktionalen Anforderungen sind das Herzstück des Audits und werden in zwölf Prüfkategorien auf Herz und Nieren geprüft. Das Modell, die Methodik und die verwendeten Daten bis hin zur Erklärbarkeit und Interpretierbarkeit der getroffenen Entscheidungen.

3. Bei den ethischen Anforderungen steht im Vordergrund, dass die Priorität des menschlichen Handelns gewährleistet ist. Die Transparenz, die Kommunikation des KI-Systems und die Vermeidung objektiv ungerechtfertigter Diskriminierung stehen ebenso auf dem Prüfstand wie die Zugänglichkeit (Barrierefreiheit), die Berücksichtigung der Interessenträger und die Minimierung und Meldung negativer Auswirkungen und Verhaltenskodizes, die in weiteren neun Kategorien geprüft werden.

4. 14 Prüfkategorien enthält der Teil Datenschutz, etwa ob der Datenschutz „by design“ oder „by default“ gewährleistet ist. Werden z. B. bei der Erstellung von Personen- profilen die Rechte der betroffenen Perso-nen gewährleistet und wie ist der Umgang mit automatisierten Entscheidungen im Einzel fall?

Wie läuft die Zertifizierung ab?

Im ersten Schritt des Zertifizierungsprozesses erhält der Zertifizierungswerber den Anforderungskatalog mit der Beschreibung der einzelnen Anforderungen aus dem Auditkatalog. Auf dessen Basis werden dann alle Dokumentationen gesammelt bzw. oftmals erst erstellt und geschaut, ob es Nachweise für die Erfüllung der funktionalen Anforderungen in Bezug auf ethische Aspekte, Datenschutz usw. gibt.

Dann folgt das eigentliche Audit, bei dem die Angemessenheit von Prozessbeschreibungen, die Spezifikationen des AI-Modells, die Beschreibung der Datenverarbeitung etc. bewertet werden. In folgenden Interviews mit den Prozessverantwortlichen wird dann überprüft, ob die dokumentierten Prozesse auch umgesetzt sind bzw. angewandt werden. Danach wird eine technische Inspektion auf Basis der funktionalen Anforderungen durchgeführt. Dabei werden die ML-Engineering- Artefakte wie Testberichte, Monitoring-Informationen und Messergebnisse überprüft sowie ob ein Schutz gegen unbefugte Manipulation der Anwendung gegeben ist.

Bei Bedarf kann eine Vertraulichkeitsvereinbarung abgeschlossen werden, damit auch rechtlich klargestellt ist, dass keinerlei Informationen aus dem Unternehmen oder der KI-Anwendung nach außen dringen oder Mitbewerbern zugespielt werden.

Wer kann sich zertifizieren lassen?

Um das Siegel „TÜV Trusted Ai“ by TÜV Austria kann sich das Unternehmen bewerben, das die KI-Anwendung entwickelt. Je nach „Reifegrad“ des Bewerbers dauert die Zertifizierung sechs bis acht Wochen, wenn z. B. alle Dokumentationen bereits vorgelegt werden können. Aus den ersten Zertifizierungsverfahren wissen die Prüfer aber auch, dass es bis zu vier Monate dauern kann, wenn wesentliche Unterlagen erst erstellt werden müssen.
Das „TÜV Trusted Ai“-Siegel dient nicht nur zum Marketing der erstellten KI-Anwendung, sondern enthält auch Aussagen zur Güte und Eignung der Anwendung für den geplanten Einsatzzweck. Nach der Erstausgabe ist die Zertifizierung für drei Jahre gültig und muss dann erneuert werden. Jährlich findet in diesen drei Jahren ein Review statt, nach drei Jahren ist eine Rezertifizierung notwendig. Die „Trusted AI“-Zertifizierung ist aktuell die erste, die es auf dem Markt gibt. JKU und TÜV planen, den möglichen Umfang der AI-Modelle und „Kritikalitätsstufen“ sukzessive zu erweitern. „Wir führen bereits erste Zertifizierungsprojekte durch, wobei sich die Anwendungen vor allem im industriellen Umfeld, aber auch im Consumer-Bereich wiederfinden“, freut sich Stefan Haas, CEO der TÜV Austria Group.

Die Kosten

Neben dem internen Aufwand einer sehr guten Dokumentation der Prozesse, der Methoden, der Maßnahmen etc. ist in Abhängigkeit von der Kritikalität der KI-Anwendung mit Kosten ab 15.000 Euro zu rechnen. Eine KI-Anwendung etwa im medizinischen Bereich wird deutlich kritischer eingestuft als etwa eine, die im Sägewerk den Holzeinsatz optimiert.

GEWINN verwendet Cookies um die Website möglichst benutzerfreundlich zu gestalten und Ihnen damit den bestmöglichen Service zu gewährleisten.
Wenn Sie fortfahren, stimmen Sie der Cookie-Nutzung zu.