Künstliche Intelligenz: Wie prüft man KI-Systeme?

Herr Komrowski, wo begegnet uns heute schon KI im Alltag?
Lars Komrowski: In ganz vielfältigen Bereichen, die von den meisten Menschen auch täglich genutzt werden. Das beginnt bei der Sprachsteuerung unseres Smartphones oder der Suche mithilfe einer Online-Suchmaschine und reicht bis zu Energiesparkonzepten fürs eigene Heim oder den Fuhrpark eines Unternehmens. Künftig wird KI sogar noch stärker unseren Alltag bestimmen. Denken Sie nur an die Möglichkeiten im Bereich Mobilität, Stichwort: Autonomes Fahren.

Was sich heute aber eher nach Zukunftsmusik anhört…
Lars Komrowski:…durchaus, doch die Tendenz lässt sich nicht leugnen. KI wird immer stärker auch für die Steuerung von Fahrzeugen eingesetzt werden, zum Beispiel in Assistenzsystemen oder zunächst beim teilautonomen Fahren. Auch bei Aufzügen dürfte Künstliche Intelligenz verstärkt Anwendung finden. Generell gesagt: In vielen Bereichen werden KI-Systeme zukünftig Bestandteil von Steuerungen sein und dadurch einen wesentlichen Einfluss auf die Sicherheit von Anlagen haben.

Welche Herausforderungen bringt das aus Sicht des Prüfers mit sich?
Lars Komrowski: KI ist wie jede Technologie fehleranfällig. Außerdem sind die Entscheidungen von KI-Systemen nicht menschenverstehbar. Sie begegnen uns vielmehr als „Black-box-Systeme“. Von daher stellt es eine große Herausforderung für den Prüfer dar, die Sicherheit einer möglicherweise gefährlichen Anwendung zu bewerten. Eine Herausforderung, der wir uns auch als TÜV Hessen zukünftig stellen müssen.

Wie sieht das konkret aus?
Lars Komrowski: Aktuell geschieht die Sicherheitsbewertung bei manchen Anwendungen über Erprobung und Detailanalyse. So etwa bei der eine Million Kilometer langen Testfahrt eines teilautonomen Fahrzeuges unter definierten Bedingungen. In weniger gefährlichen Bereichen aber wird derzeit auf eine Bewertung der Sicherheit weitestgehend verzichtet. Etwa bei der Online-Suche, wo dem User lediglich eine Handlungsempfehlung gegeben oder ein Vorschlag gemacht wird.

Und bei potentiell gefährlichen Anwendungen?
Lars Komrowski: Dort ist ein sicherer Einsatz nur möglich, wenn der Nutzer noch das letzte Wort hat. Wir sprechen in diesem Zusammenhang von „human in the loop“. Dabei fragt die Anwendung den Nutzer, ob er der KI-Empfehlung auch wirklich folgen will.

Beim Autonomen Fahren aber wird das System keine Zeit haben, den Fahrer bei jedem Überholvorgang um Erlaubnis zu bitten.
Lars Komrowski: Richtig. Bei zeitkritischen oder sehr komplexen Entscheidungen ist dies nicht alltagstauglich. Diese Problematik wird aber derzeit bei vielen KI-Anwendungen dadurch umgangen, dass die Entscheidung vom Bediener getroffen wird. Oder besser gesagt: Dass die Steuerung und Verantwortung beim Bediener liegen, während die KI lediglich assistiert.

Bei Drohnen im teilautonomen Betrieb ist man da schon einen Schritt weiter. 
Lars Komrowski: Ja, denn es existiert seit Sommer 2020 eine EU-Drohnen-Verordnung zum sicheren Betrieb dieser KI-Systeme. Für den Fall, dass Drohnen eingesetzt werden, ohne dass der Bediener steuert. Der Betrieb ist dann zulässig, wenn eine permanente Überwachung durch den Benutzer gewährleistet ist, inklusive der Notlandefunktion, die bei Bedarf vom Bediener ausgelöst werden kann. Außerdem müssen die Drohnen miteinander kommunizieren können, womit der Positions- und Richtungsabgleich gemeint ist. Die Hersteller müssen die rechtlichen Vorgaben bestimmter Drohnen von unabhängigen Prüfunter-nehmen wie TÜV Hessen prüfen lassen.

Und welche Tendenz zeichnet sich für die Prüfung von vollautonomen KI-Anwendungen ab?
Lars Komrowski: Dort läuft es derzeit auf die sicherheitstechnische Bewertung dieser Anwendungen hinaus, die ja ohne permanente Überwachung durch den Benutzer oder „human in the loop“ auskommen. Zum Teil können auch Kombinationen verschiedener Testverfahren umgesetzt werden, zum Beispiel Erprobung oder Simulation, zudem Systembegrenzungen der KI-Anwendung mit herkömmlichen Mitteln. Darunter ist eine Begrenzung der Fahrzeuggeschwindigkeit auf 6 km/h zu verstehen. Oder auch die Herstellung eines sicheren Betriebs durch herkömmliche zusätzliche Sicherheitseinrichtungen. Zum Beispiel Lasersensoren, die erkennen, wenn sich eine Person nähert und dann die KI-Anwendung abschalten.

Wieso ist es so schwierig, einheitliche Richtlinien für die Prüfung von KI-Systemen festzulegen?
Lars Komrowski: Das liegt daran, dass sie in der Regel selbstlernend sind. Sie verändern sich also permanent, ähnlich einem ständigen Software-Update. Daraus resultieren zwei grundlegende Fragen: In welchen Abständen müssen solche Systeme geprüft werden? Und wie kann grundsätzlich die Sicherheit geprüft werden? Offen gesagt: Bei der Bewertung der Sicherheit von vollautonomen KI-Anwendungen stehen wir noch am Anfang der Entwicklung. Praktikable Lösungen insbesondere für potentiell gefährliche Anwendungen sind nicht vorhanden oder aktuell absehbar – mit Ausnahme der Erprobung, die aber zeit- und kostenaufwendig ist.

Woran hakt es noch?
Lars Komrowski: Daran, dass zwar die technische Entwicklung von KI-Systemen rasant voranschreitet. Im Gegensatz dazu hinkt aber die Schaffung eines rechtlichen Rahmens deutlich hinterher oder ist kaum konkret. Ein Beispiel: In der Maschinenrichtlinie ist geregelt, dass die Maschinensteuerung sicher sein muss. Dies führt aber immer wieder zur Behauptung, dass die Maschinenrichtlinie auch Regelungen zur Steuerung von Maschinen mit KI enthält. Was falsch ist. Wir als TÜV können die Sicherheit von herkömmlichen Steuerungen bewerten, die von KI-Systemen aber nicht. Das liegt auch daran, dass hierfür keine rechtlichen Konkretisierungen, etwa in Form von technischen Regeln oder Normen, vorliegen.

Doch aktuelle Entwicklungen lassen zumindest auf eine mittelfristige Lösung hoffen?
Lars Komrowski: Sie lassen zumindest darauf schließen, dass bald produktspezifische rechtliche Anforderungen zu erwarten sind, zum Beispiel bei Drohnen oder Fahrzeugen. Wahrscheinlich werden die Prüfgesellschaften künftig ein modulares Prüfkonzept anwenden, analog der bestehenden Verfahren bei Ex-Anlagen. Hierbei wird die Gesamtanlage auf Basis von Teilprüfungen untersucht.

Wie werden künftig wohl Druckgeräteanlagen geprüft?
Lars Komrowski: Es werden voraussichtlich verschiedene Spezialisten erforderlich sein, darunter hochqualifizierte interdisziplinäre Experten. Bei Druckgeräten kann dies beispielsweise so aussehen, dass eine Anlage durch den klassischen Sachverständigen und zusätzlich einen KI-Spezialisten geprüft wird.

Vielen Dank für das Gespräch, Herr Komrowski!

(Autor: Matthias Voigt)