ChAmp: Erste empirische Ergebnisse schaffen die Grundlage für ein cyber-humanes Prüfassistenzsystem

Katharina Adamczyk, ZENIT GmbH

Die Prüfung technischer Softwaredokumentationen gehört zu den zentralen Voraussetzungen für den Marktzugang vieler elektronischer Produkte in regulierten Branchen. Gleichzeitig stellt sie Hersteller und Prüfstellen vor erhebliche Herausforderungen. Regulatorische Anforderungen sind häufig allgemein formuliert und müssen auf konkrete technische Systeme übertragen werden. Hersteller müssen diese Anforderungen verstehen, interpretieren, umsetzen und die Umsetzung in einer nachvollziehbaren Dokumentation beschreiben. Prüfstellen wiederum stehen vor der Aufgabe, umfangreiche Dokumentationen zu analysieren, relevante Informationen zu identifizieren und deren Konformität mit den geltenden Vorgaben zu bewerten.

Insbesondere im gesetzlichen Messwesen zeigt sich die Komplexität dieser Aufgabe deutlich. Dokumentationen unterscheiden sich häufig hinsichtlich Terminologie, Struktur, Detaillierungsgrad und technischer Beschreibung. Für Prüfende entsteht dadurch ein erheblicher Aufwand, da die Informationen zunächst in die Logik der jeweiligen Prüfvorgaben übersetzt und mit den regulatorischen Anforderungen in Beziehung gesetzt werden müssen. Dieser Prozess bindet hochqualifizierte Fachkräfte, ist zeitintensiv und ggf. mit zahlreichen Iterationen zwischen Herstellern und Prüforganisationen verbunden.

Vor diesem Hintergrund untersucht das Forschungsprojekt ChAmp („Cyber-humanes Arbeiten in Daten-Ökosystemen am Beispiel maschineller Softwareprüfung“), wie große Sprachmodelle und weitere KI-Verfahren dazu beitragen können, Dokumentations- und Prüfprozesse wirksam zu unterstützen. Im Mittelpunkt steht die Entwicklung eines datenschutzkonformen Assistenzsystems, das Hersteller und Prüfstellen bei der Erstellung, Analyse und Bewertung technischer Softwaredokumentationen unterstützt.

Ein wichtiger Meilenstein des Projekts konnte nun erreicht werden. Im Rahmen der ersten Projektphase wurden Interviews mit Expertinnen und Experten des Messgeräteherstellers Sartorius Lab Instruments GmbH & Co. KG sowie der Physikalisch-Technischen Bundesanstalt (PTB) durchgeführt. Die Gesprächspartner brachten Erfahrungen aus den Bereichen Softwareentwicklung, Metrologie, Zulassung, Dokumentation und Konformitätsbewertung ein.

Ziel der Untersuchung war es, die Anforderungen an ein zukünftiges Assistenzsystem aus den unterschiedlichen Perspektiven der beteiligten Akteure systematisch zu erfassen. Die Interviews wurden ausgewertet und in funktionsorientierte Anforderungskataloge überführt. Damit liegt erstmals eine empirisch fundierte Beschreibung der Anforderungen von Herstellern und Prüforganisationen an ein gemeinsames KI-gestütztes Assistenzsystem vor.

Die Ergebnisse zeigen, dass sich die Herausforderungen beider Seiten zwar aus unterschiedlichen Rollen im Zulassungsprozess ergeben, jedoch zahlreiche inhaltliche Überschneidungen aufweisen.

Aus Sicht der Hersteller beginnen die Herausforderungen bereits lange vor der eigentlichen Dokumentation. Regulatorische Vorgaben beschreiben Anforderungen oftmals abstrakt und lassen Spielräume bei ihrer technischen Umsetzung. Die Interpretation dieser Vorgaben erfordert umfangreiches Fachwissen und führt nicht selten zu Unsicherheiten hinsichtlich der regulatorischen Bewertung technischer Lösungsansätze.

Die Interviews zeigen, dass Hersteller insbesondere Unterstützung bei der Einordnung regulatorischer Anforderungen wünschen. Ein zukünftiges Assistenzsystem soll helfen, die Bedeutung von Vorgaben im jeweiligen Produktkontext verständlich zu machen und mögliche Interpretationsspielräume transparent darzustellen. Darüber hinaus besteht Bedarf an einer frühzeitigen Bewertung technischer Lösungsansätze sowie an Hilfestellungen bei der Produktklassifizierung und der Einordnung regulatorischer Risiken.

Ein weiterer Schwerpunkt liegt auf der Erstellung technischer Dokumentationen. Die Befragten sehen großes Potenzial in Funktionen, die eine strukturierte und an regulatorischen Anforderungen orientierte Dokumentationslogik unterstützen. Besonders wichtig sind dabei Mechanismen zur Überprüfung von Vollständigkeit, Konsistenz und Nachvollziehbarkeit. Nach Aussagen der Interviewpartner zählen fehlende Informationen, widersprüchliche Angaben und unklare Referenzen zu den häufigsten Ursachen für Rückfragen und zusätzlichen Abstimmungsaufwand im Zulassungsprozess.

Die Interviews mit den Softwareprüferinnen und -prüfern der Physikalisch-Technischen Bundesanstalt (PTB) verdeutlichen eine andere, aber eng verwandte Perspektive. Für Prüfende besteht die Herausforderung vor allem darin, relevante Informationen aus umfangreichen und heterogenen Dokumentationspaketen effizient zu identifizieren, zusammenzuführen und zu bewerten.

Dokumentationen enthalten häufig Informationen, die sich über mehrere Dokumente, Kapitel und Versionen verteilen. Hinzu kommen herstellerspezifische Begrifflichkeiten und unterschiedliche Beschreibungslogiken. Ein Assistenzsystem soll daher zunächst dabei unterstützen, ein konsistentes Verständnis des zu prüfenden Systems aufzubauen und prüfrelevante Inhalte von weniger relevanten Informationen zu unterscheiden.

Besonders hohen Nutzen sehen die Interviewpartner in Funktionen zur semantischen Analyse und intelligenten Fundstellensuche. Das Assistenzsystem soll relevante Textstellen identifizieren, regulatorischen Anforderungen zuordnen und Zusammenhänge über Dokumentgrenzen hinweg sichtbar machen. Gleichzeitig muss jederzeit nachvollziehbar bleiben, auf welche Quelle sich eine Aussage stützt. Die Rückverfolgbarkeit bis zum ursprünglichen Dokument wird von den Prüfenden als unverzichtbare Voraussetzung für die praktische Nutzbarkeit eines solchen Systems betrachtet.

Darüber hinaus wünschen sich die Befragten Unterstützung bei der Analyse von Dokumentversionen, der Nachverfolgung von Änderungen sowie der Übertragung bereits erarbeiteter Prüfergebnisse auf neue Dokumentationsstände.

Eine der wichtigsten Erkenntnisse der bisherigen Projektarbeit ist die hohe Übereinstimmung zwischen den Anforderungen von Herstellern und Prüforganisationen. Beide Seiten sehen erhebliche Potenziale in einer besseren Strukturierung von Informationen, einer nachvollziehbaren Verknüpfung von Anforderungen und Nachweisen sowie einer verbesserten Auffindbarkeit relevanter Inhalte.

Sowohl Hersteller als auch Prüfende betrachten die Qualität der Dokumentation als entscheidenden Erfolgsfaktor für effiziente Zulassungs- und Prüfprozesse. Viele der identifizierten Herausforderungen resultieren aus verstreuten Informationen, uneinheitlicher Terminologie, fehlenden Verknüpfungen und mangelnder Transparenz über Zusammenhänge zwischen Anforderungen, technischen Lösungen und Nachweisen.

Die Ergebnisse legen nahe, dass ein gemeinsames Assistenzsystem insbesondere dort einen Mehrwert schaffen kann, wo Informationen strukturiert aufbereitet, Zusammenhänge sichtbar gemacht und Wissensbestände systematisch erschlossen werden.

ChAmp verfolgt bewusst einen Ansatz, der über die reine Entwicklung technischer KI-Lösungen hinausgeht. Im Mittelpunkt steht die Gestaltung eines cyber-humanen Arbeitssystems, in dem Mensch und KI auf sinnvolle Weise zusammenarbeiten.

Die Interviews verdeutlichen, dass weder Hersteller noch Prüfende eine vollständige Automatisierung regulatorischer Entscheidungen erwarten oder anstreben. Vielmehr wird das Assistenzsystem als unterstützendes Werkzeug verstanden, das Fachkräfte bei komplexen Wissens-, Analyse- und Dokumentationsaufgaben entlastet.

Dementsprechend spielen Transparenz, Nachvollziehbarkeit und Quellenoffenlegung eine zentrale Rolle. Empfehlungen und Bewertungen des Systems müssen nachvollziehbar begründet werden. Unsicherheiten sollen sichtbar gemacht und nicht verborgen werden. Die Verantwortung für regulatorische Entscheidungen verbleibt ausdrücklich bei den beteiligten Expertinnen und Experten.

Parallel zur technischen Entwicklung untersucht das Projekt daher auch Fragen der Arbeitsgestaltung, Softwareergonomie und Personalentwicklung. Ziel ist es, Konzepte zu entwickeln, die eine nachhaltige und akzeptierte Integration KI-gestützter Assistenzsysteme in bestehende Arbeitsprozesse ermöglichen.

Die vorliegenden Anforderungskataloge bilden die Grundlage für die nächste Projektphase. Aufbauend auf den empirischen Ergebnissen wird derzeit ein prototypisches Assistenzsystem konzipiert. Dabei werden unterschiedliche Sprachmodelle sowie Verfahren zur semantischen Suche, Klassifikation und Informationsverknüpfung untersucht und hinsichtlich ihrer Eignung für regulatorische Prüfprozesse bewertet.

Das System soll auf lokal betriebenen Modellen basieren und den Anforderungen an Datenschutz, Vertraulichkeit und Nachvollziehbarkeit gerecht werden. Entwickelt wird es im Kontext eines entstehenden Datenökosystems, das den organisationsübergreifenden Austausch und die gemeinsame Nutzung relevanter Informationen zwischen Hersteller und Prüforganisation ermöglicht.

Obwohl das Assistenzsystem am Beispiel der Softwareprüfung von Messgeräten entwickelt wird, reichen die Erkenntnisse weit über diesen Anwendungsbereich hinaus. Viele der identifizierten Herausforderungen finden sich auch in anderen regulatorischen Kontexten wieder, in denen umfangreiche Dokumentationen erstellt, geprüft und bewertet werden müssen.

Die im Projekt entwickelten Konzepte besitzen daher Potenzial für einen branchenübergreifenden Transfer, beispielsweise in den Bereichen Produktsicherheit, Datenschutz, Nachhaltigkeitsberichterstattung, Lieferkettennachweise oder künftige Nachweis- und Prüfpflichten im Umfeld der europäischen KI-Regulierung.

Mit den nun vorliegenden empirischen Ergebnissen ist ein wichtiger Grundstein für die weitere Projektarbeit gelegt. Die systematische Zusammenführung von Hersteller- und Prüferperspektive schafft die Basis für die Entwicklung eines Assistenzsystems, das technologische Innovation mit den Anforderungen transparenter, nachvollziehbarer und menschengerechter Arbeitsprozesse verbindet. Damit leistet ChAmp einen Beitrag zur Gestaltung zukünftiger cyber-humaner Arbeitssysteme in regulierten Daten- und Wissensökosystemen.