Mit einer medizinischen Zweckbestimmung unterliegen Systeme der künstlichen Intelligenz (KI-Systeme) in der Medizin genauso wie klassische Software der Regulierung durch die Europäischen Verordnungen 2017/745 über Medizinprodukte (MDR) und 2017/746 über In-vitro-Diagnostika (IVDR). Weiterhin ist in Bezug auf den Lebenszyklus von medizinische KI-Systemen die Anwendung von regulatorischen Prozessen gemäß den etablierten Normen für die Medizintechnik zu empfehlen. In diesem Blog-Beitrag wollen wir genauer betrachten, welche weiteren Anforderungen für diese Produkte gegenwärtig gelten und wo Hersteller Hilfestellungen bei der Einhaltung der Vorschriften finden können. Der Fokus liegt hierbei auf Medizinprodukte im Geltungsbereich der MDR.
Gegenwärtige gesetzliche und normative Anforderungen
Wie bei jeder Software, ist auch bei medizinischen KI-Systemen zunächst zu klären, ob es sich um ein Medizinprodukt im Sinne der MDR handelt. Diese sog. „Qualifizierung als Medizinprodukt“ erfolgt in Bezug auf die Zweckbestimmung des jeweiligen medizinischen KI-Systems nach den Kriterien, wie sie in dem Dokument MDCG 2019-11 beschrieben werden. Der zweite Schritt ist die Risikoklassifizierung, die ebenfalls gemäß der Vorgehensweise im Dokument MDCG 2019-11 erfolgt. In Bezug auf Software ist hier insbesondere die Anwendung der Regel 11 im Anhang VIII MDR von Belang. Auf der Webseite „Health AI Register“ werden für das Anwendungsfeld „Radiologie“ zahlreiche Beispiele von medizinischen KI-Systemen mit entsprechenden Informationen zur Risikoklassifizierung gemäß MDR und FDA, Zertifikaten sowie Produktspezifikationen aufgelistet.
Spezielle Anforderungen für Software als Medizinprodukt finden sich in der MDR in den Abschnitten 14.2(d), 14.5 sowie 17.1 bis 17.4 von Anhang I Kapitel II und diese sind auch für medizinische KI-Systeme einschlägig. In Bezug auf die regulatorischen Prozesse während des Software-Lebenszyklus wird bei medizinischen KI-Systemen die Norm EN 62304 angewendet. Hierbei ist zu beachten, dass nur diejenigen Teile des Software-Codes, die zur Anwendung des KI-Modells dienen und damit im Medizinprodukt zum Einsatz kommen, sowie das KI-Modell selbst die Anforderungen an den Lebenszyklus von Medizinprodukte-Software der EN 62304 vollständig erfüllen müssen. Verwendete Software-Bibliotheken oder KI-Modelle, die ursprünglich nicht als Medizinprodukte-Software entwickelt wurden, werden als Software unbekannter Herkunft (engl. software of unknown provenance, SOUP) behandelt (Abschnitte 5.3.3, 5.3.4, 5.3.6 c), 6.1 f), 7.1.2 c), 7.1.3, 7.4.1, 7.4.2 und 8.1.2 in EN 62304). Software-Bibliotheken, die zum Datenmanagement, zur KI-Modell-Entwicklung und -Bewertung eingesetzt werden fallen in den Anwendungsbereich des Abschnitts 7.5.6 der EN ISO 13485, d.h. es muss eine Validierung dieser Software-Bibliotheken erfolgen. Bei eigenständiger KI-basierter Software, die nicht Teil eines Medizingerätes ist, wird ergänzend die Norm EN 82304-1 herangezogen. Weder in der MDR noch in den genannten Normen finden sich KI-spezifische Anforderungen in Bezug auf die Sicherheit und Leistungsfähigkeit.
Um Herstellern eine Hilfestellung bzgl. der Frage zu geben, welche KI-spezifischen Inhalte in der technischen Dokumentation des Herstellers enthalten sein sollen, veröffentlichte die Interessengemeinschaft der Benannten Stellen für Medizinprodukte in Deutschland (IG-NB) das Dokument „Questionnaire Artificial Intelligence (AI) in medical devices“. Dieses enthält für den Hersteller zahlreiche Fragen in Bezug auf Verantwortlichkeiten, Kompetenzen, Zweckbestimmung, Software-Anforderungen, Daten-Management, KI-Modell-Entwicklung, Produktentwicklung und Überwachung nach dem Inverkehrbringen. Das Dokument „Good practices for health applications of machine learning: Considerations for manufacturers and regulators” der International Telecommunication Union (ITU) ähnelt sehr dem IGNB-Dokument und kann zur Erläuterung einzelner Anforderungen herangezogen werden. Weiterhin nimmt die IG-NB im Fragenkatalog Stellung zur Zertifizierbarkeit von KI-Systemen und zu Prozessen im Qualitätsmanagement des Herstellers, die von Änderungen durch die Implementierung von KI-Technologien betroffen sein können.
Neben den medizinprodukterechtlichen Anforderungen müssen KI-basierte Medizinprodukte auch die Bestimmungen für Hoch-Risiko-Produkte in der Verordnung (EU) 2024/1689 (Artificial Intelligence Act, AIA) erfüllen. Es sei an dieser Stelle insbesondere auf die Art. 10 und Art. 15 AIA hingewiesen, welche konkrete Anforderungen an das Datenmanagement sowie die Entwicklung und technische Bewertung von KI-Systemen enthalten. Wir haben die entsprechenden Herausforderungen in einem weiteren Blog-Artikel ausführlich diskutiert.
Allen voran die internationalen Normungsorganisationen International Organization for Standardization (ISO) und International Electrotechnical Commission (IEC) sowie auch die Association for the Advancement of Medical Instrumentation (AAMI) und das Institute of Electrical and Electronics Engineers (IEEE) haben Normen in Bezug auf KI-Technologien veröffentlicht. Aktuelle Entwicklungen bei der Normenerstellung können auf der Webseite von ISO/IEC JTC 1/SC 42 eingesehen werden. Auch wenn zum gegenwärtigen Zeitpunkt die meisten Dokumente keine konkreten Produktanforderungen enthalten und sie sich nicht auf Medizinprodukte beziehen, können Hersteller hierin wichtige Information in Hinsicht auf die Erstellung von regulatorischen Prozessen finden.
Datenschutzaspekte
Sofern bei der Entwicklung und Anwendung von KI-Systemen personenbezogene Daten verarbeitet werden, findet die Europäische Datenschutzgrundverordnung (DSGVO) Anwendung. Sie hat auch auf KI-Systeme einen signifikanten Einfluss. Ein paar wichtige Aspekte werden nachfolgend diskutiert. Hersteller und Anwender müssen die in Art. 5 DSGVO genannten Prinzipien zur Datenverarbeitung anwenden. Weiterhin muss der Hersteller schon in der Entwicklungsphase technische und organisatorische Maßnahmen zum Datenschutz umsetzen (Art. 25 DSGVO). Da Art. 22 DSGVO im Wesentlichen die automatisierte Entscheidungsfindung einschließlich Profiling verbietet, müssen Hersteller von autonomen KI-Systemen die im Gesetz geforderten Maßnahmen ergreifen. Für neue Technologien wie KI, die ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen bergen, ist vorsorglich eine Datenschutzfolgenabschätzung erforderlich (Art. 35 (1) DSGVO). Eine ausführliche juristische Auseinandersetzung zum Thema wurde von Schreitmüller veröffentlicht.
CE-Konformitätsbewertung von kontinuierlich-lernenden KI-Systemen
KI-Systeme können sich in ihrem Lebenszyklus durch das erneute Durchlaufen des Lern-Prozesses weiterentwickeln. Dieses sog. kontinuierliche Lernen (engl. continuous learning) ist definiert als “incremental training of an AI system that takes place on an ongoing basis during the operation phase of the AI system life cycle“ (Quelle: ISO/IEC 22989). Dabei kann zwischen determiniertem und nicht-determiniertem kontinuierlichem Lernen unterschieden werden. Die erste Variante wird auch als batch learning bezeichnet, welches definiert wird als „training that leads to the change of a Machine Learning-enabled Medical Device (MLMD) that involves discrete updates based on defined sets of data that take place at distinct points prior to or during the operation phase of the MLMD life cycle” (Quelle: IMDRF). In Bezug auf eine Medizinprodukte-Software kann das determinierte kontinuierliche Lernen z. B. mit Daten aus weiteren Kliniken oder von zusätzlichen Patientengruppen erfolgen.
Der Fachausschuss „Regulatory Affairs“ der VDE-DGBMT hat die Empfehlung "Marktzugang von kontinuierlich-lernenden KI-Systemen in der Medizin" herausgegeben. Hierin wird dargelegt, dass es unter dem derzeitigen Rechtsrahmen der MDR keinen rechtlichen Grund gibt, kontinuierlich-lernende KI-Systeme nicht zu zertifizieren. Entscheidend ist es, dass im Rahmen des determinierten kontinuierlichen Lernens keine Änderung der Zweckbestimmung erfolgt und der Hersteller die entsprechende Vorgehensweise zum Zeitpunkt der Konformitätsbewertung plant und durch die Benannte Stelle begutachten lässt. Deshalb fordert die VDE-DGBMT Empfehlung, den von der FDA vorgeschlagenen Predetermined Change Control Plan (PCCP) im Rahmen einer antizipierenden Konformitätsbewertung auch in Europa zu übernehmen.
Regulatorischer Ansatz BAIM zur Erfüllung der regulatorischen Anforderungen
Der VDE hat den regulatorischen Ansatz „BAIM - Boost AI to Market“ entwickelt, um Hersteller bei der Erfüllung der komplexen gesetzlichen und regulatorischen Anforderungen zu unterstützen. BAIM erweitert im Wesentlichen existierende Prozesse beim Hersteller zu den Themen Software-Lebenszyklus, Risikomanagement, Usability Engineering, klinische Bewertung/Nachbeobachtung und Überwachung nach dem Inverkehrbringen/Vigilanz um KI-spezifische Aspekte.
Fazit
Da sich der technische und regulatorische State-of-the-Art bei medizinischen KI-Systemen fortlaufend ändert, müssen Hersteller die Änderungen überwachen und zeitnah in ihre regulatorischen Prozesse integrieren.
