KI in Medizinproduktesoftware gemäss EU-MDR & IVDR

Künstliche Intelligenz (KI) oder maschinelles Lernen sind revolutionär, aber auch umstritten. Sie waren bereits in CE-gekennzeichneter Medizinproduktesoftware enthalten, lange bevor das Europäische Gesetz über künstliche Intelligenz (KI-Gesetz, engl. AI Act) veröffentlicht wurde. Als horizontale Gesetzgebung überschneidet sich das KI-Gesetz mit der EU-MDR und IVDR für gewisse Medizinproduktesoftware.
Dieser Artikel untersucht die Auswirkungen des KI-Gesetzes auf Medizinproduktesoftware und geht dabei auch auf die Bereiche ein, in denen noch Unsicherheiten bestehen, bis die Regulierung vollständig anwendbar ist.

Wichtigste Erkenntnisse

• Es gibt keine einfache Antwort darauf, welche Arten von Medizinproduktesoftware (MDSW) unter das KI-Gesetz fallen. Man muss die Mehrdeutigkeit der rechtlichen Definition der Begriffe “KI-System” und KI-Modellen mit allgemeinem Verwendungszweck (“Allzweck-KI”) verstehen.
• Hersteller von MDSW sollten prüfen, wie sich das KI-Gesetz auf ihre Software auswirkt, und zwar auf Grundlage der Einstufung als KI-System oder Allzweck-KI. Verbotene KI-Praktiken müssen erkannt und unterbunden werden.
• Bis der MDCG-Leitfaden zum Zusammenspiel von EU-MDR/IVDR und dem KI-Gesetz vorliegt, sollten Hersteller den gesunden Menschenverstand nutzen und die Anforderungen an KI aus den Anforderungen an MDSW ableiten.

Inhalt

Was ist das KI-Gesetz der EU?

Das EU-Gesetz über künstliche Intelligenz (KI-Gesetz, engl. AI Act), das in der Verordnung (EU) 2024/1689 umgesetzt wird, ist Teil der digitalen Strategie der EU. Diese zielt auf die Entwicklung und Nutzung von sicherer und rechtmässiger KI vor dem Hintergrund der EU-Grundrechte ab.

Das KI-Gesetz folgt den Grundsätzen des Neuen Rechtsrahmens der EU und sieht eine Kennzeichnung von “Hochrisiko-KI-Systemen” und bestimmte Verpflichtungen für “Allzweck-KI” (auch “KI-Modelle mit allgemeinem Verwendungszweck”) vor. Ausgenommen sind Algorithmen für militärische, verteidigungspolitische oder nationale Sicherheitszwecke sowie für wissenschaftliche Forschung und Entwicklung. KI-Systeme, die unter freien und Open-Source-Lizenzen veröffentlicht werden, fallen ebenfalls nicht in den Anwendungsbereich des KI-Gesetzes, sofern sie nicht als “hochriskant” eingestuft werden, verbotene KI-Praktiken beinhalten [Art. 5] oder direkt mit natürlichen Personen interagieren [Art. 50].

Das KI-Gesetz ist eine “horizontale” Gesetzgebung, d.h. sie gilt für alle Sektoren, unter anderem für Medizinprodukte. Sie überschneidet sich daher auch mit der Verordnung (EU) 2017/745 über Medizinprodukte (EU-MDR) und der Verordnung (EU) 2017/746 über In-vitro-Diagnostika (IVDR). Dies führt zu einigen inkonsistenten Anforderungen und Begriffen.

Die Definitionen der Begriffe “KI-System” und “Allzweck-KI” sind für das Verständnis der Auswirkungen auf Medizinproduktesoftware (MDSW) von wesentlicher Bedeutung.

• “KI-System” ist definiert als: “ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie betrieben werden kann und nach seiner Einführung Anpassungsfähigkeit zeigt, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, die physische oder virtuelle Umgebungen beeinflussen können.”
  [Art. 3 Abs. 1 KI-Gesetz]
• “Allzweck-KI” ist definiert als: “ein KI-Modell, auch wenn es mit einer grossen Datenmenge unter Verwendung von Selbstüberwachung in grossem Massstab trainiert wurde, das eine erhebliche Allgemeinheit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen, unabhängig davon, wie das Modell auf den Markt gebracht wird, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, mit Ausnahme von KI-Modellen, die für Forschungs-, Entwicklungs- oder Prototyping-Aktivitäten verwendet werden, bevor sie auf den Markt gebracht werden.”
  [Art. 3 Abs. 63 KI-Gesetz]

Welche Arten von MDSW-Algorithmen fallen unter das KI-Gesetz?

Die einfache Antwort wäre: alle MDSW-Algorithmen, die als KI-Systeme oder Allzweck-KI eingestuft werden. Angesichts der vielschichtigen und teilweise ungenauen rechtlichen Definitionen von KI-System und Allzweck-KI gibt es jedoch keine einfache Antwort.

Laut Erwägungsgrund (12) des KI-Gesetzes “…sollte die Definition auf den Hauptmerkmalen von KI-Systemen beruhen, die sie von einfacheren herkömmlichen Softwaresystemen oder Programmieransätzen unterscheiden”.

Zu diesen Hauptmerkmalen gehören:

• Das System wurde entwickelt, um mit unterschiedlichen Autonomiegraden zu arbeiten. Laut Erwägungsgrund (12) bedeutet dies, dass KI-Systeme bis zu einem gewissen Grad unabhängig von menschlichen Eingriffen agieren. Da “ein gewisser Grad” keine konkrete Grösse ist, bleibt die Charakterisierung von KI-Systemen anhand der Autonomie jedoch schwierig. “Autonomie” deutet auf jeden Fall auf ein KI-System hin, wogegen das “automatische Ausführen von Vorgängen” eher herkömmlichen Algorithmen zugeordnet wird.
• Das System besitzt die Fähigkeit zur Schlussfolgerung. Laut Erwägungsgrund (12) bedeutet dies den Prozess der Generierung von Outputs (z.B. Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen), die physische und virtuelle Umgebungen beeinflussen können. Sowie die Fähigkeit, Modelle und Algorithmen aus Eingaben oder Daten abzuleiten. Zu den Techniken, die Schlussfolgerungen ermöglichen, gehören sowohl Ansätze für maschinelles Lernen als auch logik- und wissensbasierte Ansätze. Dies umfasst auch die Fähigkeit eines KI-Systems, Schlussfolgerungen zu ziehen, die über die grundlegende Datenverarbeitung hinausgeht, indem es Lernen oder Modellieren ermöglicht.
  Diese Beschreibungen sind jedoch sehr allgemein. Um KI-Modelle z.B. von statistischen Inferenzmethoden zu unterscheiden, bräuchte es eine offizielle Interpretation einschliesslich Beispielen.
• Potenzielle Anpassungsfähigkeit. Diese bezieht sich auf selbstlernende Fähigkeiten, die es dem System ermöglichen, sich während der Nutzung zu verändern.
  Nach den Kriterien in Artikel 6(1) ist die Anpassungsfähigkeit jedoch kein definierendes Merkmal, da ein KI-System Anpassungsfähigkeit aufweisen kann oder nicht.

Ein Beispiel: Ein Algorithmus zur Risikoberechnung eines klinischen Zustands anhand von Gesundheitsparametern (d.h. ein Schlussfolgerungsmodell). Dieser Algorithmus wurde auf der Grundlage einer grossen Zahl wissenschaftlicher Veröffentlichungen entwickelt und validiert. Auch wenn dieser Algorithmus ein statisches, vorgegebenes Modell ist, d.h. keine Anpassungsfähigkeit besitzt, könnte er einem KI-System entsprechen, wenn er als mit einem “gewissen Grad” an Autonomie entwickelt angesehen wird.

Was “Allzweck-KI” anbelangt, so wird in Erwägungsgrund (97) des KI-Gesetzes ebenfalls der Begriff anhand seiner wichtigsten funktionellen Merkmale definiert:

• Erhebliche Allgemeinheit
• Fähigkeit zur kompetenten Ausführung eines breiten Spektrums unterschiedlicher Aufgaben.

Auch hier ist die Beschreibung dieser beiden Merkmale für diejenigen, die mit der KI-Terminologie nicht vertraut sind, unzureichend. In Erwägungsgrund (97) wird lediglich erläutert, dass Allzweck-KI in der Regel anhand grosser Datenmengen mit verschiedenen Methoden wie selbstüberwachtem oder verstärktem Lernen trainiert werden. In Erwägungsgrund 98 wird darauf hingewiesen, dass Modelle mit mindestens einer Milliarde Parametern, die mit einer grossen Datenmenge unter Verwendung von Selbstüberwachung in grossem Massstab trainiert wurden, als sehr allgemein und für die kompetente Ausführung eines breiten Spektrums spezieller Aufgaben geeignet angesehen werden sollten. Das Konzept wird in dem At a Glance paper on General Purpose Artificial Intelligence des EU-Parlaments deutlicher. Der Begriff “künstliche allgemeine Intelligenz” (KAI) wird üblicherweise für KAI-Technologien mit generativen Fähigkeiten verwendet, die auf einem breiten Satz unbeschrifteter Daten trainiert wurden und für verschiedene Aufgaben mit minimaler Feinabstimmung verwendet werden können. Ein anderer ähnlicher Begriff ist “Basismodell”.

Mit diesen Informationen ist klar, dass der Umfang der Modellparameter und der Trainingsdaten entscheidender ist als der Umfang des Anwendungszwecks. Für MDSW könnte dies bedeuten, dass ein grosses generatives KI-Modell, das für einen extrem engen medizinischen Diagnosezweck entwickelt wurde, trotzdem als “Allzweck-KI” eingestuft wird.

Die folgende Tabelle fasst die in den Erwägungsgründen des KI-Gesetzes beschriebenen Schlüsselkonzepte zusammen, die von den Herstellern von Medizinproduktesoftware gut verstanden werden müssen.

Wie wirkt sich das KI-Gesetz auf Medizinproduktesoftware (MDSW) aus?

Die Auswirkungen des KI-Gesetzes auf MDSW hängen davon ab, ob der Algorithmus als KI-System oder Allzweck-KI eingestuft wird, und um welche Art KI-System bzw. Allzweck-KI es sich handelt. Weiter stellt sich die Frage, ob es bei MDSW KI-Praktiken gibt, die nach KI-Gesetz Artikel 5 verboten sind.

MDSW als KI-Systeme

MDSW, die als “Hochrisiko-KI-Systeme” eingestuft werden, unterliegen einer doppelten CE-Kennzeichnung, sowohl nach dem KI-Gesetz als auch nach der EU-MDR oder IVDR. Der Zertifizierungsprozess soll aber ein gemeinsamer sein, d.h. er kann gleichzeitig von derselben Benannten Stelle durchgeführt werden.

In Anhang I des KI-Gesetzes sind harmonisierte EU-Rechtsvorschriften aufgeführt, die bestimmte Produkte betreffen, wozu auch Medizinprodukte unter der EU-MDR und IVDR gehören. Ein KI-System gilt als hochriskant, wenn es ein solches Produkt oder ein Sicherheitsbauteil davon ist und dieses gleichzeitig einer Konformitätsbewertung durch Dritte unterliegt (im Falle einer MDSW durch eine Benannte Stelle gemäss EU-MDR oder IVDR) [Art. 6 Abs. 1 KI-Gesetz].

Um festzustellen, ob ein KI-Algorithmus in MDSW als Hochrisiko-KI-System einzustufen ist, ist die Definition von “Sicherheitsbauteil” wichtig. Ein Sicherheitsbauteil:

“ist ein Bauteil eines Produkts oder eines KI-Systems, das eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Fehlfunktion die Gesundheit und Sicherheit von Personen oder Sachen gefährdet. [Art. 3 Abs. 14 KI-Gesetz]

Das Konzept des Sicherheitsbauteils im KI-Gesetz gleicht dem der “Teile und Komponenten” in der EU-MDR und IVDR [Art. 23 Abs. 2 EU-MDR und Art. 20 Abs. 2 IVDR].

In Anbetracht von Artikel 6 des KI-Gesetzes kann daher der Schluss gezogen werden, dass folgende Systeme als “Hochrisiko-KI-Systeme” betrachtet werden:

• KI-gestützte MDSW, die höher als Medizinprodukte der Klasse I bzw. höher als  In-vitro-Diagnostika der Klasse A eingestuft wird,
• KI-Algorithmen mit Auswirkungen auf die Sicherheit/Leistung innerhalb eines MDSW, das höher als Klasse I bzw. Klasse A eingestuft ist.

Wer die in Anhang III des KI-Gesetzes aufgeführten Hochrisiko-KI-Systeme betrachtet, findet weitere Fälle, die auf MDSW zutreffen könnten, insbesondere auf MDSW der Klasse I, die nicht die Kriterien in Art. 6 Abs. 1 erfüllen:

• KI-Systeme, die im Namen von Behörden verwendet werden, um die Berechtigung natürlicher Personen für wesentliche öffentliche Unterstützungsleistungen, wie Gesundheitsdienstleistungen, zu bewerten sowie solche Leistungen zu gewähren, zu kürzen, etc.  [Anhang III, Abschnitt 5(a)]
• Dies könnte bei Algorithmen der Fall sein, die die klinische Eignung für kostspielige oder seltene chirurgische Behandlungen (z.B. Transplantationen) bewerten.
• KI-Systeme, die Notrufe von natürlichen Personen bewerten und klassifizieren, oder die Prioritäten bei der Entsendung von Notfalldiensten, einschliesslich medizinischer Hilfe, festlegen, sowie Notfall-Patiententriage-Systeme. [Anhang III, Abschnitt 5(d)]

Schliesslich benötigen MDSW, die einem KI-System entsprechen, aber als “nicht Hochrisiko” eingestuft werden, zwar gemäss KI-Gesetz keine CE-Kennzeichnung, sind aber trotzdem nicht völlig frei von Anforderungen. Weitere Einzelheiten finden Sie im Abschnitt Welche Anforderungen gelten für MDSW gemäss KI-Gesetz?

Allzweck-KI in MDSW

Bei der Feststellung, ob ein MDSW-Algorithmus einer Allzweck-KI entspricht, ist es wichtig, die Kriterien “erhebliche allgemeine Verwendbarkeit” und “breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen” in der Definition von Allzweck-KI richtig zu interpretieren.

Allzweck-KI bezieht sich auf KI-Technologien mit generativen Fähigkeiten, die auf einem breiten Satz unbeschrifteter Daten trainiert wurden und mit minimaler Feinabstimmung für verschiedene Aufgaben eingesetzt werden können. Typische Allzweck-KI sind grosse generative KI-Modelle wie Bilderkennung z.B. ResNet, grosse Sprachmodelle wie GPT-4 oder Video- und Audiogenerierungswerkzeuge. Für MDSW sind solche Allzweck-KI besonders nützlich. Sie sind daher bereits als Grundlage in zahlreichen MDSW integriert. Der MDSW-Hersteller muss in der Lage sein, solche Allzweck-KI bei Fremdsoftware, z.B. einem Chatbot, zu identifizieren.

Allzweck-KI werden wiederum anhand ihrer “systemischen Risiken” klassifiziert, und zwar nach den folgenden Kriterien [Art. 51 KI-Gesetz]:

• Fähigkeiten mit hohem Wirkungsgrad. Dies wird einer Allzweck-KI zugesprochen, die mit einer kumulierten Menge verwendeter Berechnungen von mehr als 10²⁵ FLOPs (Gleitkommaoperationen) trainiert wurde.
• Fähigkeiten mit gleichwertigem Wirkungungsgrad. “Gleichwertig” im Vergleich mit Allzweck-KI mit hohem Wirkungsgrad. Dies wird von der EU-Kommission auf der Grundlage der Kriterien in Anhang XIII des KI-Gesetzes entschieden.

Kurz gesagt gelten Allzweck-KI als “systemisch riskant”, wenn sie sehr leistungsfähig und weit verbreitet sind (d.h. derzeit mindestens 10.000 registrierte geschäftliche Nutzer auf dem Unionsmarkt) und beispielsweise viele Nutzer beeinträchtigen könnten, wenn sie schädliche Verzerrungen in vielen Anwendungen verbreiten.

Die EU-Kommission kann delegierte Rechtsakte erlassen, um die Schwellenwerte für die Einstufung von Allzweck-KI als “systemisch riskant” zu ändern.

Laut Erwägungsgrund (97) des KI-Gesetzes, können Allzweck-KI über Bibliotheken, Schnittstellen (APIs), als direkter Download oder auf andere Weise auf den Markt gebracht werden. Die Allzweck-KI können dann vom Anbieter des KI-Systems weiter modifiziert (z.B. durch Hinzufügen einer Benutzeroberfläche) oder weiterentwickelt werden. Da Allzweck-KI eine wesentliche Komponente von KI-gestützter MDSW sind, werden die entsprechenden Allzweck-KI-Anbieter zu kritischen Lieferanten des MDSW-Herstellers, was regulatorische Fragen über die Durchführbarkeit einer solchen Beziehung aufwirft.

KI-gestützte MDSW dürfen keine der in Artikel 5 aufgeführten verbotenen Praktiken beinhalten.

Verbotene KI-Praktiken

KI-gestützte MDSW darf keine der in Artikel 5 des KI-Gesetzes aufgeführten verbotenen Praktiken enthalten. Diese werden als potenzielle Bedrohung für die Grundrechte und -werte der EU angesehen, da sie mit einem erheblichen Potenzial für Manipulation, Ausbeutung und soziale Kontrolle verbunden sind. Der MDSW-Hersteller muss die verbotenen KI-Praktiken ausschliessen.

Die verbotenen KI-Praktiken sind:

• Unterschwellige Techniken oder absichtlich manipulative/trügerische Techniken, die die Fähigkeit, eine informierte Entscheidung zu treffen, beeinträchtigen und damit erheblichen Schaden verursachen.
• Techniken, die die Verletzlichkeit einer Person oder einer bestimmten Personengruppe ausnutzen (z.B. bestimmtes Alter, Behinderung, sozialer/wirtschaftlicher Status), um deren Verhalten zu verzerren und damit erheblichen Schaden zu verursachen.
• Erstellung eines Sozialpunktsystems auf der Grundlage von sozialem Verhalten oder persönlichen Merkmalen, wenn ein solches System zu einer nachteiligen Behandlung einer Person oder Personengruppe in nicht verwandten sozialen Kontexten führt.
• Profilerstellungstechniken zur Vorhersage des Risikos, dass eine Person eine Straftat begeht.
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungskameras, um Gesichtserkennungsdatenbanken zu erstellen oder erweitern.
• Rückschlüsse auf Emotionen am Arbeitsplatz und in Bildungseinrichtungen, ausser aus medizinischen oder Sicherheitsgründen.
• Biometrische Kategorisierungssysteme, die Rückschlüsse auf Ethnie, politische Meinung, die Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Sexualleben oder sexuelle Orientierung zulassen (es sei denn, sie werden rechtmässig zu Strafverfolgungszwecken erworben).

Biometrische Fernidentifikationssysteme in Echtzeit in öffentlich zugänglichen Räumen zum Zweck der Strafverfolgung, mit einigen Ausnahmen und Bedingungen.

Welche Anforderungen gelten für MDSW gemäss KI-Gesetz?

Die Anforderungen an KI-gestützte MDSW gemäss KI-Gesetz hängen von der Einstufung der spezifischen KI-Algorithmen ab:

• “Hochrisiko”-KI-System,
• “nicht Hochrisiko”-KI-System,
• Allzweck-KI mit “systemischem Risiko”,
• Allzweck-KI “ohne systemisches Risiko”.

Anbieter von Hochrisiko-KI-Systemen müssen unter Berücksichtigung der Zweckbestimmung und des allgemein anerkannten Stands der Technik folgende Anforderungen erfüllen:

• Risikomanagementsystem [Art. 9]
• Daten und Daten-Governance [Art. 10]
• Technische Dokumentation [Art. 11]
• Aufzeichnungspflichten [Art. 12]
• Transparenz und Bereitstellung von Informationen für die Betreiber [Art. 13]
• Menschliche Aufsicht [Art. 14]
• Genauigkeit, Robustheit und Cybersicherheit [Art. 15]
• Qualitätsmanagementsystem [Art. 17]
• Aufbewahrung der Dokumentation. Dokumentation der CE-Kennzeichnung [Art. 18] und automatisch erstellte Protokolle [Art. 19]
• Korrekturmassnahmen und Informationspflicht [Art. 20]
• Zusammenarbeit mit den zuständigen Behörden [Art. 21]
• Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme [Art. 27]
• Konformitätsbewertung [Art. 43]. Der Weg der Konformitätsbewertung basiert auf:
  • entweder interne Kontrollen (d.h. Selbstdeklaration) für MDSW, die gemäss EU-MDR/IVDR nicht der Aufsicht einer Benannten Stelle unterliegen und die den Hochrisiko-KI-Systemen in Anhang III des KI-Gesetzes entsprechen, 
  • oder Zertifizierung durch eine Benannte Stelle für MDSW, die bereits der Aufsicht durch eine Benannte Stelle nach der EU-MDR/IVDR unterliegen. Die Benannte Stelle führt die Zertifizierung gemäss EU-MDR oder IVDR durch, wobei sie zusätzliche Anforderungen aus dem KI-Gesetz übernimmt, nämlich: Punkte 4.3, 4.4, 4.5 und Punkt 4.6 Absatz 5 des Anhangs VII sowie Abschnitt 2, Kapitel III.
• Für Hochrisiko-KI-Systeme in Anhang III, die MDSW entsprechen, die nicht der Aufsicht durch eine Benannte Stelle unterliegen: Registrierung in der in Kapitel VIII beschriebenen EU-Datenbank [Art. 49 Abs. 1]
• PMS-Überwachung [Art. 72]
• Meldung schwerwiegender Vorkommnisse [Art. 73.] Im Falle von MDSW betrifft dies nur den Verstoss gegen die EU-Rechtsvorschriften zum Schutz der Grundrechte [Art. 3 Abs. 49 lit. c].

Es wird erwartet, dass viele der Anforderungen zusammen mit denen für die CE-Kennzeichnung von MDSW gemäss der EU-MDR/IVDR erfüllt werden. Die spezifischen Anforderungen der KI-Gesetzgebung können die gemeinsame Konformitätsbewertung verkomplizieren.

Hersteller von KI-gestützter MDSW müssen eine Lückenanalyse der zusätzlich benötigten Elemente durchführen und feststellen, ob es sinnvoll ist, die Konformitätsnachweise in einer einzigen technischen Dokumentation zusammenzufassen.

Es wird erwartet, dass viele der Anforderungen zusammen mit den Anforderungen für die CE-Kennzeichnung von MDSW gemäss EU-MDR oder IVDR erfüllt werden.

Für Anbieter von KI-Systemen, die kein hohes Risiko bergen, gelten deutlich geringere Anforderungen:

• Sie müssen sicherstellen, dass das KI-System vertrauenswürdig ist, indem sie eigene freiwillige Verhaltenskodizes entwickeln oder sich an die von anderen repräsentativen Verbänden verabschiedeten Verhaltenskodizes halten.
• Transparenzpflichten für KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind [Art. 50].
• Eintragung in die in Kapitel VIII beschriebene EU-Datenbank [Art. 49 Abs. 2].

Anbieter von Allzweck-KI mit systemischem Risiko müssen die folgenden Verpflichtungen erfüllen:

• Erstellung und Pflege einer technischen Dokumentation gemäss Anhang XI, die dem EU KI-Büro und den nationalen zuständigen Behörden zur Verfügung gestellt werden muss [Art. 53 Abs. 1 lit. a].
• Offenlegung der Dokumentation für Anbieter von KI-Systemen, die die Allzweck-KI integrieren [Art. 53 Abs. 1 lit. b].
• Festlegung einer Politik zur Einhaltung des Unionsrechts im Bereich des Urheberrechts und der verwandten Schutzrechte [Art. 53 Abs. 1 lit. c].
• Zusammenstellung und Veröffentlichung einer hinreichend detaillierten Zusammenfassung der für das Training der Allzweck-KI verwendeten Inhalte [Art. 53 Abs. 1 lit. d]. Das EU KI-Büro stellt eine Vorlage für diese Zusammenfassung zur Verfügung.
• Durchführung der Modellbewertung, einschliesslich kontradiktorischer Tests [Art. 55 Abs. 1 lit. a].
• Bewertung und Abschwächung möglicher systemischer Risiken [Art. 55 Abs. 1 lit. b].
• Verfolgung, Dokumentation und Meldung schwerwiegender Vorkommnisse und möglicher Abhilfemassnahmen an das KI-Büro und die zuständigen nationalen Behörden [Art. 55 Abs. 1 lit. c].
• Gewährleistung eines angemessenen Schutzes der Cybersicherheit [Art. 55 Abs. 1 lit. d].

Und Anbieter von Allzweck-KI “ohne systemisches Risiko” unterliegen den folgenden Anforderungen:

• Erstellung und Pflege einer technischen Dokumentation gemäss Anhang XI, die dem EU KI- Büro und den nationalen zuständigen Behörden zur Verfügung zu stellen ist [Art. 53 Abs. 1 lit. a].
• Offenlegung der Dokumentation für Anbieter von KI-Systemen mit integrierter Allzweck-KI [Art. 53 Abs. 1 lit. b].
• Festlegung von Richtlinien zur Einhaltung des Unionsrechts im Bereich Urheberrecht und verwandte Schutzrechte [Art. 53 Abs. 1 lit. c].
• Zusammenstellung und Veröffentlichung einer hinreichend detaillierten Zusammenfassung der Inhalte, die für die Schulung der Allzweck-KI verwendet wurden. Das EU KI-Büro stellt eine Vorlage für diese Zusammenfassung zur Verfügung.

Die Einhaltung der in Artikel 56 beschriebenen Praxisregeln für Anbieter von Allzweck-KI liefert den Nachweis der Konformität mit den oben genannten Anforderungen, bis eine harmonisierte Norm veröffentlicht wird.

Wie sollen MDSW-Hersteller die Auswirkungen des KI-Gesetzes ermitteln?

Hersteller von MDSW müssen folgendes tun:

1. Prüfen, ob die Anwendbarkeit des KI-Gesetzes auf ihre MDSW gegeben ist, d.h. prüfen, ob die MDSW unter die Definition von KI-Systemen oder Allzweck-KI fällt. Dabei muss auch berücksichtigt werden, dass MDSW im Anwendungsbereich für militärische, verteidigungspolitische und nationale Sicherheitszwecke vom KI-Gesetz ausgeschlossen ist. Der Ausschluss des Anwendungsbereichs für reine Forschungsprodukte macht für MDSW keinen Sinn, da die Software auch nicht als Medizinprodukt gelten würde.
   Die Prüfung der Anwendbarkeit des KI-Gesetzes ist nicht immer einfach, z.B. wenn Software unbekannter Herkunft in der MDSW integriert ist und der Hersteller nicht alle Details über die Algorithmen hinter der Software unbekannter Herkunft kennt.
2. Eine Bewertung der KI-gestützten MDSW durchführen und diese Bewertung dokumentieren, um die Anwendung einer verbotenen Praktik auszuschliessen.
3. Fällt die MDSW unter das KI-Gesetz, so muss eine  Einstufung gemacht werden. Im Falle eines KI-Systems als “hochriskant” oder “nicht hochriskant” gemäss Art. 6 Abs. 1 oder 2, und im Falle eines Allzweck-KI in der MDSW als “mit systemischem Risiko” oder “ohne systemischem Risiko” gemäss Art. 51 Abs. 1.

Das nachstehende Flussdiagramm veranschaulicht den Prozess der Folgenabschätzung.

Wann muss ein Hersteller von KI-gestützter MDSW tätig werden?

Das KI-Gesetz gilt ab dem 2. August 2026. Es gelten jedoch folgende Ausnahmen:

• Ab 2. Februar 2025 gelten die allgemeinen Bestimmungen [Kapitel I] und das Verbot von KI-Systemen, die unannehmbare Risiken darstellen [Kapitel II].
• Ab dem 2. August 2025 gelten die Aspekte in Bezug auf die benennenden Behörden und Benannten Stellen für Hochrisiko-KI-Systeme [Kapitel III, Abschnitt 4], die Verpflichtungen für Allzweck-KI [Kapitel V], Governance-Aspekte [Kapitel VII], Vertraulichkeit [Art. 78] und Sanktionen [Kapitel XII], mit Ausnahme der Geldbussen für Allzweck-KI-Anbieter [Art. 101].
• Ab dem 2. August 2027 gelten die Verpflichtungen in Bezug auf Hochrisiko-KI-Systeme, die neu auf den Markt gebracht werden, mit Ausnahme derjenigen, die die benennenden Behörden und Benannten Stellen betreffen [Kapitel III, Abschnitt 4].

Gemäss KI-Gesetz Art. 111 gelten für bereits in Verkehr gebrachte KI-Systeme und Allzweck-KI einige Ausnahmen und zusätzliche Fristen:

• Für Hochrisiko-KI-Systeme, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen werden, gilt das KI-Gesetz für die betroffenen Betreiber nur, wenn sie nach diesem Datum wesentliche Designänderungen an der Software vornehmen. In Ermangelung einer offiziellen Beschreibung von wesentlichen Designänderungen im Rahmen des KI-Gesetzes könnten die MDCG 2020-3 für Medizinprodukte und die MDCG 2022-6 für IVD als Leitprinzipien herangezogen werden. Solange jedoch keine KI-spezifischen Leitfäden bzgl. “wesentliche Designänderung” existieren, könnte diese Ausnahmeregelung dazu führen, dass alte KI-gestützte MDSW nie der CE-Kennzeichnung gemäss KI-Gesetz unterliegt. 
• Wenn das Hochrisiko-KI-System von Behörden verwendet werden soll, müssen die Anbieter das KI-Gesetz bis zum 2. August 2030 einhalten, unabhängig davon, ob wesentliche Änderungen am Design des KI-Systems vorgenommen werden oder nicht.
• Anbieter von Allzweck-KI, die vor dem 2. August 2025 in Verkehr gebracht wurden, müssen das KI-Gesetz bis zum 2. August 2027 einhalten.

Kurz gesagt wird das KI-Gesetz schrittweise angewandt, wobei die Fristen vor und nach dem eigentlichen Anwendungsdatum gestaffelt sind, wie in der folgenden Infografik dargestellt.

Die Ausnahme von der Anwendbarkeit für “legacy” KI-Systeme könnte dazu führen, dass alte KI-gestützte MDSW nie der CE-Kennzeichnung gemäss EU-KI-Gesetz unterliegt.

Zusätzlich zu der im vorherigen Kapitel beschriebenen Folgenabschätzung (siehe Wie sollen MDSW-Hersteller die Auswirkungen des KI-Gesetzes ermitteln?), mit besonderem Schwerpunkt auf der Identifizierung verbotener KI-Praktiken, die bis zum 2. Februar 2025 eingestellt werden müssen, sollten Hersteller von KI-gestützter MDSW bereits jetzt damit beginnen, sich zumindest auf die folgenden Aspekte vorzubereiten:

KI-Kompetenz

Anbieter von KI-gestützter MDSW sowie Anwender (d.h. KI-Anwender im Rahmen einer beruflichen Tätigkeit) sind verpflichtet, ein ausreichendes Mass an “KI-Kompetenz” für ihr eigenes Personal sowie für Dritte sicherzustellen , die die KI-Systeme in ihrem Auftrag betreiben und nutzen [Art. 4].

Das KI-Gesetz definiert “KI-Kompetenz” als die Fähigkeiten, das Wissen und das Verständnis, die einen informierten Einsatz von KI-Systemen ermöglichen, sowie ein Bewusstsein für die Chancen und Risiken von KI und mögliche Schäden, die sie verursachen kann [Art. 3 Abs. 56]. Obwohl es diesbezüglich keine spezifischen Kriterien gibt, könnte KI-Kompetenz auf verschiedenen Ebenen innerhalb der Organisation verlangt werden, je nachdem, wie viele Mitarbeitende am KI-Einsatz beteiligt sind und wie die Chancen und Risiken eingeschätzt werden.

Daher müssen Hersteller von KI-gestützter MDSW bis zum 2. Februar 2025 Massnahmen ergreifen, um zu bestimmen, welche Stellen im Betrieb KI-Kompetenz erfordern, und die betreffenden Personen schulen oder neu einstellen.

Benannte Stelle für neue oder wesentlich veränderte Hochrisiko-KI-Systeme

Bis zum August 2027 scheint zwar ausreichend Zeit für die Vorbereitung, aber Hersteller von KI-gestützter MDSW, die Hochrisiko-KI-Systemen entsprechen, sollten sich sofort auf den Weg machen, um herauszufinden, ob ihre Benannte Stelle die Benennung gemäss KI-Gesetz bereits vorbereitet oder plant. Sollte dies nicht der Fall sein, muss ein Wechsel der Benannten Stelle ins Auge gefasst werden. Da es zu Engpässen bei der Verfügbarkeit von Benannten Stellen mit doppelter Benennung (EU-MDR/IVDR und KI-Gesetz) kommen dürfte, könnten Hersteller von KI-gestützter MDSW gezwungen sein, separate Benannte Stellen einzuschalten.

Das Team-NB hat bereits in seinem Position Paper on AI designation angedeutet, dass es Herausforderungen in Bezug auf seine Kapazitäten voraussieht.

Was sind die Erwartungen an KI-gestützte MDSW, vor dem Inkrafttreten des KI-Gesetzes?

Zurzeit gibt es keine offizielle Position im Rahmen der EU-MDR oder IVDR. Die Medical Device Coordination Group (MDCG) plant jedoch, bis Ende 2024 ein FAQ-Dokument über das Zusammenspiel zwischen der EU-MDR/IVDR und dem KI-Gesetz herauszugeben.

In der Zwischenzeit veranstalten die Benannten Stellen Webinare und veröffentlichen Positionspapiere, in denen sie meist eine vernünftige Extrapolation der bestehenden Leitlinien für MDSW empfehlen, z.B. MDCG 2020-1 zur klinischen/Leistungsbewertung von MDSW und MDCG 2019-16 zur Cybersicherheit. Sie stützen sich auch auf die Anforderungen der US-amerikanischen FDA, die um die folgenden Leitprinzipien herum entwickelt werden:

• Good Machine Learning Practice for Medical Device Development: Guiding Principles (Oktober 2021)
• Predetermined Change Control Plans for Machine Learning-Enabled Medical Devices: Guiding Principles (Oktober 2023)
• Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles (Juni 2024)

Grundsätzlich ist es momentan erforderlich, sich mit verschiedenen Best Practices und Empfehlungen von Berufsverbänden und Experten vertraut zu machen. Ebenso gibt es einen zunehmenden Bestand an internationalen Normen, die sich zwar nicht spezifisch auf KI-gestützte MDSW beziehen, die aber für KI allgemein relevant sind, sowie EU-Initiativen für KI-gestützte MDSW (z.B. EU-Netzwerk von realen Testeinrichtungen TEF-Health, Papier des EU-Parlaments über Artificial intelligence in healthcare).

Das KI-Gesetz selbst legt einige allgemeine Grundlagen für KI-Systeme fest (z.B. zu Trainings-, Validierungs- und Testdatensätzen, zu Genauigkeit, Robustheit und Cybersicherheit sowie zum Testen von Hochrisiko-KI-Systemen unter realen Bedingungen), die von den Herstellern bereits in ihren Entwicklungsprozess für KI-gestützte MDSW einbezogen werden können.

Wie Decomplix helfen kann

Decomplix bietet Ihnen eine fachkundige regulatorische und klinische Bewertung Ihrer Situation, die Qualifizierung und Klassifizierung Ihrer MDSW sowohl nach dem KI-Gesetz der EU als auch nach der EU-MDR oder IVDR sowie einen vollständigen Fahrplan zur Erlangung einer CE-Kennzeichnung für Ihre KI-gestützte MDSW.

Mehr über unsere Dienstleistungen erfahren Sie hier.

Weitere Lektüre

• 7 Fragen an den CEO von Evidencio, Rob Mentink, zu ihrer Plattform für medizinische Algorithmen
• Medizinproduktesoftware (MDSW) gemäss EU-MDR und IVDR
• “Wesentliche Änderungen” bei Medizinprodukten und IVDs gemäss EU-MDR/IVDR
• Harmonisierte Normen für Medizinprodukte und IVDs verstehen