Verantwortlichkeiten von Herstellern von Medizinprodukten unter dem AI Act
Da der AI Act neue Ebenen der Regulierung für KI-gestützte Medizinprodukte einführt, müssen Hersteller ihre Prozesse anpassen, um die Einhaltung sicherzustellen.
Wichtige To-Dos für Hersteller, die mit Hochrisiko-KI-Systemen arbeiten
In diesem Teil unserer „AI Act Insights“ skizzieren wir die Pflichten von Medtech-Herstellern, insbesondere für jene, die Hochrisiko-Systeme entwickeln, wie wir es tun.
Risikomanagementsystem
Ihre Prozesse müssen kontinuierlich potenzielle Risiken über den gesamten Lebenszyklus des Produkts hinweg bewerten und mindern, von der Entwicklung bis zur Marktüberwachung. Hersteller müssen die Wiederholbarkeit, Zuverlässigkeit und Sicherheit von KI-Systemen sicherstellen, indem sie regelmäßig ihre Risikominderungsstrategien überprüfen und aktualisieren.
Datenverwaltung umsetzen
Dazu gehört die Sicherstellung der Qualität, Genauigkeit und Integrität der Daten, die zur Schulung und Validierung von KI-Systemen verwendet werden. Eine hohe Bedeutung hat hier die Verwendung von Datensätzen, die repräsentativ, frei von Verzerrungen sind und gemäß den DSGVO-Standards gehandhabt werden, um den Schutz personenbezogener Daten zu gewährleisten.
Technische Dokumentation
Diese muss das Design, die Funktionalität, den vorgesehenen Zweck und die Risikomanagementstrategien des KI-Systems detailliert darstellen. Diese Dokumentation muss stets aktuell gehalten und den Aufsichtsbehörden zur Konformitätsbewertung zur Verfügung stehen. Sie spielt eine entscheidende Rolle bei der Nachweisführung, dass das KI-System die Sicherheits-, Transparenz- und Leistungsanforderungen erfüllt.
Führen detaillierter Aufzeichnungen
Hersteller müssen detaillierte Aufzeichnungen aller Prozesse im Zusammenhang mit dem KI-System führen. Dies umfasst die Leistung, Aktualisierungen und etwaige Änderungen im Lebenszyklus des Systems. Gründliche Aufzeichnungen sind entscheidend für die Marktüberwachung und gewährleisten Transparenz gegenüber den Regulierungsbehörden.
Transparenz und klare Informationen
Benutzer (Gesundheitspersonal und Patienten) müssen klare Informationen darüber erhalten, wie das KI-System funktioniert, einschließlich seines vorgesehenen Zwecks, der Risiken und der Einschränkungen. Diese Transparenz ist entscheidend, damit medizinische Fachkräfte fundierte Entscheidungen beim Einsatz von KI-gestützten Geräten treffen können, und fördert die Akzeptanz bei den Patienten.
Menschliche Aufsicht
Es muss sichergestellt werden, dass KI-Systeme nicht autonom ohne angemessene menschliche Aufsicht arbeiten. Für Medizinprodukte bedeutet dies, dass medizinische Fachkräfte jederzeit die Möglichkeit haben müssen, in die Entscheidungen des KI-Systems einzugreifen und diese zu überstimmen, insbesondere wenn die Sicherheit von Patienten, Anwendern oder Dritten auf dem Spiel steht.
Genauigkeit und Robustheit
Hersteller müssen sicherstellen, dass ihre KI-Systeme zuverlässig funktionieren und gegen Bedrohungen der Cybersicherheit geschützt sind. Hersteller müssen die Genauigkeit der KI-Ausgaben validieren, um Risiken durch Fehler oder Störungen zu vermeiden.
KI Systeme in der Sandbox
Um sicherzustellen, dass diese Anforderungen erfüllt werden und dass Unternehmen unter sicheren Bedingungen entwickeln können, empfiehlt die EU die Einrichtung sogenannter AI-Regulatory-Sandboxes.
Diese Sandboxes sind kontrollierte Umgebungen, in denen KI-Entwickler und Anbieter innovative KI-Systeme unter der Aufsicht von Regulierungsbehörden testen können. Gemäß Artikel 57 des AI Acts ist jedes Mitgliedsland verpflichtet, bis August 2026 mindestens eine Sandbox auf nationaler Ebene einzurichten.
Die Hauptziele der AI Regulatory Sandboxes sind:
- Die Förderung von Innovationen, indem Entwicklern ermöglicht wird, KI-Technologien unter realen Bedingungen zu erproben.
- Rechtssicherheit für KI-Anbieter verbessern.
- Unterstützung und Förderung der Zusammenarbeit zwischen Regulierungsbehörden und KI-Entwicklern.
Für Entwickler und Hersteller besonders wichtig: Die Teilnahme an einer Sandbox kann schriftliche Nachweise zur Einhaltung der Vorschriften liefern, die bei formalen Konformitätsbewertungen oder in der Zusammenarbeit mit Benannten Stellen verwendet werden können und so den Markteintritt Ihrer Produkte beschleunigen. Diese Sandboxes tragen auch zur evidenzbasierten Regulierung bei, indem sie den Behörden ermöglichen, ihre Richtlinien basierend auf realen Tests zu verfeinern – eine aktive Einflussnahme auf die Regulierungen, wie bereits im zweiten Teil erwähnt.
Auf einem guten Weg zu mehr Sicherheit
Basierend auf unseren Erfahrungen bei der Entwicklung von Software und Algorithmen in KI-gestützten Testumgebungen sowie KI-gestützter regulatorischer Unterstützung, sind diese Sandboxes ein Schritt in die richtige Richtung, um Geräte sicherer und zuverlässiger zu entwickeln. Für uns, für Hersteller und für Patienten sorgt der AI Act dafür, dass neue Systeme, die zunehmend KI beinhalten werden, mit Sicherheit, Transparenz und ethischen Gesichtspunkten entwickelt und eingesetzt werden.
Mit der notwendigen Vorbereitung und dem richtigen Partner an Ihrer Seite werden diese Vorschriften keine zusätzliche Belastung sein, sondern einen positiven Einfluss auf Ihr Produkt, Ihre gesamte Entwicklungsphase und Ihre Marktposition haben.
Falls Sie die ersten beiden Artikel dieser Reihe verpasst haben, können Sie sie hier nachlesen: