Mental-Health-Chatbot: EU AI Act Pflichten
Wir bieten einen Chatbot für mentale Gesundheit / Therapie-Begleitung an
Rechtliche Grundlage
Artikel
Erwägungsgründe
Praxis-Beispiele
Verboten
Bot zielt auf suizidgefährdete Jugendliche und manipuliert in schadhafte Richtung — Art. 5(1)(b).
Hochrisiko
Chatbot diagnostiziert Depression und schlägt Medikamente vor — MDR + Annex I.
Grenzfall
Chatbot bietet kognitive Übungen + Stimmungs-Tracking — limited mit Vulnerable-Group-Review.
Pflicht-Trigger für diesen Fall
- Wirkt direkt auf natürliche Personen
- Profiling natürlicher Personen
- Entscheidungsunterstützung (Mensch im Loop)
- Nutzt General-Purpose AI (GPAI)
- Generiert synthetische Inhalte
- Verletzliche Gruppen betroffen möglich
- Sicherheits-Komponente (Annex I) möglich
Zusätzliche regulatorische Overlays
Neben dem AI Act greifen für diesen Fall sektorale Vorschriften, die zusätzliche Pflichten auslösen können.
Was muss konkret geklärt werden?
Ob Dein konkreter Use-Case unter Begrenztes Risiko fällt, hängt von folgenden Detailfragen ab:
- Bot mit Therapie-Empfehlung → Medizinprodukt-Schwelle erreicht (MDR + Annex I).
- Exploitation vulnerable Gruppen (Suizidalität) kann Art. 5(1)(b) Verbot triggern.
- Sieht der Endnutzer den KI-Output direkt?
Verwandte Anwendungsfälle
Klassifiziere Deinen konkreten Fall
Der Sector-First Wizard nimmt diesen Use-Case als Vorlage und stellt nur die wirklich relevanten Rückfragen — Du bekommst Risikoklasse, Pflichten-Liste und Audit-Package in unter 5 Minuten.
Assessment starten