Die neue Regelung soll demnach am 25. November in Kraft treten. Bis dahin werde die Zeit für solche Chat-Gespräche zunächst auf zwei Stunden pro Tag begrenzt. Neben weiteren Massnahmen werde auch eine neue Altersüberprüfung eingeführt. Teenager sollen das Tool zwar weiterhin nutzen dürfen, allerdings nicht mehr für offene Chat-Gespräche, sondern etwa zum Erstellen von Videos oder Streams.

Klagen wegen Suiziden

Vergangenes Jahr hatte eine Mutter im US-Bundesstaat Florida das Unternehmen verklagt, weil sie ihm eine Mitschuld am Suizid ihres 14-jährigen Sohnes gab, wie US-Medien berichteten. Der Teenager soll einen Chatbot der Firma zuvor intensiv genutzt haben.

Im September reichten demnach die Familien von drei weiteren Minderjährigen in den Bundesstaaten Colorado und New York Klage gegen Character Technologies ein. Sie werfen dem Unternehmen ebenfalls vor, Character.AI habe eine Rolle beim Suizid oder Suizidversuch ihrer Kinder gespielt.

Zur Begründung der neuen Massnahmen erklärte Character Technologies nun, man reagiere auf die sich verändernde Situation im Umgang von Jugendlichen mit KI. Zuletzt habe es Berichte und Nachfragen von Aufsichtsbehörden dazu gegeben, welchen Inhalten Teenager in Gesprächen mit KI begegnen könnten und wie sich offene Chat-Formate generell auf sie auswirkten - selbst wenn Filter ordnungsgemäss funktionierten.

Debatte über Einfluss von KI

Die Rolle von KI mit Blick auf die psychische Gesundheit und Sicherheit junger Menschen ist in den USA zunehmend Gegenstand einer kontroversen Debatte. Ende August hatten Eltern eines US-Teenagers, der im April Suizid begangen hatte, gegen die ChatGPT-Entwicklerfirma OpenAI geklagt. OpenAI kündigte nach Bekanntwerden der Klage verbesserte Massnahmen zur Suizid-Prävention an.

Die Firma räumte zugleich ein, dass die bisherigen Vorkehrungen, die unter anderem Nutzer zu einer Beratungs-Hotline verwiesen, bei längeren Unterhaltungen mit ChatGPT versagen können. Dann sei es möglich, dass die Software unerwünschte Antworten liefere./gei/DP/zb

(AWP)