Ing. Calogero Bono
OpenAI hat ein Paket von Maßnahmen angekündigt, um die Risiken durch Gewalt in ChatGPT zu begrenzen. Die Neuerungen betreffen Informationen über Waffen für Nutzer unter 18 Jahren, Antworten zu vergangenen Massenangriffen und einen neuen Sicherheitsbericht, der frühestens Anfang 2027 erscheinen soll. Die Regeln kommen in den nächsten Wochen. Wichtig sind sie, weil sie alle betreffen, die ChatGPT täglich nutzen, also auch Familien und Unternehmen.
Ein paar Begriffe, bevor wir zu den Fakten kommen ChatGPT for Teens ist die Version von ChatGPT für Nutzer unter 18 Jahren, mit zusätzlichen Grenzen bei sensiblen Inhalten. Age prediction ist das System, das anhand von Signalen wie dem Nutzungsverhalten schätzt, ob jemand unter oder über 18 Jahre alt ist. Persona ist der Partner von OpenAI, der die Altersprüfung übernimmt. Die Elternkontrollen erlauben Eltern, ihr eigenes Konto mit dem ihres Kindes zu verknüpfen. Der Community Safety Report ist der regelmäßige Bericht, den OpenAI veröffentlichen will.
Was hat OpenAI angekündigt?
Laut der offiziellen Mitteilung von OpenAI gibt es zwei Neuerungen. Die erste ist ein neuer Bericht zur Sicherheit der Community. Die zweite ist ein Bündel strengerer Beschränkungen für Inhalte zu Waffen für Minderjährige.
Das Unternehmen erklärt, im dritten Quartal 2026 mehr als 200 Meldungen an die Strafverfolgungsbehörden wegen unmittelbar drohender Gewalt gemacht zu haben. Die Zahl stammt von OpenAI selbst und lässt sich nicht unabhängig überprüfen.
Wie Punto Informatico erinnert, reagiert der Schritt auf Klagen in den Vereinigten Staaten und auf Kritik von Common Sense Media an ChatGPT for Teens.
Was ändert sich bei Fragen zu Massenangriffen und Gewalt?
OpenAI erklärt, seine Modelle seien darauf trainiert, keine hilfreichen Anleitungen zur Planung oder Ausübung von Gewalt zu geben. Jetzt liefert das Modell weniger detaillierte Informationen über vergangene Massenangriffe und deren Täter, auch wenn die Daten anderswo im Netz zu finden sind.
Fragen, die helfen, die Ereignisse, die Folgen für Opfer und Gemeinschaften und Warnsignale zu verstehen, bleiben möglich. Eingeschränkt werden Rekonstruktionen mit Details zu Waffen, Ausrüstung und Beschaffungswegen sowie Vergleiche des Ausmaßes, die die Bekanntheit des Täters steigern könnten. Diese Grenzen gelten unabhängig von Alter und Grund der Anfrage.
Zeigen aktuelle Chats Anzeichen möglicher Gewalt, antwortet ChatGPT vorsichtiger. Das Unternehmen arbeitet daran, dieselben Grenzen anzuwenden, wenn es davon ausgeht, dass der Nutzer minderjährig ist.
Kann ChatGPT Gespräche schließen und Konten sperren?
Ja, laut OpenAI. Gemeinsam mit Experten für psychische Gesundheit und Gewaltprävention arbeitet das Unternehmen an früheren automatischen Eingriffen. Zeigt ein Gespräch eine Fixierung auf Gewalt oder die Absicht, jemandem zu schaden, kann ChatGPT den Chat automatisch schließen. Passiert das wiederholt, kann das Konto vorübergehend gesperrt werden.
Die Sperren für Konten, die gegen die Regeln zu gewalttätigen Aktivitäten verstoßen, bleiben bestehen. OpenAI räumt ein, dass noch offen ist, wie sich Warnsignale zuverlässig erkennen lassen und wann eingegriffen werden soll.
Welche neuen Schutzmaßnahmen gibt es für Jugendliche und Eltern?
Für Nutzer unter 18 Jahren werden die Grenzen bei Informationen zu Waffen und Sicherheitssystemen verschärft, auch wenn die Frage harmlos wirkt. Jugendliche können ChatGPT trotzdem nutzen, um Gewalt vorzubeugen, Unterstützung zu suchen und sich an eine vertraute erwachsene Person zu wenden.
Die Altersschätzung, im vergangenen Jahr eingeführt, bewertet während der Nutzung neue Signale und verschiebt Nutzer in das Erlebnis für Minderjährige. Wer fälschlicherweise eingestuft wird, kann mit Persona bestätigen, dass er erwachsen ist.
Bei den Elternkontrollen werden Eltern seit Juli benachrichtigt, wenn das Konto ihres Kindes wegen Verstößen im Bereich Gewalt deaktiviert wird. OpenAI arbeitet an einer Benachrichtigung auch für Sperren wegen wiederholter Gespräche zu diesem Thema.
Zum Weiterlesen – OpenAI entwickelt einen autonomen Hacker, und die Sicherheit italienischer KMU ist gefährdet und OpenAI bringt einen autonomen Hacker auf den Markt, und die Sicherheit italienischer KMU hinkt schon hinterher.
Grenzen, die du kennen solltest
Fast alles stützt sich auf Aussagen von OpenAI. Es gibt keine unabhängigen Daten zur Wirksamkeit der Filter oder zur Fehlerquote der Altersschätzung. Die genauen Kriterien, nach denen ein Chat geschlossen oder ein Konto gesperrt wird, fehlen. Einige Maßnahmen, etwa Benachrichtigungen an Eltern bei einer Sperre, sind noch in Arbeit. Der erste Bericht zum zweiten Halbjahr 2026 erscheint erst Anfang 2027.
Was sich für alle ändert, die digital arbeiten
Wenn du Produkte entwickelst, die ChatGPT einbinden, oder seine Antworten nutzt, solltest du mit Ablehnungen und weniger detaillierten Antworten zu Waffen, körperlicher Sicherheit und Gewaltberichterstattung rechnen. Das gilt auch für legitime Recherchen, denn die Grenzen bei vergangenen Angriffen hängen nicht vom Grund der Anfrage ab. Wer Dienste für Jugendliche anbietet, sollte bedenken, dass das geschätzte Alter das Erlebnis verändern kann. Unternehmen mit minderjährigen Mitarbeitenden oder Kunden sollten erklären, dass es Elternkontrollen und Altersprüfung gibt. Sinnvoll ist auch eine klare Meldung, wenn eine Antwort verweigert wird.
Unsere Einschätzung
Die Richtung ist nachvollziehbar, die Ankündigung bleibt aber eher ein Versprechen als ein Ergebnis. Die Einschränkung von Rekonstruktionen vergangener Angriffe ist eine vernünftige Entscheidung, macht die Grenze zwischen Recherche und Risiko allerdings undurchsichtiger. Heikel ist die Altersschätzung, die sich irren und Erwachsene zur Identifizierung zwingen kann. Der halbjährliche Bericht wird der eigentliche Prüfstein sein, wenn er Daten und nicht nur Beispiele enthält. Zum Thema Vertrauen in Modelle hilft der Vergleich mit Anthropic Claude und OpenAI, um die Unterschiede einzuschätzen.
Häufig gestellte Fragen
Wann treten die neuen Regeln für ChatGPT in Kraft?
In den nächsten Wochen. OpenAI erklärt, dass die Maßnahmen bald ausgerollt und danach verfeinert werden. Einige Funktionen, etwa bestimmte Benachrichtigungen an Eltern, sind noch in Entwicklung.
Wird ChatGPT auch Erwachsenen weniger Informationen geben?
Teilweise ja. Die Grenzen bei Rekonstruktionen vergangener Massenangriffe gelten unabhängig von Alter und Grund der Anfrage. Fragen, die helfen, Ereignisse zu verstehen und Warnsignale zu erkennen, bleiben möglich.
Was passiert, wenn ChatGPT mich für minderjährig hält?
Du kannst bestätigen, dass du volljährig bist. OpenAI nennt ein schnelles, datenschutzfreundliches Verfahren über Persona, danach werden die Schutzmaßnahmen für Jugendliche aufgehoben.
Wann erscheint der Community Safety Report?
Anfang 2027. Der erste Bericht betrifft das zweite Halbjahr 2026, danach sollen Aktualisierungen alle sechs Monate folgen.
Werden Eltern benachrichtigt, wenn das Kind über Gewalt spricht?
Das hängt vom Fall ab. Seit Juli gibt es eine Meldung, wenn das Konto wegen Verstößen im Bereich Gewalt deaktiviert wird. OpenAI arbeitet an einer Benachrichtigung auch bei einer Sperre wegen wiederholter Gespräche zu diesem Thema.
Worauf du vor dem Bericht von 2027 achten solltest
Die Versprechen von OpenAI werden sich in den kommenden Monaten messen lassen, zwischen dem Start der Regeln und dem ersten Bericht. Drei Signale lohnen sich besonders.
- Prüfe, ob der Bericht von 2027 messbare Daten enthält und nicht nur anonymisierte Beispiele.
- Verfolge, wie OpenAI die Kriterien für das Schließen von Chats und das Sperren von Konten erklärt.
- Kontrolliere, ob die Benachrichtigungen an Eltern bei Sperren tatsächlich ankommen und in welchem Zeitrahmen.
