Ing. Calogero Bono
OpenAI a annoncé un ensemble de mesures pour limiter les risques liés à la violence dans ChatGPT. Les nouveautés concernent les informations sur les armes pour les utilisateurs de moins de 18 ans, les réponses sur les attaques de masse du passé et un nouveau rapport sur la sécurité, le premier attendu début 2027. Les règles arriveront dans les prochaines semaines. Elles comptent, car elles touchent tous ceux qui utilisent ChatGPT au quotidien, familles et entreprises comprises.
Quelques termes, avant d'entrer dans les faits. ChatGPT for Teens est l'expérience de ChatGPT conçue pour les moins de 18 ans, avec des limites supplémentaires sur les contenus sensibles. Age prediction est le système qui estime, à partir de signaux comme les habitudes d'utilisation, si l'utilisateur a plus ou moins de 18 ans. Persona est le partenaire d'OpenAI qui gère la vérification de l'âge. Les contrôles parentaux permettent aux parents de relier leur compte à celui de leur enfant. Le Community Safety Report est le rapport périodique qu'OpenAI promet de publier.
Qu'a annoncé OpenAI ?
Selon le communiqué officiel d'OpenAI, les nouveautés sont deux. La première est un nouveau rapport sur la sécurité de la communauté. La seconde est un ensemble de restrictions plus sévères sur les contenus liés aux armes pour les mineurs.
L'entreprise déclare avoir effectué plus de 200 signalements aux forces de l'ordre au troisième trimestre 2026, pour des menaces imminentes de violence. Ce chiffre est fourni par OpenAI et ne peut pas être vérifié de manière indépendante.
Comme le rappelle Punto Informatico, cette décision répond aux plaintes reçues aux États-Unis et aux critiques de Common Sense Media sur ChatGPT for Teens.
Qu'est-ce qui change pour les questions sur les attaques de masse et la violence ?
OpenAI affirme que ses modèles sont entraînés à ne pas fournir d'instructions utiles pour préparer ou commettre des violences. Désormais, le modèle donnera des informations moins détaillées sur les attaques de masse passées et sur leurs auteurs, même si les données se trouvent ailleurs en ligne.
Il reste possible de poser des questions pour comprendre les événements, leur impact sur les victimes et les communautés, et repérer les signaux d'alerte. Les reconstitutions sont limitées, en particulier les détails sur les armes, l'équipement et les modes d'acquisition, ainsi que les comparaisons sur l'ampleur des dégâts qui pourraient accroître la notoriété de l'auteur. Ces limites valent quels que soient l'âge ou le motif de la demande.
Si les conversations récentes montrent des signes de violence possible, ChatGPT répondra avec davantage de prudence. L'entreprise travaille à appliquer les mêmes limites lorsqu'elle prévoit que l'utilisateur est mineur.
ChatGPT pourra-t-il fermer les conversations et suspendre les comptes ?
Oui, selon OpenAI. En collaboration avec des experts en santé mentale et en prévention de la violence, l'entreprise travaille à des interventions automatiques plus précoces. Si une conversation montre une fixation sur la violence ou sur l'idée de faire du mal à quelqu'un, ChatGPT pourra fermer le chat automatiquement. Si cela se répète, le compte pourra être suspendu temporairement.
Les blocages restent en vigueur pour les comptes qui enfreignent les règles sur les activités violentes. OpenAI reconnaît qu'il reste à déterminer comment repérer les signaux de manière fiable et quand intervenir.
Quelles nouvelles protections pour les adolescents et les parents ?
Pour les moins de 18 ans, les limites sur les informations concernant les armes et les systèmes de sécurité sont renforcées, même lorsque la question semble anodine. Les adolescents peuvent toutefois continuer à utiliser ChatGPT pour prévenir la violence, chercher du soutien et s'adresser à un adulte de confiance.
L'age prediction, lancée l'an dernier, évalue de nouveaux signaux pendant l'utilisation et oriente les utilisateurs vers l'expérience destinée aux mineurs. Ceux qui sont classés par erreur peuvent confirmer qu'ils sont adultes avec Persona.
Concernant les contrôles parentaux, depuis juillet les parents sont avertis si le compte de leur enfant est désactivé pour violation des règles sur la violence. OpenAI travaille à une notification également pour les suspensions dues à des discussions répétées sur ce thème.
Pour aller plus loin, OpenAI développe un hacker autonome, la sécurité des PME italiennes est menacée et OpenAI sort un hacker autonome, la sécurité des PME italiennes est déjà en retard.
Limites à connaître
Presque tout repose sur les déclarations d'OpenAI. Il n'existe pas de données indépendantes sur l'efficacité des filtres ni sur le taux d'erreur de l'age prediction. Les critères précis qui conduisent à fermer une conversation ou suspendre un compte manquent. Certaines mesures, comme les notifications aux parents en cas de suspension, sont encore en cours de développement. Le premier rapport, portant sur le second semestre 2026, ne paraîtra qu'au début de 2027.
Ce qui change pour ceux qui travaillent avec le numérique
Si tu développes des produits intégrant ChatGPT ou si tu utilises ses réponses, attends-toi à des refus et à des réponses moins détaillées sur les armes, la sécurité physique et l'actualité violente. Cela vaut aussi pour les recherches légitimes, car les limites sur les attaques passées ne dépendent pas du motif de la demande. Ceux qui conçoivent des services destinés aux jeunes doivent savoir que l'âge estimé par le système peut modifier l'expérience. Pour les entreprises employant ou accueillant des mineurs, il est utile d'expliquer l'existence des contrôles parentaux et de la vérification de l'âge. Il est aussi conseillé de prévoir un message clair lorsqu'une réponse est refusée.
Notre avis
La direction est compréhensible, mais l'annonce reste davantage un engagement qu'un résultat. Limiter les reconstitutions d'attaques passées est un choix raisonnable, même s'il rend plus floue la frontière entre recherche et risque. Le point délicat est la prédiction de l'âge, qui peut se tromper et obliger des adultes à s'identifier. Le rapport semestriel sera le vrai test, à condition qu'il contienne des données et pas seulement des exemples. Sur le thème de la confiance dans les modèles, la comparaison avec Anthropic Claude et OpenAI aide à évaluer les différences.
Questions fréquentes
Quand entrent en vigueur les nouvelles règles de ChatGPT ?
Dans les prochaines semaines. OpenAI indique que les mesures commenceront à être déployées sous peu, puis seront affinées. Certaines fonctions, comme certaines notifications aux parents, sont encore en développement.
ChatGPT donnera-t-il moins d'informations aux adultes aussi ?
En partie oui. Les limites sur les reconstitutions d'attaques de masse passées valent quel que soit l'âge ou le motif de la demande. Il reste possible de poser des questions pour comprendre les événements et repérer les signaux d'alerte.
Que se passe-t-il si ChatGPT me prend pour un mineur ?
Tu peux confirmer que tu es majeur. OpenAI indique une procédure rapide qui protège la vie privée, gérée par Persona, après laquelle les protections pour adolescents sont levées.
Quand sortira le Community Safety Report ?
Début 2027. Le premier rapport portera sur le second semestre 2026 et les mises à jour suivront tous les six mois.
Les parents seront-ils prévenus si leur enfant parle de violence ?
Cela dépend du cas. Depuis juillet, un avis est envoyé en cas de désactivation du compte pour violation des règles sur la violence. OpenAI travaille aussi à une notification pour les suspensions liées à des discussions répétées.
Ce qu'il faut suivre avant le rapport de 2027
Les promesses d'OpenAI seront mises à l'épreuve dans les mois à venir, entre l'arrivée des règles et le premier rapport. Trois signaux sont utiles à surveiller.
- Vérifie si le rapport de 2027 contient des données mesurables et pas seulement des exemples anonymes.
- Suis la façon dont OpenAI précise les critères de fermeture des chats et de suspension des comptes.
- Contrôle si les notifications aux parents pour les suspensions arrivent vraiment et dans quels délais.
