L'Union européenne ouvre une enquête formelle contre X et son chatbot Grok. En cause : la génération massive d'images pédopornographiques durant les fêtes de fin d'année. La Commission européenne brandit le Digital Services Act et pourrait infliger une amende salée à l'entreprise d'Elon Musk.
23 000 images pédopornographiques en 11 jours
Le Center for Countering Digital Hate (CCDH), une association britannique spécialisée dans la lutte contre les contenus toxiques en ligne, a analysé un échantillon de 20 000 images générées par Grok entre le 29 décembre et le 9 janvier. En extrapolant ces données aux 4,6 millions d'images produites pendant cette période, l'organisation arrive à un total de 23 000 images à caractère pédopornographique.
Le rapport détaille que Grok a produit environ 3 millions d'images sexualisées durant ces 11 jours, soit 190 par minute. Parmi elles, une image mettant en scène un mineur sortait du générateur toutes les 41 secondes. Autant dire que ces chiffres mettent en évidence une absence totale de modération sur le générateur d'images de xAI, là où ses concurrents comme DALL-E ou Midjourney bloquent systématiquement ce type de requêtes.
Clubic avait relaté début janvier l'ouverture d'une enquête par le parquet de Paris pour diffusion d'images pédopornographiques, puis le blocage de Grok par l'Indonésie et la Malaisie. Face à la pression, xAI a fini par désactiver mi-janvier la génération d'images pour les utilisateurs gratuits et a restreint l'accès à cette fonctionnalité aux abonnés payants. Mais cette réaction tardive n'a pas éteint l'incendie.
Une amende potentielle de 174 millions de dollars
La Commission européenne a ouvert ce lundi une procédure sur la base du Digital Services Act (DSA), le règlement adopté en 2022 qui oblige les grandes plateformes à modérer les contenus illégaux. Bruxelles va déterminer si X a correctement évalué et réduit les risques liés au déploiement de Grok dans l'Union européenne, notamment la production de matériel pédopornographique.
Henna Virkkunen, vice-présidente de la Commission chargée de la souveraineté technologique, affirme :
Les deepfakes sexuels de femmes et d'enfants sont une forme violente et inacceptable de dégradation. Cette enquête déterminera si X a respecté ses obligations légales au titre du DSA, ou si la plateforme a traité les droits des citoyens européens comme des dommages collatéraux "
Si X est reconnu coupable, l'amende peut grimper jusqu'à 6% du chiffre d'affaires mondial annuel de la plateforme, soit environ 174 millions de dollars selon une estimation de 2,9 milliards de revenus. Depuis son rachat par Elon Musk en 2022, X n'est plus coté en Bourse et ne publie plus ses comptes, ce qui rend difficile la vérification de ces montants.
Cette nouvelle enquête vient s'ajouter à une procédure déjà lancée en décembre 2023, que la Commission a élargie ce lundi. Cette première investigation portait sur l'évaluation des risques systémiques par X et examine désormais aussi le basculement du système de recommandations de la plateforme vers Grok. X a déjà écopé d'une amende de 120 millions d'euros pour violation des règles sur la transparence publicitaire et le système de certification. La plateforme assure de son côté appliquer une "tolérance zéro" face aux contenus pédopornographiques et signaler les comptes suspects aux autorités.
