404Media a découvert que Civitai pourrait être utilisé pour créer des images pouvant être classées comme de la pornographie infantile. Quels pourraient être les impacts de cette découverte alarmante ?
- OctoML se sépare de Civitai suite à une enquête polémique.
- Civitai a utilisé OctoAI pour générer des images potentiellement illégales.
- OctoML a essayé de bloquer du contenu NSFW avant de se retirer.
- OctoML vise une utilisation responsable de l’IA.
OctoML rompt avec Civitai après une enquête controversée
Le fournisseur de technologie d’intelligence artificielle, OctoML, a annoncé la fin de sa collaboration avec Civitai. Cette décision intervient après une enquête du média 404 Media, révélant que la plateforme de texte à image de Civitai a été utilisée pour générer des images potentiellement classées comme de la pornographie infantile.
OctoML a tenté de bloquer le contenu NSFW
Selon le rapport de 404 Media du 5 décembre, OctoML était au courant que certains utilisateurs de Civitai créaient du matériel explicitement sexuel, comprenant des images non consensuelles de personnes réelles et des représentations pornographiques d’enfants. OctoML a tenté de mettre un terme à la création de ces images en déployant un filtre sur Civitai pour bloquer tous contenus pour adultes.
Civitai sous le feu des critiques
La plateforme soutenue par Andreessen Horowitz, Civitai, a déjà été critiquée pour sa fonctionnalité « bounties », qui encourage les utilisateurs à générer des images réalistes de personnes réelles en échange de récompenses. En novembre, 404 Media a découvert que cette fonctionnalité était utilisée pour créer des deepfakes non-consensuels de célébrités. Les sujets étaient principalement des femmes. Après ces révélations, Civitai a ajouté un filtre pour prévenir la création de contenu NSFW impliquant certaines célébrités.
OctoML met fin à la collaboration
OctoML, qui utilise les serveurs d’Amazon Web Services, a déclaré dans un communiqué à 404 Media : « Nous avons décidé de mettre fin à notre relation commerciale avec Civitai. Cette décision est en accord avec notre engagement à assurer une utilisation sûre et responsable de l’IA. »
L’avis de la rédaction
La décision d’OctoML est un rappel crucial de l’éthique nécessaire à l’utilisation de l’IA. Si cette technologie offre d’immenses possibilités, elle nécessite aussi un contrôle rigoureux pour prévenir tout abus. La rupture avec Civitai est un pas vers une utilisation plus responsable de l’IA.