Découverte choquante : du matériel d’abus d’enfants dans la plus grande base de données d’images IA

Par mesure de précaution, l'organisation à but non lucratif responsable du jeu de données LAION-5B l'a retiré. Quels pourraient être les risques potentiels qui ont motivé cette décision ?

Contenu illégal dans une base de données d’IA

Selon les chercheurs de l’Observatoire Internet de Stanford, une base de données utilisée pour l’entraînement des outils de génération d’images par IA contiendrait au moins 1,008 instances validées de matériel d’abus sexuels sur les enfants (CSAM). Ceci signifie que les modèles d’IA formés avec ces données pourraient potentiellement générer de nouvelles instances, parfois très réalistes, de CSAM.

La position de LAION

LAION, l’organisation à but non lucratif qui a créé la base de données, a déclaré à 404 Media qu’elle a une « tolérance zéro pour le contenu illégal » et qu’elle prend des mesures pour garantir la sécurité des données avant leur republication. Il convient de souligner que les dirigeants de LAION étaient déjà conscients en 2021 de la possibilité que leurs systèmes captent du CSAM lorsqu’ils collectaient des milliards d’images sur Internet.

Des techniques de recherche sophistiquées

La législation américaine interdit à la plupart des institutions de consulter du CSAM à des fins de vérification. Les chercheurs de Stanford ont donc eu recours à des techniques sophistiquées pour identifier d’éventuels CSAM. Ils ont ainsi utilisé la détection basée sur le hachage perceptuel, la détection basée sur le hachage cryptographique et l’analyse des plus proches voisins en exploitant les incrustations d’images dans la base de données elle-même.

Des implications plus larges

Notons que l’outil de génération d’images de Stability AI, Stable Diffusion, a été formé sur un sous-ensemble de données LAION-5B, tout comme le modèle text-to-image de Google, Imagen. Un porte-parole de Stability AI a déclaré à Bloomberg que l’utilisation de ses systèmes pour des activités illégales, comme la création ou la modification de CSAM, est interdite.