Le chatbot d’affaires de NYC distribue des informations « dangereusement inexactes », rapportent les experts
Une enquête réalisée par The Markup a révélé que le chatbot se trompe parfois dans ses réponses concernant les politiques de la ville. Quels pourraient être les impacts de ces erreurs sur les citoyens ?
Tl;dr
- Un chatbot IA de la ville de New York donne des informations erronées aux entrepreneurs.
- Il a notamment induit en erreur sur des actions illégales.
- Introduit en octobre, le chatbot est encore un projet pilote.
- Malgré les erreurs, la ville prévoit de continuer à améliorer cet outil.
Un chatbot aux réponses trompeuses
Un chatbot d’intelligence artificielle de la ville de New York, mis en place pour aider les propriétaires d’entreprises à accéder à des informations pertinentes, a été surpris en train de débiter des contre-vérités. Pire encore, il a parfois induit en erreur les utilisateurs sur des actions qui sont contraires à la loi, selon un rapport de The Markup.
Nombreuses erreurs et inexactitudes
Le rapport, co-publié avec les salles de presse à but non lucratif locales Documented et The City, comprend de nombreux exemples d’inexactitudes dans les réponses du chatbot aux questions relatives aux politiques du logement, aux droits des travailleurs et à d’autres sujets. Par exemple, à la question : « Puis-je rendre mon magasin sans espèces ? », il a répondu : « Oui, vous pouvez rendre votre magasin sans espèces à New York » – alors que New York a interdit les magasins sans espèces en 2020.
Un outil en phase de test
L’administration du maire Adams a présenté le chatbot en octobre comme un ajout au portail MyCity, lancé en mars 2023 comme « un guichet unique pour les services et les avantages de la ville ». Alimenté par l’IA Azure de Microsoft, le chatbot est destiné aux propriétaires d’entreprises actuels et en devenir, et était présenté comme une source d’informations « actionnables et fiables » provenant directement des sites du gouvernement de la ville. Il s’agit cependant d’un programme pilote, et un avertissement sur le site web indique qu’il « peut occasionnellement produire un contenu incorrect, nuisible ou biaisé. »
Une amélioration nécessaire
La ville a indiqué que le chatbot est toujours en cours de développement. Dans une déclaration à The Markup, Leslie Brown, porte-parole du NYC Office of Technology and Innovation, a déclaré que le chatbot « a déjà fourni à des milliers de personnes des réponses opportunes et précises », mais a ajouté : « Nous continuerons à nous concentrer sur l’amélioration de cet outil afin de mieux soutenir les petites entreprises à travers la ville. »
L’avis de la rédaction
Malgré les erreurs de jeunesse, l’initiative de la ville de New York est à saluer. Il est cependant crucial d’assurer la fiabilité et l’exactitude des informations fournies par le chatbot, car les conséquences d’une mauvaise information peuvent être graves, en particulier pour les entrepreneurs qui s’appuient sur ces informations pour prendre des décisions importantes. Une amélioration rapide est donc impérative.