Nouvelles

Jun 17, 2023

L'application photo de Google ne trouve toujours pas les gorilles. Et Apple non plus.

Publicité soutenue par Huit ans après une polémique sur les Noirs

Publicité

Supporté par

Huit ans après une controverse sur les Noirs étiquetés à tort comme des gorilles par un logiciel d'analyse d'images – et malgré de grandes avancées dans la vision par ordinateur – les géants de la technologie craignent toujours de répéter l'erreur.

Par Nico Grant et Kashmir Hill

Lorsque Google a lancé son application Photos autonome en mai 2015, les gens ont été impressionnés par ce qu'elle pouvait faire : analyser des images pour étiqueter les personnes, les lieux et les choses qu'elles contenaient, une offre étonnante pour les consommateurs à l'époque. Mais quelques mois après la sortie, un développeur de logiciels, Jacky Alciné, a découvert que Google avait qualifié de "gorilles" des photos de lui et d'un ami, tous deux noirs, un terme particulièrement offensant car il fait écho à des siècles de racisme. tropes.

Dans la controverse qui a suivi, Google a empêché son logiciel de catégoriser quoi que ce soit dans Photos comme des gorilles, et il s'est engagé à résoudre le problème. Huit ans plus tard, avec les avancées significatives de l'intelligence artificielle, nous avons testé si Google avait résolu le problème, et nous nous sommes penchés sur des outils comparables de ses concurrents : Apple, Amazon et Microsoft.

Les applications photo créées par Apple, Google, Amazon et Microsoft s'appuient sur l'intelligence artificielle pour nous permettre de rechercher des éléments particuliers et d'identifier des souvenirs spécifiques dans nos collections de photos de plus en plus volumineuses. Vous voulez retrouver votre journée au zoo parmi 8 000 images ? Demandez à l'application. Donc, pour tester la fonction de recherche, nous avons organisé44 imagesmettant en scène des personnes, des animaux et des objets du quotidien.

Nous avons commencé avec Google Photos. Lorsque nous avons recherché dans notre collectionchatsetkangourous, nous avons obtenu des images qui correspondaient à nos requêtes. L'application a bien fonctionné pour reconnaître la plupart des autres animaux.

Mais quand nous avons cherchéles gorilles, Google Photos n'a trouvé aucune image. Nous avons élargi notre recherche àbabouins, chimpanzés, orangs-outansetsinges,et cela a toujours échoué même s'il y avait des images de tous ces primates dans notre collection.

Nous avons ensuite regardé les concurrents de Google. Nous avons découvert qu'Apple Photos avait le même problème : il pouvait trouver avec précision des photos d'animaux particuliers, à l'exception de la plupart des primates. Nous avons obtenu des résultats pourgorille,mais seulement lorsque le texte apparaît sur une photo, comme une image de Gorilla Tape.

La recherche de photos dans Microsoft OneDrive a laissé un blanc pour chaque animal que nous avons essayé. Amazon Photos a montré des résultats pour toutes les recherches, mais c'était trop inclusif. Lorsque nous avons cherchéles gorilles,l'application montrait une ménagerie de primates et répétait ce schéma pour d'autres animaux.

indéfini

Il y avait un membre de la famille des primates que Google et Apple ont pu reconnaître : les lémuriens, ces animaux à longue queue qui surprennent en permanence et qui partagent des pouces opposables avec les humains, mais qui sont plus éloignés que les singes.

Les outils de Google et d'Apple étaient clairement les plus sophistiqués en matière d'analyse d'images.

Pourtant, Google, dont le logiciel Android sous-tend la plupart des smartphones du monde, a pris la décision de désactiver la possibilité de rechercher visuellement des primates de peur de commettre une erreur offensive et de qualifier une personne d'animal. Et Apple, avec une technologie qui a fonctionné de la même manière que celle de Google dans notre test, a également semblé désactiver la possibilité de rechercher des singes et des grands singes.

Les consommateurs n'ont peut-être pas besoin d'effectuer fréquemment une telle recherche - bien qu'en 2019, un utilisateur d'iPhone se soit plaint sur le forum d'assistance client d'Apple que le logiciel "ne peut pas trouver de singes sur les photos de mon appareil". Mais le problème soulève des questions plus larges sur d'autres failles non corrigées ou non réparables qui se cachent dans les services qui reposent sur la vision par ordinateur - une technologie qui interprète les images visuelles - ainsi que sur d'autres produits alimentés par l'IA.

M. Alciné a été consterné d'apprendre que Google n'a toujours pas complètement résolu le problème et a déclaré que la société faisait trop confiance à la technologie.

"Je n'aurai jamais confiance en cette IA", a-t-il déclaré.

Les produits de vision par ordinateur sont désormais utilisés pour des tâches aussi banales que l'envoi d'une alerte lorsqu'il y a un colis à la porte, et aussi importantes que la conduite de voitures et la recherche d'auteurs dans le cadre d'enquêtes policières.

Les erreurs peuvent refléter des attitudes racistes parmi ceux qui codent les données. Lors de l'incident du gorille, deux anciens employés de Google qui travaillaient sur cette technologie ont déclaré que le problème était que l'entreprise n'avait pas mis suffisamment de photos de Noirs dans la collection d'images qu'elle utilisait pour former son système d'IA. En conséquence, la technologie n'était pas assez familière avec les personnes à la peau plus foncée et les confondait avec les gorilles.

À mesure que l'intelligence artificielle s'intègre de plus en plus dans nos vies, elle suscite des craintes de conséquences imprévues. Bien que les produits de vision par ordinateur et les chatbots IA comme ChatGPT soient différents, les deux dépendent de rames de données sous-jacentes qui entraînent le logiciel, et les deux peuvent échouer en raison de défauts dans les données ou de biais incorporés dans leur code.

Microsoft a récemment limité la capacité des utilisateurs à interagir avec un chatbot intégré à son moteur de recherche, Bing, après avoir lancé des conversations inappropriées.

La décision de Microsoft, comme le choix de Google d'empêcher complètement son algorithme d'identifier les gorilles, illustre une approche courante de l'industrie - bloquer les fonctionnalités technologiques qui fonctionnent mal plutôt que de les réparer.

"Résoudre ces problèmes est important", a déclaré Vicente Ordóñez, professeur à l'Université Rice qui étudie la vision par ordinateur. "Comment pouvons-nous faire confiance à ce logiciel pour d'autres scénarios ?"

Michael Marconi, un porte-parole de Google, a déclaré que Google avait empêché son application photo d'étiqueter quoi que ce soit comme un singe ou un singe parce qu'il avait décidé que le bénéfice "ne l'emporte pas sur le risque de préjudice".

Apple a refusé de commenter l'incapacité des utilisateurs à rechercher la plupart des primates sur son application.

Des représentants d'Amazon et de Microsoft ont déclaré que les entreprises cherchaient toujours à améliorer leurs produits.

Lorsque Google développait son application photo, qui a été lancée il y a huit ans, il a collecté une grande quantité d'images pour entraîner le système d'IA à identifier les personnes, les animaux et les objets.

Son oubli important – qu'il n'y avait pas assez de photos de Noirs dans ses données de formation – a provoqué un dysfonctionnement ultérieur de l'application, ont déclaré deux anciens employés de Google. La société n'a pas réussi à découvrir le problème du "gorille" à l'époque car elle n'avait pas demandé à suffisamment d'employés de tester la fonctionnalité avant ses débuts publics, ont déclaré les anciens employés.

Google s'est abondamment excusé pour l'incident des gorilles, mais c'était l'un des nombreux épisodes de l'industrie technologique au sens large qui ont conduit à des accusations de partialité.

Parmi les autres produits critiqués, citons les webcams de suivi du visage de HP, qui ne pouvaient pas détecter certaines personnes à la peau foncée, et l'Apple Watch, qui, selon un procès, n'a pas réussi à lire avec précision les niveaux d'oxygène dans le sang à travers les couleurs de peau. Les défaillances suggéraient que les produits technologiques n'étaient pas conçus pour les personnes à la peau plus foncée. (Apple a souligné un article de 2022 qui détaillait ses efforts pour tester son application d'oxygène sanguin sur un "large éventail de types et de tons de peau".)

Des années après l'erreur de Google Photos, l'entreprise a rencontré un problème similaire avec sa caméra de sécurité domestique Nest lors de tests internes, selon une personne familière avec l'incident qui travaillait chez Google à l'époque. La caméra Nest, qui a utilisé l'IA pour déterminer si quelqu'un sur une propriété était familière ou inconnue, a confondu certains Noirs avec des animaux. Google s'est empressé de résoudre le problème avant que les utilisateurs n'aient accès au produit, a déclaré la personne.

Cependant, les clients Nest continuent de se plaindre sur les forums de l'entreprise d'autres défauts. En 2021, un client a été alerté que sa mère sonnait à la porte mais a trouvé sa belle-mère à la place de l'autre côté de la porte. Lorsque les utilisateurs se sont plaints que le système mélangeait les visages qu'ils avaient marqués comme "familiers", un représentant du support client du forum leur a conseillé de supprimer toutes leurs étiquettes et de recommencer.

M. Marconi, le porte-parole de Google, a déclaré que "notre objectif est d'empêcher que ce type d'erreurs ne se produise". Il a ajouté que la société avait amélioré sa technologie "en s'associant à des experts et en diversifiant nos ensembles de données d'images".

En 2019, Google a tenté d'améliorer une fonctionnalité de reconnaissance faciale pour les smartphones Android en augmentant le nombre de personnes à la peau foncée dans son ensemble de données. Mais les sous-traitants que Google avait embauchés pour collecter les scans faciaux auraient eu recours à une tactique troublante pour compenser ce manque de données diverses : ils ciblaient les sans-abri et les étudiants. Les dirigeants de Google ont qualifié l'incident de "très inquiétant" à l'époque.

Alors que Google a travaillé dans les coulisses pour améliorer la technologie, il n'a jamais permis aux utilisateurs de juger ces efforts.

Margaret Mitchell, chercheuse et co-fondatrice du groupe Ethical AI de Google, a rejoint l'entreprise après l'incident du gorille et a collaboré avec l'équipe Photos. Elle a déclaré dans une récente interview qu'elle était partisane de la décision de Google de supprimer "l'étiquette des gorilles, au moins pendant un certain temps".

"Vous devez penser à la fréquence à laquelle quelqu'un doit étiqueter un gorille plutôt que de perpétuer des stéréotypes nuisibles", a déclaré le Dr Mitchell. "Les avantages ne l'emportent pas sur les inconvénients potentiels d'une mauvaise manipulation."

Le Dr Ordóñez, le professeur, a émis l'hypothèse que Google et Apple pourraient désormais être capables de distinguer les primates des humains, mais qu'ils ne voulaient pas activer la fonctionnalité compte tenu du risque de réputation possible si elle ratait à nouveau.

Google a depuis lancé un produit d'analyse d'images plus puissant, Google Lens, un outil permettant de rechercher sur le Web avec des photos plutôt qu'avec du texte. Wired a découvert en 2018 que l'outil était également incapable d'identifier un gorille.

Lorsque nous avons montré à Lens une photo d'un chien, il a pu suggérer sa race probable.

Mais lorsque nous lui avons montré un gorille, un chimpanzé, un babouin et un orang-outan, Lens semblait perplexe, refusant d'étiqueter ce qui était dans l'image et ne faisant apparaître que des "correspondances visuelles" - des photos qu'il jugeait similaires à l'image originale.

Pour les gorilles, il a montré des photos d'autres gorilles, suggérant que la technologie reconnaît l'animal mais que le

l'entreprise a peur de l'étiqueter.

Lorsque nous avons montré à Lens une photo d'un chien, il a pu suggérer sa race probable.

Mais lorsque nous lui avons montré un gorille, un chimpanzé, un babouin et un orang-outan, Lens semblait perplexe, refusant d'étiqueter ce qui était dans l'image et ne faisant apparaître que des "correspondances visuelles" - des photos qu'il jugeait similaires à l'image originale.

Pour les gorilles, il a montré des photos d'autres gorilles, suggérant que la technologie reconnaît l'animal mais que l'entreprise a peur de l'étiqueter.

indéfini

Ces systèmes ne sont jamais infaillibles, a déclaré le Dr Mitchell, qui ne travaille plus chez Google. Étant donné que des milliards de personnes utilisent les services de Google, même des problèmes rares qui n'arrivent qu'à une seule personne sur un milliard d'utilisateurs apparaîtront.

"Il suffit d'une seule erreur pour avoir des ramifications sociales massives", a-t-elle déclaré, la qualifiant d'"aiguille empoisonnée dans une botte de foin".

Nico Grant est un journaliste technologique couvrant Google depuis San Francisco. Auparavant, il a passé cinq ans chez Bloomberg News, où il s'est concentré sur Google et le cloud computing. @nicoagrant

Kashmir Hill est un journaliste technologique basé à New York. Elle écrit sur les façons inattendues et parfois inquiétantes dont la technologie change nos vies, en particulier en ce qui concerne notre vie privée. @kashhill

Publicité