Quand l'intelligence artificielle devient sexiste

Ileana Tismanariu — 2019-06-21T18:40:32Z

Une aura de neutralité accompagne souvent l'intelligence artificielle (IA) et beaucoup d'espoirs sont placés dans sa capacité à être plus objective que son équivalent humain. Il a cependant été démontré que l'IA n'est pas à l'abri des préjugés qui imprègnent notre société. Réflexions sur l'impact des biais de genre dans l'IA et la nécessité d'adapter les cadres juridiques existants.

« I fucking hate feminists and they should all die and burn in hell », tweetait Tay le 23 mars 2016. Lancé le même jour, ce projet d'intelligence artificielle développé par Microsoft prenait les apparences d'une adolescente ordinaire capable de converser avec les internautes et d'apprendre de ses interactions avec ces derniers : « Plus vous discutez avec Tay, plus elle devient intelligente », résumait Microsoft dans la description du compte Twitter de ce robot conversationnel (chatbot). Gavée de propos sexistes et racistes par les internautes, Tay s'est mise à tenir les mêmes propos haineux et Microsoft a dû suspendre en catastrophe sa démonstration technologique moins de vingt-quatre heures après sa mise en ligne.

Plus qu'un simple coup de marketing manqué, l'expérience de Tay est porteuse de leçons pertinentes sur l'IA. Si ce type de systèmes informatiques visant à émuler les capacités de l'intelligence humaine fait aujourd'hui l'objet de développements exponentiels, c'est notamment grâce aux progrès des méthodes dites d'apprentissage profond (deep learning). Ces méthodes permettent à l'IA d'apprendre de manière autonome par l'analyse de vastes bassins de données. Or, ces données ne sont pas neutres : elles reflètent une société, ses fractures, ses idéologies, ses inégalités. Une IA qui, comme Tay, intègre sans discernement les modèles qui s'en dégagent ne peut que reproduire, voire exacerber, les biais cristallisés dans ces données et les faire persister. À ce titre, une étude publiée dans la revue Science a démontré comment un algorithme ayant analysé plusieurs milliards de textes assimile les représentations sexistes des genres intégrées dans ces écrits en concluant que l'homme est au programmeur ce que la femme est à la ménagère, au même titre que l'homme est au roi ce que la femme est à la reine [1].

Conséquences réelles

Bien que difficiles à discerner, les effets des biais de genre assimilés par les IA qui parsèment notre quotidien sont bien réels. À titre d'exemple, des chercheurs de Carnegie Mellon ont mis en lumière que l'algorithme qui sous-tend les publicités ciblées de Google montrait moins de publicités liées à des postes de haut salaire aux internautes identifiés comme femmes qu'aux internautes identifiés comme hommes [2]. Ces effets sont d'autant plus préoccupants dans les situations, de plus en plus fréquentes, où des décisions déterminantes sont confiées à ces IA. Pensons aux domaines de la justice, de la santé, de l'éducation, des assurances, du travail ou de la finance. Un algorithme de recrutement pourrait, par exemple, privilégier les CV provenant d'hommes lorsqu'un recruteur ou une recruteuse cherche un candidat dans un milieu traditionnellement masculin. L'IA se retrouverait en position de façonner l'avenir sur la base des inégalités passées, balayant des années de combats sociaux et de prises de conscience collective.

Heureusement, une fois identifiés, il est techniquement possible de remédier à ces biais. Néanmoins, la plupart des compagnies, soucieuses du secret de leurs algorithmes, se montrent peu enclines à faire preuve de transparence et à soumettre leurs IA à des audits. Et, même lorsqu'ils se révèlent accessibles, leur complexité est telle qu'il n'est pas toujours possible de retracer la manière dont s'articule le raisonnement de ces algorithmes et d'identifier les biais pertinents. Comment le droit canadien pourrait-il nous permettre de lever le voile sur une IA, de comprendre une décision rendue par un algorithme, voire de la remettre en cause ?

Leviers juridiques

Cette question peut être explorée à la lumière de plusieurs cadres juridiques. Le droit à la vie privée semble cependant particulièrement propice à cette réflexion, considérant que c'est à travers leurs données que les individus peuvent être assujettis aux décisions d'une IA. Ces données, lorsqu'elles concernent un individu identifiable, sont qualifiées de « renseignements personnels » aux yeux des lois sur la protection des renseignements personnels fédérales et provinciales. Comme la collecte, l'utilisation et la communication de ces renseignements personnels sont déjà sujettes à ces lois, ces dernières seraient un terrain tout à fait adéquat à l'articulation de mesures juridiques concrètes visant à outiller les personnes soumises aux décisions d'une IA. Malheureusement, cela ne semble pas être à l'agenda des autorités de contrôle.

Le rapport annuel au Parlement 2016-2017 du Commissariat à la protection de la vie privée du Canada souligne la nécessité de moderniser les régimes de protection en place et la complexité croissante des algorithmes, sans toutefois offrir d'initiatives afin d'accroître leur transparence dans les contextes les plus sensibles. Il reconnaît également les « conséquences discriminatoires possibles des mégadonnées », mais estime qu'il est trop tôt encore pour qu'une perspective éthique soit intégrée dans la protection de la vie privée. De même, la Commission d'accès à l'information du Québec reconnaît dans son rapport quinquennal que l'utilisation de certains renseignements à certaines fins susceptibles d'entraîner de la discrimination pourrait être interdite, mais ne recommande cette interdiction que vis-à-vis des renseignements génétiques.

Pendant ce temps, pourtant, ces questions ont fait l'objet de nombreuses réflexions au sein de l'Union européenne dont le parlement a adopté en 2016 le Règlement général sur la protection des données (RGPD). La prise de décision automatisée est spécifiquement abordée dans le RGPD, qui avance des pistes des plus intéressantes pour l'encadrer. En vertu du règlement, l'existence d'une telle prise de décision automatisée doit être déclarée à la personne concernée et, le cas échéant, les informations utiles concernant la logique sous-jacente de cette décision ainsi que l'importance et les conséquences de ce traitement doivent lui être divulguées. Plus encore, le RGPD consacre le principe selon lequel une personne a le droit de ne pas faire l'objet d'une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques la concernant ou l'affectant de manière significative.

En d'autres termes, le RGPD semble vouloir établir qu'aussi complexes que puissent devenir les IA, leur logique devrait rester intelligible aux humains et sujette à investigation afin que les personnes concernées puissent, en toute connaissance de cause, décider de s'en soustraire ou non. L'interprétation de ces articles du RGPD a suscité de nombreux débats outre-Atlantique, mais leur portée risque de se clarifier à partir de leur entrée en vigueur le 25 mai 2018. Dans tous les cas, on ne peut que presser les législateurs canadien et québécois de suivre avec attention la mise en œuvre du RGPD et de ne pas tarder à adapter les cadres juridiques existants, notamment en matière de vie privée, afin de garantir une plus grande transparence des IA décisionnelles et de prévenir les traitements discriminatoires pouvant découler des biais assimilés par leurs algorithmes.

Éthique et valeurs

Les pistes d'actions ne s'arrêtent toutefois pas aux lois. Une chercheuse et des chercheurs de l'Oxford Internet Institute ont avancé l'idée de la mise sur pied d'une entité indépendante chargée d'auditer les algorithmes, autant pour les certifier en amont de leur déploiement que pour répondre à une demande d'enquête du public [3]. On peut également saluer les initiatives prises par certaines institutions pour réfléchir aux principes éthiques qui devraient gouverner le développement de l'IA, telles que celle du Centre de recherche en éthique de l'Université de Montréal qui pilote la co-construction de la Déclaration de Montréal pour un développement responsable de l'intelligence artificielle avec laquelle chacun·e d'entre nous est invité·e à exprimer son avis. Finalement, on ne saurait assez encourager une plus grande diversité au sein des équipes responsables de la programmation des IA, encore largement dominées par la gent masculine, afin d'accroître la vigilance vis-à-vis des biais de genre notamment, qu'ils proviennent des données ou des individus mêmes.

Dans le Cyborg Manifesto de Donna Haraway, l'image du cyborg appelle à la dissolution des frontières et des distinctions ainsi qu'à l'avènement d'un monde transcendant le genre. À nous de veiller à ce que l'IA n'intègre non pas les biais sexistes qui persistent dans la société d'aujourd'hui, mais plutôt les valeurs féministes sur lesquelles l'on souhaite construire la société de demain.

[1] Amit Datta, Michael Carl Tschantz et Anupam Datta, « Automated experiments on ad privacy settings : A tale of opacity, choice, and discrimination », arXiv:1408.6491 [cs.CR], 2015.

[2] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama et Adam Kalai, « Man is to Computer Programmer as Woman is to Homemaker ? Debiasing Word Embeddings », arXiv:1607.06520 [cs.CL], 2016.

[3] Sandra Wachter, Brent Mittelstadt et Luciano Floridi, « Why a right to explanation of automated decision- making does not exist in the General Data Protection Regulation », International Data Privacy Law, 2017.

L'autrice est avocate.

Montage photo : Ronny Sommerfeldt (CC BY-ND 2.0).

Revue À bâbord !

Quand l'intelligence artificielle devient sexiste

Conséquences réelles

Leviers juridiques

Éthique et valeurs