Bien que les nouvelles technologies paraissent, dans de nombreux cas, conçues pour faciliter la vie des gens et rendre les décisions des institutions plus « équitables », ce qu’elles font souvent, c’est d’enraciner des biais préexistants et d’aggraver les effets de la discrimination. Cette tendance est d’autant plus probable que nombre de nos produits et services les plus « cool » sont principalement développés et déployés par l’élite technologique du secteur privé. Ce groupe, largement riche, blanc et masculin, domine les conseils d’administration des grandes entreprises, la liste des intervenants lors d’événements phares de la tech et les listes d’experts et de conseillers réunis pour répondre à des questions soulevées par les usages discutables de la technologie. Une structure toxique qui accorde peu, voire pas du tout, de voix à ceux qui sont déjà marginalisés.
Les répercussions de ce biais se font déjà sentir : des systèmes de réalité virtuelle provoquant chez les femmes des nausées en mouvement; des technologies de reconnaissance faciale incapables de reconnaître les visages noirs ou bruns, ou les identifiant à tort comme des animaux; et des danseuses robots féminines « sexy », déployées pour divertir les invités lors d’événements.
Algorithmes à grande échelle : dénoncer les biais
Un exemple majeur de ce que l’on pourrait appeler « discrimination par conception » réside dans les usages croissants des algorithmes. Si les algorithmes font désormais la une des médias et s’immiscent dans le savoir public, bon nombre d’entre nous savent déjà ce qu’ils font. Après tout, les algorithmes orientent nos résultats de recherche, diffusent les publicités et nous indiquent qui devenir ami. Cela peut sembler formidable, mais leur usage va bien au-delà de ces services apparemment inoffensifs. Aujourd’hui, ils peuvent aussi dire à la police où patrouiller, dire aux juges combien de temps une personne doit rester en détention, et dire aux courtiers en bourse quand acheter ou vendre. Et dans un avenir proche, ils seront utilisés dans presque tous les pans de notre vie : ils diront à nos voitures autonomes quand freiner, diront aux éducateurs quels enfants nécessitent peut-être un accompagnement différent, et conseilleront aux médecins quels patients d’un hôpital traiter ou ignorer.
nos nouveaux produits et services « cool » sont largement développés et déployés par l’élite technologique du secteur privé, largement aisée, blanche et masculine
Mais les algorithmes ne prennent pas de décisions de façon autonome : ils sont conçus par des personnes, et conçus pour analyser d’importantes ensembles de données et produire des informations à partir des résultats antérieurs. Ce processus ouvre la porte à la discrimination à plusieurs niveaux : biais inhérents des concepteurs, jeux de données de mauvaise qualité, pondération excessive de facteurs arbitraires ou inappropriés. Et cela se traduit dans la vie réelle. Par exemple, les algorithmes de reconnaissance faciale utilisés à travers les États-Unis ont mal identifié les visages noirs au moins deux fois plus souvent que les visages blancs. Cela rendrait beaucoup plus probable de signaler à tort une personne noire comme criminelle, exacerbant les biais préexistants dans le système judiciaire américain contre l’incarcération des personnes non blanches.
Et lorsque l’apprentissage automatique entre en scène, ce qui automatise la création et le fonctionnement des algorithmes, il peut être encore plus difficile d’identifier les biais intégrés, car ceux qui font tourner les algorithmes peuvent ignorer quels jeux de données ou quels processus ont mené à telle conclusion. La solution, selon beaucoup, passe par une bien plus grande transparence et une plus grande responsabilité dans le déploiement des algorithmes. Il ne s’agit pas simplement de « transparence algorithmique ». Peu de gens peuvent comprendre ce que fait un algorithme en le regardant simplement. Il faut plutôt expliquer, au minimum, les données qui alimentent l’algorithme, les conclusions souhaitées, ainsi que les résultats réels au fil du temps, afin que des personnes réelles puissent comprendre et évaluer son utilisation.
Protection des données pour l’élite
Il existe encore de nombreux chantiers où le travail nécessaire pour prévenir une forme de « techno‑chauvinisme » – l’incarnation de la haine et de la discrimination dans les technologies du quotidien – n’a même pas commencé. Le manque d’inclusion a été particulièrement néfaste dans le domaine de la cybersécurité, où les données et les dispositifs peu sûrs peuvent avoir des conséquences dévastatrices pour les communautés marginalisées. On le voit notamment dans la propagation du « revenge porn » et dans le ciblage des utilisateurs qui téléchargent ou utilisent des applications liées à la communauté LGBTQI par des gouvernements répressifs et des groupes de haine.
Malheureusement, de mauvaises pratiques de sécurité numérique signifient que les violations de données se produisent sans cesse. Mais, plutôt que d’examiner les répercussions des violations et comment les atténuer, les responsables publics adoptent une rhétorique qui pourrait conduire à des données encore plus vulnérables. Dans le monde entier, y compris dans les pays de l’UE, les dirigeants s’en prennent au chiffrement : un moyen de protéger les données en transit ou stockées. Afin de (hypothétiquement) garantir qu’ils puissent préserver l’accès aux communications des criminels (aucune solution proposée à ce jour n’a démontré une probabilité réelle d’atteindre cet objectif), les gouvernements cherchent à limiter la solidité de la sécurité que les entreprises peuvent offrir à leurs utilisateurs.
Des actes audacieux et tournés vers l’avenir sont essentiels pour protéger les communautés marginalisées et vulnérables
Ceci ne peut qu’accentuer les biais préexistants : les populations marginalisées qui bénéficient le plus d’une sécurité standard seront aussi les plus susceptibles d’utiliser des produits moins sûrs. Et à mesure que s’imposent des mandats anti-chiffrement, les communications ne seront plus sûres pour les personnes LGBTQI en Arabie Saoudite (où l’homosexualité est punie de la peine de mort) ou pour les militants en Russie (où la critique du gouvernement est traitée comme extrémisme). Alors que des services comme WhatsApp et Signal ont apporté une sécurité solide à ces voix en danger, des mandats gouvernementaux pourraient la réduire, ne laissant l’accès qu’à ceux qui peuvent se payer (et savoir comment utiliser) des outils alternatifs et des services disponibles via des communautés open source ou dans d’autres juridictions.
RGPD : un pas dans la bonne direction
Le Règlement général sur la protection des données (RGPD) – entré en vigueur le 25 mai 2018 – est une lueur d’espoir sur l’horizon de ces enjeux. Par exemple, le RGPD prévoit un « droit à l’explication », destiné à assurer que les personnes soient informées sur la logique qui sous-tend les algorithmes utilisées pour prendre des décisions les concernant. Reste à voir comment les tribunaux appliqueront ce droit, mais il offre une voie plausible et donne espoir que les utilisateurs puissent accéder à suffisamment d’informations pour comprendre quand des algorithmes servent à renforcer des biais.
Mieux encore, le RGPD impose séparément aux entreprises d’avertir les personnes concernées d’une violation de données lorsqu’il existe « un risque élevé pour les droits et libertés des personnes concernées ». Bien que cette formulation soit sujette à interprétation, cela signifie que les notifications dépasseront les données financières liées qui sont actuellement couvertes par de nombreuses lois mondiales sur les violations de données. Une fois cette exigence en vigueur, il se pourrait même que l’on découvre combien de violations de données existent réellement. Si certains craignent que cela entraîne une « fatigue des notifications » – une situation où les utilisateurs reçoivent trop de messages et cessent d’agir – cela restera probablement bien meilleur que le statu quo actuel.
Le RGPD est une lueur d’espoir sur l’horizon pour bon nombre de ces enjeux.
Dans le domaine technologique, l’Union européenne a une chance de devenir un leader mondial et d’établir des politiques dont les publics du monde entier bénéficieront. Le RGPD est un excellent point de départ, mais il ne couvre pas tout. Par exemple, malgré cinq occurrences de référence au chiffrement, il pourrait ne pas suffire à protéger cette technologie, alors que les dirigeants de l’Union poursuivent leurs efforts pour affaiblir cette sécurité numérique critique. Sur ce sujet, chacun peut contribuer et agir dès maintenant : les décideurs doivent soutenir des déclarations en faveur du chiffrement et investir dans son développement et son usage. La France et les Pays-Bas, par exemple, ont émis des positions qui pourraient servir de référence pour d’autres pays cherchant à garantir une protection contre les mandats discriminatoires.
De plus, la vigilance doit être sans faille. La technologie évolue rapidement, et même si de nouvelles règles et lois tech-neutral peuvent être bien intentionnées, elles pourraient aussi engendrer des conséquences imprévues qui mettent les droits humains en danger. Rester informé des avancées techniques et, pour les responsables politiques et juridiques, garder des experts techniques en poste pour expliquer en détail le fonctionnement des nouveaux outils, nous aidera à être prêts face à des avancées majeures.
Le défi à venir : programmer un avenir équitable
Des actes audacieux et tournés vers l’avenir sont essentiels pour protéger les communautés marginalisées et vulnérables à travers le monde, sinon pour tout le monde. Ces communautés doivent jouer un rôle central dans l’élaboration des politiques qui ouvriront la voie vers le futur et qui régiront la techno qui fait désormais partie du quotidien. Avec l’importance croissante des algorithmes et de la cybersécurité, sans oublier l’expansion de l’Internet des objets et l’avancée de l’intelligence artificielle, il est crucial de veiller au développement et au renforcement des voix qui peuvent identifier les enjeux cachés avant qu’ils ne dégénèrent.
Le mouvement #MeToo prouve que la discrimination n’a pas sa place dans le présent. Mais à mesure que l’avenir nous apportera des technologies plus puissantes, nous devons être prêts à prendre une nouvelle responsabilité afin de nous assurer que nous ne contribuons pas involontairement à construire une infrastructure qui réintroduirait la discrimination dans la société. Un investissement approprié dans les protections juridiques et une réglementation robuste, y compris des protections effectives des droits humains, pourrait être la seule manière d’éviter de nous retrouver dans une dystopie technochauvine terrible.
