Respect des droits humains dans les applications digitales – 5 principes

En juin 2011, le Conseil des droits de l’homme des Nations Unies a approuvé de nouveaux Principes Directeurs sur les entreprises et les droits de l’homme. Une étape réellement décisive. Non seulement parce que les gouvernements, les entreprises et la société civile ont pu se mettre d’accord sur un cadre pour faire respecter les droits humains Mais aussi parce que ce cadre s’est révélé très pertinent pour s’appliquer à une grande variété de sujets. Le digital s’impose désormais dans le quotidien des entreprises. Voici 5 principes tirés de différents projets et programmes permettant de rester vigilant en matière de respect des droits humains dans la conception et l’utilisation d’applications digitales.

Rappelons nous des scandales Snowden et plus récemment de Facebook liés à la protection de la vie privée. Ils ont sensibilisé les utilisateurs, les militants et les gouvernements à l’impact considérable de la technologie sur les violations potentielles des droits humains dans la vie de tous les jours. Le fait que l’intrusion croissante des applications digitales dans le quotidien des gens et des organisations puisse violer des droits humains n’allait pas autant de soi il y a 10 ans. Ce n’est qu’un début. Gageons que le développement du Big Data, de l’Internet des Objets et la multiplication d’applications assistées par toujours plus d’intelligence artificielle vont continuer à façonner des environnements très différents dans lesquels les questions de respect des droits humains vont se poser dans des contextes nouveaux. Voici 5 leçons apprises tout au long de travaux et projets sur ces questions, avec différents acteurs du secteur. Ces principes peuvent aider à concevoir des projets digitaux en conservant une vigilance éthique à et mener de l’innovation responsable.

1. Mettre l’utilisateur au cœur de toute réflexion

Lorsqu’il s’agit de concevoir des produits, les utilisateurs sont toujours mis en avant sous le vocable courant de « user experience ». Mais lorsqu’il s’agit de comprendre la façon dont ces mêmes utilisateurs sont susceptibles d’utiliser à mauvais escient les produits, c’est une autre histoire. Par exemple, la surveillance d’un gouvernement utilisant les données d’itinérance des téléphones portables s’est avérée efficace pour suivre et arrêter des opposants. Le développement des « trolls » a été un moyen redoutable pour utiliser les médias sociaux et stimuler les discussions et les interactions sociales sur des sujets ayant un impact sur la perception des citoyens et des électeurs sur des sujets sociétaux multiples – les élections ou l’acceptation de campagnes de vaccination.

Dans un autre registre, j’ai pu constater des comportements humains très instructifs pour jouer et manipuler des algorithmes. Par exemple, des environnements de travail dans lesquels des entreprises essayaient de mettre des robots dans des positions de management pour organiser un travail opérationnel. En réponse, des ouvriers tentaient d’anticiper les décisions du robot, pour modifier manuellement les informations transmises et tenter ainsi de faire évoluer les décisions managériales. Cela peut fonctionner ou non, mais cette dimension sociale peut avoir une forte incidence sur la façon dont le système d’apprentissage machine peut traiter l’information et suggérer des décisions pertinentes.
En règle générale, les innovations portées par des transformations digitales sont souvent accompagnées de bonnes intentions. Mais les problèmes peuvent surtout survenir dans la façon dont les utilisateurs utilisent réellement les produits et services ou en font un mauvais usage. Une attention soutenue s’impose à cet égard.

2. Élaborer des approches éthiques axées sur les résultats

La mise en place de ParcourSup, et notamment sa capacité à organiser l’allocation des étudiants dans le système universitaire, a été émaillée de différents scandales. Ces types d’algorithmes sont bien connus. Ils ont été largement testés depuis les années 1950 pour organiser le fonctionnement des hôpitaux et des universités notamment. Entre le profil, les géographies, les préférences pour faire correspondre des nombres de souhaits importants, le traitement des données peut entraîner des conséquences imprévues. Par exemple, des cas de pratiques discriminatoires ont été documentés, en fonction du lieu, du nom de famille ou d’autres facteurs susceptibles d’entraîner de telles pratiques, factuellement discriminatoires. Les algorithmes ont été partiellement améliorés. Mais la vérité, plus inquiétante, reste que le fonctionnement d’algorithmes complexes équipant des machines apprenantes restent des boîtes noires. Les meilleurs experts s’avouent incapables de comprendre pleinement leur fonctionnement et d’en tirer des conclusions indubitables pour y porter des correctifs sur des questions discriminatoires par exemple….
L’intelligence artificielle jouera un rôle et aura un impact croissant sur nos vies. Un débat est en cours pour déterminer si, dans l’ensemble, l’intelligence artificielle conduira à des décisions plus objectives, principalement fondées sur des faits et des données, et ce, en très grand nombre. Ou plutôt si l’intelligence artificielle générera de façon exponentielle des pratiques discriminatoires (une parmi d’autres questions d’éthique …) en utilisant du matériel intrinsèquement subjectif pour générer des tendances et des conclusions prévisibles. Après tout, si une corrélation entre la consonance du nom de famille ou le quartier d’habitation dans les dossiers de justice passés montrent que certains segments d’une population donnée ont, par le passé, subi un traitement discriminatoire, pourquoi une machine apprenante serait-elle en mesure de porter des conclusions et assister à une prise de décision plus objective sur des faits plus ou moins similaires à venir ?
Le conséquentialisme ou l’éthique axée sur les résultats pose que le bien ou le mal dépendent des conséquences d’un acte, et que plus il y a de bonnes conséquences, plus l’acte est bon. Cela exige essentiellement un examen attentif des conséquences pour agir. Cela est différent de l’observation exclusive de la façon dont les utilisateurs peuvent utiliser les produits à mauvais escient. Il s’agit d’accepter que l’apprentissage machine restera une boîte noire que l’être humain ne pourra jamais comprendre et corriger complètement. Il s’agit là d’une approche très différente de la technologie et de l’innovation, et l’industrie automobile pourrait en être un bon exemple.

• Dans le passé, les constructeurs automobiles fabriquaient des voitures avec une approche proactive permettant d’atténuer les risques, en particulier ceux liés à la sécurité. Une voiture ne serait autorisée que si elle est conforme aux normes de sécurité. Chaque fois qu’un accident se produisait, il y aurait eu un examen et un processus correctif pour tirer des enseignements et améliorer la sécurité
• Avec l’apprentissage machine et le développement d’algorithmes complexes, les voitures autonomes entrent dans un environnement d’exploitation différent. Nous ne comprendrons et ne maîtriserons jamais pleinement les décisions prises par la voiture autonome. En supposant que nos sociétés permettent aux voitures autonomes de circuler à grande échelle – et c’est déjà le cas dans de multiples pays aux Etats-Unis ou en Europe – nous devrons alors accepter des conséquences non perfectibles. Nous devrons adapter l’éthique de façon réactive aux cas réels sans prétendre corriger complètement les algorithmes. Les assureurs ou les personnes qui perdent un membre de leur famille dans un accident verront clairement la différence portée par le conséquentialisme puisque des incidents pourront se reproduire sans qu’il soit possible d’y apporter de correctif absolu, mais en invitant les victimes à accepter une logique de « moins mauvaise décision possible compte tenue de variables disponibles »…

3. Coopérer entre acteurs de filière industrielle

Les transformations numériques créent un nouvel espace de vulnérabilité et d’interdépendance entre partenaires commerciaux logés dans des écosystèmes étendus. La protection de la vie privée et des données en est un bon exemple. Une entreprise de soins de santé peut recueillir des données auprès des patients pour orienter les activités de développement de produits. Mais il est très probable que ces données sensibles seront effectivement collectées, stockées ou même partagées avec des partenaires commerciaux pour de multiples raisons allant de l’externalisation de certaines activités, à des partenariats stratégiques par exemple sur des programmes logistiques ou nutritionnels.
Que sait vraiment l’entreprise des pratiques de ses partenaires commerciaux ? Bien sûr, ils signent des contrats, des codes et peuvent effectuer des vérifications. Il n’en demeure pas moins que les transformations numériques créent un point névralgique évident de vulnérabilité puisque le partage de données augmente les failles et les risques. Une cyberattaque chez un partenaire commercial peut tout simplement pousser une entreprise à faire faillite.
Le développement d’un nouveau métier, de « Digital Officer » permet de mieux cartographier et gérer les données sensibles et d’assurer une gestion plus sécurisée. Mais plus les entreprises vont développer et collaborer sur des applications et des systèmes partagés, plus elles vont devoir partager des données sensibles, et plus les points de vulnérabilité sur des questions notamment de violation de vie privée vont se mutualiser. La coopération opérationnelle avec les partenaires commerciaux, sur des filières industrielles étendues, deviennent éminemment stratégiques.

4. Explorer les impacts sociaux et sociétaux

Les innovateurs technologiques sont fascinés par ce qu’ils pensent offrir aux sociétés. Cette posture est caricaturale dans les cénacles de discussions entre entrepreneurs de la Silicon Valley par exemple. Ces inventeurs et entrepreneurs ne se soucient généralement pas des impacts sociétaux et sociaux plus larges que leurs innovations peuvent avoir sur leur environnement. AirBnB ou Uber n’avaient aucune idée de l’impact que le succès de leurs solutions aurait sur les municipalités (perte de recettes), les travailleurs des filières considérées (perte d’emplois et de marges dans l’hôtellerie ou le monde des taxis par exemple) et les communautés locales (copropriétés perturbées par la location courte durée AirBnB par exemple). Cette mauvaise compréhension des impacts sociaux a généré une résistance sociale et compliqué la pénétration des solutions AirBnB ou Uber sur un grand nombre de marchés.
Du point de vue des droits humains, le respect vient avec la capacité de respecter les traditions, les activités culturelles et, fondamentalement, la façon dont les communautés peuvent continuer à mener leur vie comme elles l’entendent. L’exploration des impacts sociaux des solutions n’est pas seulement un moyen d’atténuer les risques de résistance. C’est aussi un bon moyen d’examiner si et comment les technologies portent atteinte aux droits culturels, traditionnels ou autres. En d’autres termes, l’exploration des impacts sociaux est un bon moyen de comprendre le type de société que nous façonnons grâce aux transformations numériques – et si ces impacts sont désirés ou souhaitables, ou pas.

5. Gérer les fondamentaux correctement

Bien sûr, le respect des droits humains s’accompagne aussi d’espaces plus traditionnels liés à la gestion responsable des employés et de la chaîne d’approvisionnement : harcèlement, conditions de travail et de vie des travailleurs, diligence raisonnable dans des chaînes d’approvisionnement complexes. Sur ces différentes questions, les entreprises porteuses de solutions technologiques peuvent largement améliorer leurs pratiques.
Le concept d’inclusion peut là encore aider les acteurs à porter un regard neuf sur ces questions de respect des droits humains dans le propre mode de conception, fabrication et utilisation de solutions digitales en travaillant à quelques questions simples :

• Inclusion des écosystèmes. Combien de développeurs sont statistiquement considérés comme des travailleurs pauvres? La question de la juste répartition de la valeur créée entre contributeurs n’est pas qu’une question éthique. Elle est aussi une question touchant à la pérennité de filières
• Inclusion des territoires. Le développement de solutions digitales permet d’une certaine mesure de s’affranchir des réalités territoriales, et des impôts qui vont avec. Là encore, la réflexion portée par la question d’inclusion permet d’encourager les filières à réfléchir à une répartition des richesses plus juste et notamment à la contribution par l’impôt au développement des territoires dans lesquels ces entreprises développent, distribuent et vendent les produits
• Inclusion des utilisateurs. Les questions de discriminations par le genre demeurent à titre d’exemple fascinantes. Elles invitent là encore les concepteurs à porter un regard différent le long des phases de développement des applications digitales pour tenir compte des questions de genre

Conclusion: 5 Principes pour une attitude de vigilance

Ainsi, ces principes génériques nourris de différents exemples permettent d’encourager les concepteurs, développeurs et investisseurs dans des solutions digitales à utiliser le prisme du respect des droits humains pour tout simplement concevoir des applications plus pérennes :

• Devancer les résistances sociales à même de mettre un frein au succès de certaines applications
• Éviter les scandales et procès éthiques, qui sont bien souvent le fruit de l’ignorance et d’un manque de vigilance pour bien comprendre les détournements opérés avec certaines applications ou certaines de leurs fonctionnalités
• Accroître la contribution positive de toute application, au service du développement et de l’expression des droits humains de tout un chacun