La complexité des systèmes d'IA fréquemment développés par des entreprises privées et traités comme des éléments relevant de leur propriété intellectuelle peuvent conduire à de sérieux problèmes de transparence et de responsabilité.

Avec une approche toute scientiste, on suppose qu'une décision prise par une machine est ipso facto exempte de préjugés. Cette présomption erronée repose sur l'ignorance du rôle joué par l'humain dans la conception des algorithmes et donc des préjugés entachant les données utilisées pour les alimenter. L'utilisation incontrôlée de l'IA peut non seulement reproduire des résultats discriminatoires connus mais aussi en générer de nouveaux.

A l'heure où les gouvernements tentent de juguler une pandémie inédite et redoutable pour l'avenir de l'Humanité, le recours aux puissants algorithmes constitue une solution tentante qui, si on n'y prend garde, peut se révéler diabolique.

Car, avant toute utilisation de l'intelligence artificielle dans la sphère de la gestion politique et au regard des enjeux essentiels en matière de liberté, du respect du droit à la vie privée et de la démocratie, trois préoccupations majeures doivent être soulevées.

Tout d'abord, un examen approfondi par un contrôle parlementaire préalable et un débat public sur ces questions sont essentiels. Le sujet ne peut être confisqué ni sous le prétexte de l'urgence, ni sous celui de l'expertise.

Ensuite, l'IA est souvent réputée à tort infaillible. Le récent scandale de l'usage de l'algorithme SyRI (System of Risk Indicator) aux Pays-Bas le démontre à souhait: de multiples données centralisées traitées par des algorithmes confidentiels ont servi à identifier les personnes suspectées de frauder les aides sociales et le droit au travail. Or, ce ciblage visait en priorité les quartiers pauvres et les quartiers de migrants car les discriminations étaient au coeur de la conception des algorithmes. En 2020, le Tribunal de La Haye a affirmé que SyRI était contraire au droit fondamental et à la protection de la vie privée. On connait la suite: le gouvernement de Mark Rutte a dû présenter sa démission !

Le péril est alors majeur : lorsque la technologie permet une généralisation massive des processus mais entraîne parallèlement des erreurs à grande échelle, les personnes les moins à même de remettre le système en question (par exemple les personnes pauvres ou âgées, les migrants,...) sont de nouveau touchées de manière disproportionnée. Ainsi, au Royaume-Uni, où un algorithme a été mis en place pour calculer chaque mois l'allocation sociale de base, de nombreuses personnes ont injustement perdu leur allocation pour la seule raison qu'elles ne possédaient pas les compétences nécessaires pour remplir les formulaires en ligne. Par ailleurs, l'allocation a pu être diminuée d'office, sans explication ni avertissement en fonction des résultats de l'algorithme . C'est en effet au système et non à l'allocataire que revient le bénéfice du doute. Pourtant d'après les autorités elles-mêmes , quelques dizaines de milliers de dossiers produisent chaque mois des résultats erronés. La pandémie de Covid-19 ne cessant de générer un nombre croissant de chômeurs dépendant de l'aide sociale, le risque est réel que davantage d'individus soient injustement privés de l'accès à la protection sociale.

Enfin, de tels algorithmes ciblant de façon discriminatoire et opaque les personnes précarisées et marginalisées systématiquement suspectées de fraude, élargissent ainsi les possibilités d'une surveillance constante des intéressés par l'État au fil du temps.

Face à ces périls graves, nous devons réaliser que les enjeux sont profondément politiques.

En effet, l'utilisation aveugle d'algorithmes peut avoir de graves conséquences pour certains groupes ou individus en les discriminant directement ou indirectement , peut aussi exacerber les préjugés, la marginalisation et, dans le pire des cas, peut aboutir à des restrictions de libertés et de droits fondamentaux.

Nous ne pouvons pas nous permettre de nous retrancher derrière les complexités de l'IA en invoquant systématiquement une forme d'impuissance qui empêcherait nos sociétés, et en particulier les législateurs, d'adopter des réglementations de nature à protéger et à promouvoir l'égalité et la non-discrimination dans ce domaine. Nous avons un besoin urgent de procédures, d'outils et de méthodes pour réglementer et contrôler ces systèmes afin de garantir leur conformité aux normes internationales en matière de droits humains.

Garantir la transparence et l'explicabilité des décisions confiées à l'IA constitue une condition sine qua non à la mise en oeuvre de cet outil dans le champs de la gestion publique. Il est donc crucial de prévoir la mise en place de recours efficaces et accessibles pour contrer les discriminations lorsqu'elles se produisent et de veiller à ce que leurs auteurs puissent être responsables.

Les problèmes se multiplieront à mesure que les gouvernements chercheront à intensifier l'utilisation des algorithmes au nom d'une plus grande efficacité

Comme beaucoup d'autres innovations, l'IA n'est intrinsèquement ni bonne ni mauvaise. Elle peut servir des objectifs utiles ou hautement préjudiciables. Le problème ne tient pas à l'outil, mais à sa conception et à (certains de) ses usages potentiels. A nous d'être vigilants!

Christophe Lacroix, député fédéral PS et membre de l'Assemblée parlementaire du Conseil de l'Europe

La complexité des systèmes d'IA fréquemment développés par des entreprises privées et traités comme des éléments relevant de leur propriété intellectuelle peuvent conduire à de sérieux problèmes de transparence et de responsabilité.Avec une approche toute scientiste, on suppose qu'une décision prise par une machine est ipso facto exempte de préjugés. Cette présomption erronée repose sur l'ignorance du rôle joué par l'humain dans la conception des algorithmes et donc des préjugés entachant les données utilisées pour les alimenter. L'utilisation incontrôlée de l'IA peut non seulement reproduire des résultats discriminatoires connus mais aussi en générer de nouveaux. A l'heure où les gouvernements tentent de juguler une pandémie inédite et redoutable pour l'avenir de l'Humanité, le recours aux puissants algorithmes constitue une solution tentante qui, si on n'y prend garde, peut se révéler diabolique.Car, avant toute utilisation de l'intelligence artificielle dans la sphère de la gestion politique et au regard des enjeux essentiels en matière de liberté, du respect du droit à la vie privée et de la démocratie, trois préoccupations majeures doivent être soulevées.Tout d'abord, un examen approfondi par un contrôle parlementaire préalable et un débat public sur ces questions sont essentiels. Le sujet ne peut être confisqué ni sous le prétexte de l'urgence, ni sous celui de l'expertise.Ensuite, l'IA est souvent réputée à tort infaillible. Le récent scandale de l'usage de l'algorithme SyRI (System of Risk Indicator) aux Pays-Bas le démontre à souhait: de multiples données centralisées traitées par des algorithmes confidentiels ont servi à identifier les personnes suspectées de frauder les aides sociales et le droit au travail. Or, ce ciblage visait en priorité les quartiers pauvres et les quartiers de migrants car les discriminations étaient au coeur de la conception des algorithmes. En 2020, le Tribunal de La Haye a affirmé que SyRI était contraire au droit fondamental et à la protection de la vie privée. On connait la suite: le gouvernement de Mark Rutte a dû présenter sa démission ! Le péril est alors majeur : lorsque la technologie permet une généralisation massive des processus mais entraîne parallèlement des erreurs à grande échelle, les personnes les moins à même de remettre le système en question (par exemple les personnes pauvres ou âgées, les migrants,...) sont de nouveau touchées de manière disproportionnée. Ainsi, au Royaume-Uni, où un algorithme a été mis en place pour calculer chaque mois l'allocation sociale de base, de nombreuses personnes ont injustement perdu leur allocation pour la seule raison qu'elles ne possédaient pas les compétences nécessaires pour remplir les formulaires en ligne. Par ailleurs, l'allocation a pu être diminuée d'office, sans explication ni avertissement en fonction des résultats de l'algorithme . C'est en effet au système et non à l'allocataire que revient le bénéfice du doute. Pourtant d'après les autorités elles-mêmes , quelques dizaines de milliers de dossiers produisent chaque mois des résultats erronés. La pandémie de Covid-19 ne cessant de générer un nombre croissant de chômeurs dépendant de l'aide sociale, le risque est réel que davantage d'individus soient injustement privés de l'accès à la protection sociale.Enfin, de tels algorithmes ciblant de façon discriminatoire et opaque les personnes précarisées et marginalisées systématiquement suspectées de fraude, élargissent ainsi les possibilités d'une surveillance constante des intéressés par l'État au fil du temps. Face à ces périls graves, nous devons réaliser que les enjeux sont profondément politiques. En effet, l'utilisation aveugle d'algorithmes peut avoir de graves conséquences pour certains groupes ou individus en les discriminant directement ou indirectement , peut aussi exacerber les préjugés, la marginalisation et, dans le pire des cas, peut aboutir à des restrictions de libertés et de droits fondamentaux.Nous ne pouvons pas nous permettre de nous retrancher derrière les complexités de l'IA en invoquant systématiquement une forme d'impuissance qui empêcherait nos sociétés, et en particulier les législateurs, d'adopter des réglementations de nature à protéger et à promouvoir l'égalité et la non-discrimination dans ce domaine. Nous avons un besoin urgent de procédures, d'outils et de méthodes pour réglementer et contrôler ces systèmes afin de garantir leur conformité aux normes internationales en matière de droits humains. Garantir la transparence et l'explicabilité des décisions confiées à l'IA constitue une condition sine qua non à la mise en oeuvre de cet outil dans le champs de la gestion publique. Il est donc crucial de prévoir la mise en place de recours efficaces et accessibles pour contrer les discriminations lorsqu'elles se produisent et de veiller à ce que leurs auteurs puissent être responsables.Les problèmes se multiplieront à mesure que les gouvernements chercheront à intensifier l'utilisation des algorithmes au nom d'une plus grande efficacitéComme beaucoup d'autres innovations, l'IA n'est intrinsèquement ni bonne ni mauvaise. Elle peut servir des objectifs utiles ou hautement préjudiciables. Le problème ne tient pas à l'outil, mais à sa conception et à (certains de) ses usages potentiels. A nous d'être vigilants!Christophe Lacroix, député fédéral PS et membre de l'Assemblée parlementaire du Conseil de l'Europe