Pouvoir et IA

Contre-atlas de l'intelligence artificielle de Kate Crawford est un essai à charge contre l'IA, définie comme "une formation industrielle massive qui inclut politique, main-d’œuvre, culture et capital", et "une forme d'exercice du pouvoir".

Ce livre est structuré en 6 chapitres distincts :

• La Terre décrit les différentes ressources nécessaires à la fabrication des composants et à la chaîne d'approvisionnement des entreprises tech (lithium, terres rares...), et comment l'extraction de ses ressources pollue et favorise le conflit dans des zones à risque.
• La main-d’œuvre est consacré aux travailleurs qui étiquettent les données et se chargent des tâches subalternes dans l'entraînement des IA, ainsi qu'à la manière dont l'IA est utilisée pour surveiller les travailleurs et chronométrer leur temps de travail.
• Les données dénonce la manière non éthique dont sont collectées les données (fichiers des centres de police, réseaux sociaux, caméras cachées...) et dont elles sont exploitées (systèmes de détection de criminels biaisés qui ciblent des innocents).
• La classification remet en question le fait de classifier des gens présents dans les bases de données dans des catégories binaires qui dépendent de constructions sociales (genre, race...) voire dans des catégories offensantes (prostituée, bon-à-rien) sans leur consentement.
• Les affects dénonce les systèmes de reconnaissance faciale cherchant à détecter les affects des individus selon des catégories pré-déterminées, décrétées comme universelles alors que la manifestation des émotions dépend d'un contexte social et d'une culture, artificielles et pseudo-scientifiques. C'est probablement le chapitre le plus dispensable de ce livre, la détection des affects par l'IA à grande échelle n'étant pas vraiment son application principale.
• L’État est le sixième et dernier chapitre du livre, il décrit différents systèmes mis en place par les États-Unis et délégués à des entreprises pour détecter des ennemis sur des champs de bataille, des potentiels terroristes parmi les immigrés, des fraudeurs de l'aide sociale, avec ce que ça implique de biais et de victimes innocentes.

Kate Crawford termine sur une conclusion en deux parties :

• Le pouvoir, qui rappelle que l'IA ne sert qu'à ceux qui détiennent le pouvoir (États occidentaux, grandes entreprises) et que son utilisation doit être limitée.
• L'espace, qui fait une ouverture sur la volonté des milliardaires de la tech d'aller dans l'espace pour détenir des ressources illimitées.

Cet essai est utile pour comprendre la manière dont les très grandes entreprises (Google, Amazon) et les services de renseignement exploitent les données illégalement ou de manière non éthique, et appliquent des algorithmes biaisés pour des classifications arbitraires d'individus. Ce qu'il dénonce mérite effectivement de l'être, et les nombreux exemples donnés alertent efficacement contre les utilisations abusives de l'IA.

Cependant, la lecture de cet essai me laisse l'impression que le choix de Kate Crawford d'écrire un essai à charge et de se limiter à comment l'IA sert le pouvoir laisse de côté beaucoup d'éléments qu'elle aurait pu mentionner. Même si l'auteur prend la peine de distinguer l'IA, un terme marketing et qui pour elle implique une exploitation au service des géants de la tech et des gouvernements, et l'apprentissage automatique, qui est un domaine de recherche scientifique particulier, au final c'est bien de l'utilisation de l'apprentissage automatique dont il s'agit, et Kate Crawford en fait un portrait très restreint. Quid de l'application de l'apprentissage automatique dans le domaine biomédical, l'ingénierie, la recherche ? Il semble un peu facile de décréter que l'IA ne sert qu'à servir les gens au pouvoir si on ne donne que des exemples qui vont dans ce sens, et une utilisation raisonnable des algorithmes de big data pour aider aux progrès médicaux et technologiques semble largement envisageable.

Beaucoup d'éléments dans ce livre semblent d'ailleurs plus une dénonciation du capitalisme qu'une dénonciation de l'IA au sens large (on a par exemple la mention des navires porte-conteneurs qui polluent et alimentent le commerce mondial dans le chapitre 1 et des fusées spatiales dans la conclusion qui semblent hors sujet).

Au final, l'essai cherche plutôt à dénoncer l'utilisation de l'IA pour des fins de surveillance (surveillance des employés, des présumés terroristes...) et les manières non-éthiques et non-écologiques dont cette IA peut être construite (exploitation des travailleurs, pollution due à l'extraction de ressources) qu'à faire un atlas exhaustif de l'IA en elle-même. Il vaut mieux le considérer comme un essai anti-capitaliste consacré aux entreprises tech et aux services de renseignement américains qu'à un exposé neutre sur l'IA.