Quelques réflexions sur le régime de la trace

Pour donner quelques éléments de contexte, Cathy O’Neil est la fille de Patrick O'Neil, une star de l’informatique qui a travaillé au MIT puis chez IMB, et d’une mère diplômée d’Harvard, professeure d’université elle aussi renommée pour ses travaux en informatique, et qui a notamment aidé à développer Microsoft SQL server. Cathy suit naturellement la voie de ses parents en s’orientant vers des études scientifico-formelles, en l'occurrence des études de mathématiques fondamentales, puis part travailler dans la finance en tant qu’analyste quantitatif. Après avoir travaillé quelques années dans un hedge fund où elle a pu mener des travaux utiles à la communauté tels que traquer des anomalies de marché ; elle perd ses commodes illusions sur le monde de la finance et s’installe à Manhattan avec sa famille pour dispenser des leçons de sagesse au monde entier ; elle devient blogueuse, écrit cet essai ainsi que des chroniques d’opinion pour Bloomberg, et accorde des masterclass à d’importantes personnalités comme notre toujours-actuel président. Je viens aussi de m’apercevoir qu’elle a très récemment créé un cabinet de consulting et d’audit (orcaa) ayant servi de prestigieux clients comme Airbnb ou Siemens. Étonnamment, ces informations ne sont pas présentes dans le livre ni même dans la préface du marcheur Villani, qui préfère nous apporter des renseignements précieux sur l’autrice tels que la couleur de sa teinture. Pour ma part, je n’aurais peut-être pas eu l’idée d’aller fouiller dans le passé de l’autrice si le livre ne commençait pas par un “When I was a little girl …” où O’Neil se donne cette image issue de l’imaginaire cinématographique américain de petite fille surdouée qui vit dans sa bulle mathématique et joue avec son rubik's cube sans comprendre la méchanceté du monde dans lequel elle va entrer une fois adulte - celui de la finance. Son activité de quant est longuement décrite dans la première partie du livre. À l’entendre, le job était difficilement supportable.

Les témoignages d’ex-traders ou d’ex-quant constituent aujourd’hui un genre à part entière et un commerce en plein essor, à tel point qu’on pourrait presque parler d’un processus analogue à celui du pantouflage ; médias et maisons d’édition raffolent de ces repentis. Repentis, c’est en fait un bien grand mot, puisque ces auteurs ont en général une façon de présenter les choses qui les dé-responsabilise voire les présente comme des sortes de héros qui se sont retrouvés là par hasard et ont vite été indignés par les pratiques dont ils ont pu être les témoins et qu’ils ne s’attendaient bien entendu pas du tout à trouver dans un monde tel que celui de la finance.

Les employés de chez Shaw sont présentés comme un équipage machiste à bord d’un formidable engin mathématique, et dont l’arrogance les a poussé à commettre des erreurs, les a rendu aveugles aux limites de l’engin en question, qu’ils n’ont pas su piloter correctement. La crise des subprimes est alors présentée comme un naufrage. J'ai été frappé par la profusion de termes d’ordre sentimental et de concepts purement subjectifs, relatifs au ressenti. Elle nous parle par exemple de peur, de conversations nerveuses, de sentiment de sécurité ou au contraire de risque. Ce discours des traders et autres quants qui vous expliquent qu’ils prennent beaucoup de risques, que leur vie est stressante, qu’ils ont “subi de plein fouet” telle évolution inattendue du marché, ne fait écho à aucune réalité concrète. Cette faune n’est jamais et ne sera jamais exposée à la matière et à ses aléas, pour elle le mot risque ne couvre qu’un concept purement formel et ludique. Le jour où les modèles ne fonctionnent plus, on peut simplement observer l'entreprise couler et partir avec la fortune amassée sous forme de salaires et de bonus. Le game over n’est d’ailleurs jamais véritablement une surprise, on sait bien que les dynamiques de marché évoluent et que les modèles performants aujourd’hui ne le seront pas éternellement, le but de ce jeu vidéo consiste simplement à accumuler un maximum de pièces avant que l’avatar ne se casse la figure. Il y a d’ailleurs quelque chose qu’il faudra bien un jour élucider ; si les rémunérations auxquelles les employés peuvent prétendre sont justifiées par les derniers résultats nets (et non un estimateur non biaisé du résultat net futur prenant en compte les crises à venir), alors il y a un intérêt profond de la part des banksters à faire semblant de ne pas comprendre l’obsolescence de leurs modèles et d’ignorer la possibilité des crises. Il faut feindre la surprise pour cacher que l’on a astucieusement joué avec une espèce de biais majorant notre gain espéré en élaguant des scénarii très perdants. Je me demande d’ailleurs si de tels biais dans les modèles ne peuvent pas s’apparenter à du détournement de fonds lorsque ces fonds d’investissements jouent avec l’argent provenant de fonds de pensions, mais je vais peut-être un peu trop loin, je vous laisse me corriger ou m’apporter de plus amples explications si vous avez des connaissances dans le domaine. Quand O’Neil dit qu’ “a false sense of security was leading to widespread use of imperfect models”, elle emploie toujours cette notion de “sense”, de sentiment, alors qu’analyser les intérêts des différents acteurs m’amène plutôt à la conclusion qu’ils ont intérêt à ce que ces modèles soient imparfaits et biaisés. Mon raisonnement est peut-être faux, mais il a au moins le mérite d’être opensource ; d’être ouvert à la critique, vous avez la possibilité de relever une erreur ou d’apporter un contre-argument, ce qui n’est jamais le cas d’une explication basée sur des sentiments. Pour revenir à l’exemple de la finance et du manque de prudence de certaines positions prises sur les marchés, selon O’Neil, l’optimisation du ratio de Sharpe - un indicateur de performance imparfait - suffirait à expliquer le “refus d’admettre le risque” qui “imprègne en profondeur le monde de la finance” (the refusal to acknowledge risk runs deep in finance). O’Neil s’inscrit dans un courant de pensée où l’on tente de représenter le monde sans faire intervenir la notion d’agents, en utilisant seulement, d’une part les notions d’erreur, de biais, d’incompréhension, de modèles imparfaits ; d’autre part des considérations sentimentales ou morales, ce qui est une façon de nier la conflictualité de l’espace social, de nier le dissensus.

Plutôt que de s’appuyer sur une analyse des intérêts, O’Neil s’appuiera souvent sur des intentions qu’elle suppose aux différents acteurs. Ces acteurs sont toujours bien intentionnés, même si on ne sait pas ce que bien intentionné veut dire sous la plume d’O’Neil. Cela ne semble pas choquer O’Neil d’employer des notions telles que le bien, le bien commun (“common good”), ou de parler de “mauvais comportements” (“the data indicates that certain types of people have behaved badly”) qu’il convient de punir, dans un essai sociologique et sans les définir. Je parle d’essai sociologique parce que je pense que c’en est un. Il est vrai que le livre contient aussi une composante technologique et une composante documentaire sur des faits récents, mais il se concentre essentiellement sur l’analyse de différentes évolutions et dérives de nos sociétés.

La sociologie exige, entre autres qualités, une grande rigueur dans la définition des termes, un travail de questionnement des allants-de-soi par la mise en perspective et la prise de recul, une remise en question des dogmes du pouvoir actuels, qui, dans un système qui maîtrise bien les techniques de propagande, apparaissent toujours déguisés en évidences. Elle nécessite aussi du courage politique, parce qu’il faut souvent se dresser contre la fureur de la morale et des fausses évidences. Ici, j’ai du mal à trouver la rigueur nécessaire à l’étude des phénomènes sociaux. Quand par exemple O’Neil confond sans la moindre gêne légalité et légitimité, je me dis qu’elle manque de méthode. J’ai pris cet exemple parce qu’il revient fréquemment ; à chaque fois qu’elle veut prouver qu’une pratique, une méthode, qui a eu cours, était mauvaise, ou qu’une entreprise, une institution, a eu un mauvais comportement, elle rapporte toujours une sentence judiciaire contre cette entité, comme s’il s’agissait d’un théorème dont le procès serait la démonstration. Il lui semble d'ailleurs suffisant pour encadrer les algorithmes de s’assurer qu’ils soient légaux. Dans le même ordre d’idées, les titres décernés par l’Etat sont pris pour des preuves de sérieux (“I have no reason to believe that the social scientists at Facebook are actively gaming the political system. Most of them are serious academics”). De façon plus générale, on a l’impression chez O’Neil que, face aux dangers de la prédation, il faudrait toujours courir se réfugier dans les jupons des pouvoirs publics ou du quatrième pouvoir. Le concept de Big Mother est récemment apparu chez différents auteurs et de façon indépendante, notamment chez Alain Damasio pour la panoplie des services qui permettent de nous garder au chaud dans notre techno-cocon, et chez Michel Schneider pour désigner les pouvoirs publics. Big Mother (plutôt au sens de Schneider) semble être le protagoniste principal de cet essai, c’est elle qui doit désamorcer ces bombes que sont les ADM (armes de destruction math-ives). Le mot arme (ou bombe) serait finalement inadéquat ; O’Neil le réaffirme à mainte reprises, les algorithmes en question ne seraient pas selon elle conçus avec de mauvaises intentions, il y aurait simplement des grains de sable qui gripperaient la machine et la rendrait folle.

Parfois, il est vrai, O’Neil prête à certains acteurs de bonnes intentions avant d’attaquer leur méthode ; après tout, l’enfer est pavé de ces bonnes intentions : “As in the case of so many WMDs, the existence of value-added modeling stems from good intentions”, ou encore “The idea, as we’ve seen so many times, springs from good intentions”. À d’autres moments, au contraire, les bonnes intentions des uns et des autres lui permettent d’espérer que les modèles mathématiques émergents soient un jour “used for good”, qu’ils permettent de “make the world a better place”, comme disent les gens de son espèce (et je n’invente rien, la phrase est utilisé dans la page web startupienne de présentation des membres de son entreprise). O’Neil, dans son techno-enthousiasme immodéré, milite seulement pour un cadre qui permettrait de limiter les erreurs commises par les modèles et d’interdire l’usage de modèles peu performants, mais, à cette modalité près, elle reste emballée par la technologie elle-même et par les transformations de nos sociétés qu’elle implique. Elle se présente d’une façon assez malhonnête comme quelqu’un qui dénonce, puis façonne la méfiance des lecteurs et la désamorce dans une certaine mesure, pour imposer un certain discours sur le risque que constitue le big data, discours qui sous-estime finalement à mon avis certains risques pour concentrer l’attention sur des risques plus mineurs. Si je devais faire un parallèle avec la question écologique, O’Neil se situerait face à la question de la data dans un camp analogue à celui des chantres de la croissance verte dans le domaine de l’écologie. À vrai dire, mon analogie a ses limites : l’écologie n’est pas le big data, et, autant les dangers d’ordre écologique sont aujourd'hui bien décrits par la science, autant les dangers que représentent le big data sont sujets à débat. Je comprends qu’O’Neil puisse être très pro-data, c’est une opinion qui se défend, mais c’est un peu pénible d’acheter un livre dont le titre est aussi cinglant pour lire une autrice qui dénonce en fait certains points spécifiques mais soutient l’évolution globale vers l’ère de la data.

Weapons of math destruction ; il aurait fallu commencer cette critique en questionnant le titre du livre. Qu’est-ce que ces armes détruisent massivement ? Il semblerait qu’O’Neil apporte une double réponse à cette question : ces armes détruisent de la valeur pour les grandes entreprises ou pour l’Etat, et détruisent des destins d’individus exceptionnels. Ces deux points de vue satisferont le lectorat d’O’Neil ; l’autrice s’adresse à la fois un public très in, fait d’entrepreneurs, d’investisseurs, de hauts cadres, de professeurs des universités, et à qui elle présente les dégâts comme des pertes financières, des fuites de talents ; et en même temps un public moins averti de lecteurs qui souhaitent se sentir data-responsables et qu’elle arrive à toucher par le biais d’histoire sensationnelles où l’on suit un pauvre individu pourtant méritant ("highly motivated and responsible person" pour employer son vocabulaire), issu d’une minorité, qui subit le dysfonctionnement d’une machine impitoyable qui manque de broyer sa vie et son avenir. Qu’on se rassure, les histoires rapportées par O’Neil se concluent généralement par un happy end puisque le New York Times finit par voler au secours de la veuve et de l’orphelin tel un superhéros, en révélant au monde l’abominable injustice dont était victime le personnage principal de l’histoire.

De bons éléments injustement méjugés, voilà le fléau de notre époque selon O’Neil. Elle identifie par exemple une source d’injustice au sein des algorithmes qui traitent des types d’individus plutôt que les individus au cas par cas ; quelqu’un pourrait se retrouver dans une catégorie qui ne lui correspond pas et recevoir un traitement inadéquat (“what about the person who is misunderstood and placed in the wrong bucket ?”). Pourtant, quand on commence à modéliser les individus plutôt que les “buckets”, les individus s’en trouvent paradoxalement fragilisés. Au moins, dans un “bucket”, les individus sont contraints de rester solidaires, car ils savent qu’ils partagent tous un même destin. Quand les individus reçoivent un traitement personnalisé, ils se retrouvent seuls face à la machine, et l’issue de cette confrontation est binaire : l’individu peut être soit accepté, auquel cas il sera intégré au système et tenu de se conformer à ses règles même les plus implicites, soit refusé, auquel cas il sera marginalisé, parfois sanctionné ou combattu, souvent détruit ou réduit en esclavage.

Prenons un autre exemple : lorsque l’on se met à utiliser des modèles pour estimer le niveau de compétence des employés (professeurs, salariés d'entreprise ...), O’Neil voit dans ces pratiques un danger ; celui que des individus jugés médiocres soient trop vite éliminés du système alors que l'algorithme aurait pu mieux fonctionner et mieux cerner l'ensemble des véritables médiocres. Qu'une professeur ait été renvoyée de son académie parce qu'un modèle la jugeait mauvaise semble ne poser de problème à l'auteur que dans la mesure où le modèle ne fonctionne pas. Elle concède tout de même que “this practice can cost teachers their jobs”. Si l’on peut imputer à l’utilisation d’un algorithme le triste sort d’enseignants sous-estimés par le modèle, ce point de vue reste strictement individuel ; au contraire, en prenant du recul pour analyser le corps enseignant dans son ensemble, c’est un bien un cadre politique et législatif qui plonge ces professeurs dans une certaine forme de précarité en ne leur garantissant pas la sécurité de l’emploi. Si les profs virés étaient effectivement les profs les moins bons, la décision serait ce qu’elle appelle une décision juste ; il faut peut-être comprendre que d’une certaine manière, les mauvais profs auront alors mérité leur sort, puisqu’ils sont mauvais.

Si la méritocratie est une sorte de deal entre les individus et la collectivité, il faut alors supposer qu’il existe une entité telle que la collectivité qui a des intérêts propres, autrement dit qu’il existe un bien commun (“common good” dans le livre) qu’il faudrait optimiser. Quel est ce bien commun ? Qu’est-ce qui se cache derrière le verbe falloir lorsqu’on dit qu’il faut optimiser le bien commun ? On s’inscrit ici dans cette représentation du monde qui consiste à occulter les rapports économiques des différents agents et leurs intérêts propres ; ces agents partageraient des fonctions d’utilité universelles, comme si les volontés de tous les humains vibraient à l’unisson dans un espace social harmonieux, presque paradisiaque. Ils viseraient tous une vie de rêve bien caractérisée et que le système déjà en place est capable de leur fournir. N’est-ce pas une façon de leur imposer une direction ? Si l’on accepte ce deal, on perd non seulement le contrôle du moyen puisqu’on nous impose de concourir et d’observer un code de conduite précis pour obtenir la clémence de Big Mother, mais on perd par la même occasion le loisir de définir nos fins, puisque l’on doit se féliciter d’obtenir la récompense qu’elle nous accordera si toutefois nos efforts, notre talent et notre bonté nous ont permis d’obtenir cette récompense. On entre ici dans une logique totalisante, les citoyens sont des enfants ; c’est-à-dire des êtres incapables de parole, dont on sait à l’avance ce qui est bon pour eux, qu’il faut éduquer, et dont il faut espérer qu’ils soient sages.

La notion d’auto-détermination est évacuée : les affaires de la cité ne sont plus un choix mais le résultat d’une analyse présentée comme rationnelle. Les exemples qu’elle prend pour illustrer le fonctionnement d’une ADM, si on peut sans doute leur reconnaître une certaine efficacité pédagogique, racontent quelque chose sur l’univers mental dans lequel baigne l’autrice ; je me suis par exemple étouffé avec mon café lorsque j’ai lu la phrase suivante : “And needless to say, a single diet would make many of us extremely unhappy”. Notons déjà que ce n’est pas la seule fois dans le livre où elle emploie “needless to say” lorsqu’elle ne veut pas argumenter l’un de ses propos, mais elle nous dévoile surtout à travers cette phrase son idée du bonheur : il faudrait que chacun puisse adopter le régime alimentaire de son choix. De telles perspectives font rêver, vraiment, il paraît tout à fait sain de confier notre destin à des éthiciens qui prendront soin de nous laisser choisir notre régime alimentaire. Plus sérieusement, elle met en valeur ici ce que j’appelle en général la liberté de cantine, mais je développerai davantage le concept dans une critique à venir.

Une fois qu’on a compris qu’O’Neil est convaincue d’avoir saisi le devenir humain dans son ensemble, ce sentiment de quiétude qu’elle éprouve devant la destruction de la vie privée et la confiance qu’elle place dans les entités qui siphonnent les informations individuelles deviennent beaucoup plus clairs, puisqu’il est exclu que quelque chose de précieux concernant notre devenir puisse provenir d’autre part que de tout en haut. Que l’intimité et le secret disparaissent, après tout, cela va dans le sens de l’Histoire ; «After all, “The more data, the better” is the guiding principle of the Information Age». Elle mentionne très brièvement, au détour d’un raisonnement, l’existence de ces gens qui rechignent encore à se laisser surveiller ; “People insist to me that they won’t give in to monitors. They don’t want to be tracked or have their information sold to advertisers or handed over to the National Security Agency.”, elle ne les juge pas explicitement mais sous-entend qu’ils ne s’intéressent pas aux vrais problèmes qui sont ceux qu’elle soulève. Que des entreprises de publicité, de management externalisé, de banques ou d’assurances s’échangent des données qui leurs permettent d’essayer de “map our thoughts and our friendships” ne lui fait pas peur à cause des risques de dérives totalitaires que cette collecte implique ; selon elle, ficher les citoyens n’est pas un problème en soi, ce sont seulement les fiches erronées qui posent problème (par exemple lorsque deux citoyens homonymes sont confondus ; le cauchemar des temps présents serait d’être confondu avec quelqu’un d’autre) ou les fiches qui contiennent des critères jugés injustes, incorrects.

Pour éviter d’avoir recours à des données dont elle considère l’utilisation injuste, elle nous donne l’exemple d’entreprises ou de mesures plus vertueuses (“commendable”) qui s’appuient sur une myriade de données personnelles très précises pour fournir des décisions qui prennent en compte chaque détail de l’histoire de la vie scannée par l’algorithme : “this is a sound use of statistics”. Le problème, explique-t-elle, c’est que les entreprises qui s’appuient sur les traces laissées sur internet pour réaliser des tâches de classification d’individus n’ont pas encore le droit d’utiliser vos données les plus sensibles comme l’historique de vos achats ; “since companies are legally prohibited from using credit scores for marketing purposes, they make do with this sloppy substitute”. Il faudrait donc relâcher encore un peu les contraintes du cadre légal pour permettre d’obtenir une cartographie encore plus précise de la psyché des citoyens, afin que ces entreprises puissent avoir recours à des critères plus subtiles et moins *problématiques*.

La limite entre ce qui lui paraît problématique ou non problématique semble d’ailleurs liée au bruit de fond médiatique. Elle nous donne dans son livre et dans des podcasts que vous pouvez trouver sur internet un exemple assez parlant ; l’utilisation de données géographiques comme des codes postaux serait, selon elle, raciste, parce que corrélée à des caractères comme la couleur de peau. Parce que la donnée du code postal est utilisée par les modèles pour remonter jusqu’à une autre donnée dont elle estime l’exploitation immorale, il faudrait ne plus utiliser le code postal non plus. Elle nous dévoile à travers ce raisonnement que, pour elle, exploiter le code postal n’est pas en soi problématique, ce serait problématique seulement dans la mesure où cela permet de remonter à une autre donnée en fonction de laquelle il serait injuste de trier les individus. En somme, si les couleurs étaient bien mélangées dans les différentes régions des États-Unis, cela ne lui poserait plus de problème d’utiliser l’information du code postal. Seulement, je ne vois pas du tout, en premier lieu, pourquoi il serait juste de discriminer les individus en fonction du lieu qu’ils habitent. Un modèle de classification a toujours, par définition, vocation à discriminer, O’Neil vient seulement nous suggérer ce par rapport à quoi il serait mal de discriminer et ce par rapport à quoi il est acceptable de discriminer. Prenons l’exemple du recrutement. Utiliser une information comme un handicap ? C’est “ableist” : mauvais ! Utiliser une information comme la sensibilité politique - corrélée à la prédisposition à se syndiquer ? Pourquoi pas ! On voit ici qu’un critère peut tomber dans la catégorie des critères qu’elle appelle injustes ou ne pas y tomber, de façon apparemment arbitraire (est-ce d'ailleurs vraiment arbitraire ?).

C’est, dans le fond, tout l’arbitraire d’une époque qui se retrouve empaqueté dans le récit qu’elle produit sur ce qu’elle appelle la justice. Quand O’Neil évoque des transformations possibles du réel, ces transformations sont toujours des corrections, des réparations, des parachèvements du réel, des perfectionnements de la forme qu’il est déjà en train de prendre, des accélérations ; jamais des bifurcations. Les transformations radicales du réel paraîtront toujours immorales, parce que transformer le réel implique de transformer la morale, et une morale juge toujours immoral ce qui n’est pas identique à elle-même. Les modèles qui se trompent sont des monstres qui terrifient les privilégiés, car ils nous empêchent de reproduire le réel à l'identique, ou de le reproduire dans une version plus policée de lui-même, de produire un même présent que le nôtre qui serait débarrassé de ses scories et serait moins attaquable. Le vrai, le légal et le bien, formant une trinité unifiée, seraient déjà là dans le projet dont s’est doté le monde actuel, il faudrait simplement aider ce monde à guérir ou à se renforcer ; à éliminer tout ce qu’il juge toxique, criminel, médiocre, dysfonctionnel, toutes ces maladies, ces métastases qui l'empêchent d'être encore davantage ce qu'il est déjà, de se cristalliser dans sa propre forme ; devenant invincible, c'est-à-dire immuable. Pourquoi viser cette immobile perfection, qui semble être le négatif même de la vie ? J’espère au contraire que les modèles continueront à se tromper, à contenir de précieuses failles, des cavités ombrageuses dans lesquelles nous pourrons encore nous glisser. L’erreur ne m’effraie pas. Je me sers des modèles pour me remettre en question, pour dépasser mes déterminations grossières en déjouant leurs pronostics ; je n’ai donc pour l’usage que j’en fais nullement besoin d’exiger d’eux une précision parfaite.