Résoudre les biais n’est pas si simple !

Pour AlgorithmWatch, le journaliste John Albert (@jaalbrt) a enquêté sur la façon dont Meta vient de proposer de résoudre un de ses biais algorithmique récurrent, à savoir le fait que la publicité ciblée désavantage certaines catégories de publics en ne proposant pas certains produits à certains publics, par exemple, des offres immobilières à certains publics de couleurs selon leur localisation, des offres d’emplois de camionneurs à des femmes… Un biais documenté depuis longtemps et qui a donné lieu à des poursuites des autorités américaines, dès 2019 par le ministère du logement américain, qui avait conduit Facebook a débrancher certaines catégories du ciblage publicitaire, comme l’âge, le genre, le sexe ou les caractéristiques éthniques ou religieuses de certains types de publicités, notamment celles consacrées au logement, à l’emploi et au crédit. En juin 2022, Facebook avait réglé ce différend en acceptant de payer une amende (115 000$) et en s’engageant à développer un système pour débiaiser les publicités immobilières.

Car la disparition des catégories de ciblage de la population ne suffit pas : l’algorithme publicitaire de Facebook est capable de comprendre que les femmes cliquent moins sur les publicités proposant un emploi de camionneur et donc ne pas le leur proposer. Il reproduit et amplifie ainsi les biais existants en désavantageant certains publics déjà marginalisés. Or, cette discrimnation automatisée est illégale puisque le droit interdit la discrimination, notamment sur des critères protégés comme la race, l’âge ou le sexe. La difficulté, bien sûr, c’est que cette discrimination est particulièrement invisible, puisque les gens qui pourraient contester l’inéquité de la diffusion publicitaire n’y ont absolument pas eu accès, puisqu’ils ne voient même pas les pubs qu’ils auraient du voir !

Pour corriger les biais, il faut pouvoir les mesurer !

Suite à ce règlement, Meta a donc créé et déployé un nouvel algorithme, un “système de réduction de la variance” (VRS) pour tenter de limiter les biais de ses algorithmes d’apprentissage automatique dans son système de ciblage et de diffusion publicitaire. “Au lieu d’optimiser les clics, le VRS est conçu pour optimiser la “précision” égale de la diffusion des publicités sur les publics cibles éligibles. Une fois qu’une publicité est vue par suffisamment d’utilisateurs, le VRS mesure l’âge global, le sexe et la “répartition estimée de la race ou de l’origine ethnique” de ceux qui ont déjà vu la publicité et les compare avec le public éligible plus large qui aurait pu potentiellement voir la publicité, puis ajuste ensuite la diffusion des annonces en conséquence”. En gros, Meta corrige ses biais en regardant ses biais de diffusion. Super ! me direz-vous ! Sauf que ce n’est pas si simple car les biais de diffusion dépendent justement de la diffusion et des moyens pour la mesurer et la corriger, et cela varie beaucoup d’une catégorie d’annonce l’autre, d’un territoire où elle est diffusée l’autre.

Un rapport de conformité produit par le cabinet Guidehouse affirme que le VRS de Meta fonctionne comme prévu. Mais les lacunes du rapport rendent ces affirmations difficiles à vérifier, estime John Albert pour AlgorithmWatch. En fait, les publicités discriminatoires continuent de sévir sur Facebook dans des domaines autres que le logement, ainsi que dans d’autres pays que les Etats-Unis comme les pays européens, où il est peu probable que le VRS soit mis en œuvre, notamment parce que le système de correction n’est pas si simple à mettre en oeuvre, on va le voir.

Pour Daniel Kahn Gillmor, défenseur de la vie privée et technologue à l’ACLU, ce rapport très technique montre que Guidehouse n’a pas eu accès aux données de Meta et n’a accompli son travail que depuis des résultats fournis par Meta. Pour le chercheur Muhammad Ali, un des auteurs de l’étude de 2019 qui avait conduit à dénoncer le problème du ciblage publicitaire discriminatoire sur Facebook, il y a un vrai effort derrière le VRS, mais la correction est particulièrement complexe et particulièrement limitée puisqu’elle ne s’appliquera qu’aux annonces de logement. Si Meta a annoncé vouloir l’appliquer aux annonces portant sur l’emploi et le crédit, il est peu probable qu’il s’étende à d’autres catégories et au-delà des Etats-Unis, car le VRS pour appliquer ses corrections sur les annonces immobilières doit mobiliser des données spécifiques, en l’occurrence les données du recensement américain afin de calculer l’origine ethnique des audiences publicitaires selon leur localisation pour les corriger ! Pour chaque correction des publics, il faut pouvoir disposer de correctifs ! Un système de ce type ne pourrait pas fonctionner en Inde par exemple, où il n’y a pas de données géolocalisées sur les castes par exemple, ou en France où l’on ne dispose pas de données ethniques. Corriger les biais nécessite donc de fournir les systèmes en données générales, par exemple des données sur l’origine ethniques des populations qui ne sont pas disponibles partout. Sans compter que ces corrections qui visent à réduire les écarts de performance entre groupes démographiques risquent surtout de produire un “égalitarisme strict par défaut”, qu’une forme d’équité.

Enfin, il y a d’innombrables autres biais dans les catégories de publics que ces systèmes produisent à la volée, par exemple quand une personne est identifiée comme s’intéressant aux jeux d’argent et de paris en ligne et qui va être sur-sollicitée sur ces questions, au risque de renforcer ses dépendances plutôt que de le protéger de ses vulnérabilités (ou d’autres vulnérabilités, comme le montrait The Markup, quand ils analysaient les catégories de la plateforme publicitaire Xandr – j’en parlais là), et l’amplification des biais risque d’être encore plus forte et plus difficile à corriger quand les publics cibles sont particulièrement spécifiques. Sans compter que finalement, c’est le but du ciblage publicitaire de produire des catégorisations et donc de la discrimination : ainsi quand on cherche à montrer une annonce à des cibles ayant tel niveau de revenu, c’est bien à l’exclusion de tous les autres (pour autant que ce ciblage fonctionne, ce qui est bien plus rarement le cas qu’énoncé, comme je l’évoquais en observant les troubles du profilage).

Selon la loi européenne sur les services numériques, les plateformes ne sont plus autorisées à cibler des publicités en utilisant des catégories de données “sensibles”, comme la race, le sexe, la religion ou l’orientation sexuelle et doivent atténuer les risques systémiques découlant de leurs services. Reste que l’approche extrêmement fragmentaire de Meta pour atténuer les biais, tels que le propose le VRS, risque d’être difficile à appliquer partout, faute de données permettant de corriger les biais disponibles. Le débiaisage pose la question de quelles corrections appliquer, comment les rendre visibles et jusqu’où corriger ?

Plutôt que des rapports, protéger les chercheurs !

Cette analyse sur comment Meta peine à débiaiser a d’autres vertus que de nous montrer les limites intrinsèques du débiaisage. Elle permet également de constater que la réponse réglementaire n’agit pas au bon niveau. En effet, si le DSA européen prévoit que les plateformes se soumettent à des audits indépendants – à l’image de ce que vient de produire Guidehouse pour Meta en contrôlant comment les plateformes se conforment à l’obligation d’identifier et d’atténuer les risques et les discriminations -, le risque est fort que ce contrôle produise beaucoup d’audit-washing, les plateformes définissant les normes de leurs contrôles (et pour l’instant chacune le fait différemment), choisissant leurs auditeurs et produisant les données qu’elles souhaitent partager. Pour l’instant, nous sommes confrontés à des mesures d’audit mal définies qui risquent surtout d’être mal exécutées, expliquent dans un rapport sur le sujet pour le German Marshall Fund, les spécialistes Ellen Goodman et Julia Trehu en rappelant les règles de l’audit et en pointant l’exemplarité du cadre d’audit définit par la cour des comptes hollandaise lors de l’inspection de plusieurs algorithmes utilisés par les services publics. Les spécialistes insistent sur la nécessité de fournir un cadre, des normes, des critères de certification établies par un régulateur pour garantir la qualité des audits.

Or, comme l’explique très pertinemment John Albert, les rapports de conformité ne remplacent pas un examen externe. A terme, nous risquons surtout d’être inondés de rapports de conformités tous plus complexes les uns que les autres, à l’image [des rapports sur la transparence des plateformes que vient de recueillir la commission européenne](https://digital-strategy.ec.europa.eu/en/news/very-large-online-platforms-and-search-engines-publish-first-transparency-reports-under-dsa#:~:text=The transparency reports must include,of orders they receive from) qui ne nous apprennent pas grande chose et ne semblent pas un levier pour changer les choses (on a appris seulement le nombre de modérateurs officiels des plateformes, comme l’explique le Monde, ou encore les catégories de modérations… mais, comme le souligne TechPolicyPress, aucun rapport n’évoque d’autres questions inscrites au DSA européen, comme des informations sur comment les plateformes interdisent la publicité aux enfants, comment elles comptent faciliter la possibilité de se désinscrire des systèmes de recommandation, ou quelles solutions de partages de données avec la recherche ou les autorités comptent-elles mettre en place. Aucune non plus n’a mis en place d’audit des risques systémiques). Comme l’explique la journaliste Gaby Miller dans un autre article de TechPolicyPress, la commission européenne devrait envisager d’expliciter les lignes directrices des informations qu’elle attend de ces rapports, afin qu’ils puissent être plus comparables entre eux.

Le caractère très limité des informations fournies par les plateformes ne suffiront pas. “La neutralité supposée des plateformes dépend de notre capacité à les surveiller”, disions-nous. Il faut pouvoir se doter d’audits contradictoires, véritablement indépendants, capables de tester les systèmes algorithmiques des plateformes, de mesurer et de réagir aux problèmes. Pour cela, il faut que ces grandes entreprises permettent aux chercheurs de chercher, de collecter des données, de recruter des utilisateurs pour produire des mesures indépendantes et ce n’est pas ce à quoi nous assistons actuellement, où les plateformes se ferment bien plus à la recherche qu’elles ne s’y ouvrent ! Pour cela, il faudrait que les autorités offrent des protections aux chercheurs, insiste John Albert : “Tant que nous n’aurons pas mis en place des protections légales pour les chercheurs d’intérêt public et que nous n’aurons pas sécurisé les voies d’accès aux données des plateformes, nous serons obligés de nous occuper des auto-évaluations et des rapports d’audit des plateformes. Un flot de ces rapports est en route. Mais ces mesures ne remplacent pas une recherche véritablement indépendante, essentielle pour tenir les plateformes responsables des risques que leurs services font peser sur la société.”

Hubert Guillaud

Petit traité de contre-intelligence artificielle. Retour sociologique sur des expérimentations numériques

Par Francis Chateauraynaud Dans Zilsel 2019/1 (N° 5), pages 174 à 195

« L’intelligence artificielle connut un essor sans précédent à la fin des années 5000, au milieu de l’ère dite du Phagitaire. Elle connut son apogée à la fin du 68e siècle, époque où elle régissait la plupart des mondes. Puis apparurent les premiers prophètes du mouvement de Souveraineté humaine, qui partirent en guerre contre son hégémonie. Deux siècles plus tard, lorsque fut votée la loi d’Éthique H.M., on assista à la plus grande destruction de machines que la civilisation ait jamais connue. Certains gouvernements s’en débarrassèrent en les expédiant dans l’espace. À l’époque, les humains étaient loin d’imaginer les funestes conséquences de leurs actes. »

Pierre Bordage, Les guerriers du silence. Tome 2 : Terra Mater (1994).

L’intérêt de la sociologie pragmatique des transformations pour l’intelligence artificielle date de 1987. Plus d’une trentaine d’années nous séparent en effet de la réalisation des premières maquettes de systèmes-experts dédiées à la caractérisation de micro-disputes et préfigurant le logiciel Prospéro. Ce dernier a donné lieu à de multiples usages portant sur des corpus de textes et de discours évolutifs, liés notamment à des affaires et des controverses se déroulant sur un temps long. Au fil de ces recherches socioinformatiques, une autre entité numérique a pris forme. Dénommée Christopher Marlowe, elle relève pleinement de l’intelligence artificielle (IA) puisqu’elle utilise des boucles de raisonnement sur des données ouvertes. Les logiques d’enquête propres aux sciences sociales étant prédominantes dans son fonctionnement, la formule de « contre-intelligence artificielle » s’est imposée afin de distinguer cette approche des modèles cognitivistes ou neuroconnexionnistes qui caractérisent, pour l’essentiel, les travaux en IA [1]

Comme ce genre d’expérience est plutôt rare en sociologie [2][2]Il faut saluer une autre expérience menée à la fin des années…, chacun des surgissements de Marlowe produit toutes sortes de réactions, de l’agacement rationaliste à la saine curiosité intellectuelle, en passant bien sûr par le soupçon de canular. Pourtant, de multiples textes et communications en ont établi les principes de fonctionnement. Sans magie ou tour de passe-passe : Marlowe est avant tout un support d’écriture numérique conçu pour accompagner, à travers des boucles de raisonnement dynamique, la formulation de questions de recherche et d’hypothèses interprétatives à propos de processus complexes, réfractaires aux analyses conventionnelles [3][3]Voir les dossiers complexes étudiés en collaboration avec les…. Comment caractériser le statut épistémique, mais aussi éthique et politique, de cette expérimentation de longue durée, alors même que l’« intelligence artificielle », ici entre guillemets, est désormais constituée comme un problème public [4][4]Les alertes lancées en 2015 sur les dangers de l’IA feront… ? Cet article est ainsi l’occasion d’opérer un retour réflexif sur la genèse d’une expérimentation numérique menée en sociologie tout en portant un regard critique sur ce qui se trame autour des algorithmes et de leur supposée toute puissance.

Des instruments collaboratifs transformés en boîtes noires ?

L’idéal d’ouverture des codes et de développement collaboratif accompagne depuis longtemps les projets informatiques. Mais, il faut le reconnaître, plus on s’éloigne des noyaux de développeurs et d’utilisateurs experts, plus les dispositifs ont de chances de rejoindre la longue série de boîtes noires qui jalonnent l’histoire des technologies. Il est néanmoins décisif de pénétrer dans les codes et de rendre visibles les arrière-cuisines de tout système d’information [5][5]Des pistes très convaincantes sont proposées par Camille…. Pour les lectrices et lecteurs qui ignorent tout ou presque des entités socioinformatiques dont il est question ici, il y a plusieurs possibilités : consulter les contributions de Marlowe (acronyme MRLW) sur le blog qu’il anime quotidiennement de manière autonome et, de là, remonter vers les textes qui en explicitent le fonctionnement [6][6]Le blog de Marlowe est logé sur le site… ; rouvrir une littérature qui date du début des années 2000, aujourd’hui au rayon de la préhistoire des « humanités numériques » [7][7]Francis Chateauraynaud, Prospéro. Une technologie littéraire… ; enfin, se laisser prendre par l’exercice de re-problématisation visé par le présent article, puis venir expérimenter, débattre ou collaborer avec le noyau des développeurs-utilisateurs des logiciels.

Quand une expérimentation conduite aux marges des sciences sociales s’est déployée sur un pas de temps aussi long, elle ouvre plusieurs voies de réflexivité et d’explicabilité [8][8]La notion d’explicabilité a été proposée dans les années 1980…. Elle pose d’abord la question de la durée des projets de recherche et de leurs formes de cumulativité ; en deuxième lieu, les expériences de développement et les applications multiples, dont l’écosystème numérique n’a cessé d’évoluer, constituent une sorte d’archive des reconfigurations ou des bifurcations qui ont marqué, en une trentaine d’années, les techniques d’analyse des sciences sociales ; en troisième lieu, la « critique de la raison numérique », très à la mode [9][9]Dominique Cardon, À quoi rêvent les algorithmes. Nos vies à…, prend un tour différent dès lors qu’elle s’appuie sur une pratique du code, permettant d’évaluer plus sereinement les promesses comme les dangers des algorithmes ; enfin, le recul que procure le long cheminement d’une expérience frontalière donne des prises cognitives et politiques pour s’orienter dans les débats sur l’urgence d’une régulation des entités numériques en général.

Dans les usages courants, l’intelligence artificielle (IA) forme une catégorie aux contours flous, regroupant des technologies et des pratiques très différentes. Dans les médias, on parle d’IA pour traiter tour à tour d’informatique, d’algorithmique, de fouille de données (data mining), d’apprentissage profond (deep learning), de reconnaissance des formes, de robotique, de moteur de recherche, de modélisation de la cognition humaine (comme le Human Brain Project)… Dans son rapport remis au printemps 2018, Cédric Villani renonce à ordonner les définitions et choisit d’adopter l’acception la plus large. L’analyse des promesses rassemblées et valorisées par le mathématicien révèle à quel point le label « IA » est désormais autant une affaire de développement technoscientifique qu’un nouvel horizon pour le marketing [10][10]Cédric Villani, Donner un sens à l’intelligence artificielle.….

Nées dans les années 1950, en pleine révolution cybernétique, après les travaux pionniers de Hilbert, Gödel et surtout Turing sur la calculabilité du point de vue formel [11][11]Jean Lassègue, « Turing, entre le formel de Hilbert et la forme…, les recherches en IA se sont d’abord concentrées sur la modélisation des formes de raisonnement, en s’attaquant très tôt aux situations de décision marquées par l’incertitude ou l’indécidabilité (Wiener, von Neumann, Rosenblatt, McCarthy, Minsky, Simon…). Alors que la première vague d’IA était restée plutôt spéculative, une deuxième vague a suivi l’apparition des micro-ordinateurs dans les années 1980, avec la conception de systèmes-experts, dont certains ont pénétré l’industrie et les services. Ces systèmes à base de règles produisant souvent des diagnostics décalés, du fait de leur difficulté à réviser leurs connaissances en contexte, les développeurs ont opté pour la diffusion de « micro-agents intelligents ». Savamment intégrés à des systèmes automatisés ou des interfaces hommes-machines, ces agents sont devenus quasiment invisibles, ce qui a contribué à dissoudre le projet d’un modèle général d’intelligence artificielle. Cependant, au cours des années 1990, une troisième vague a renoué avec les ambitions initiales en s’appuyant sur les puissances de calcul disponibles. L’événement le plus marquant de cette période reste la confrontation de Deep Blue (IBM) et du champion du monde d’échecs Garry Kasparov (1996-1997). Pour beaucoup, la victoire de la machine renforce l’évidence du lien entre puissance de calcul et capacité d’apprentissage (machine learning) [12][12]Les jeux en ligne massivement multi-joueurs ont aussi contribué…. De nouveaux espaces se sont déployés pour les développeurs, avec des effets en cascade, en particulier dans les neurosciences cognitives et les sciences de l’ingénieur, portées par une interprétation inductive du progrès des ordinateurs inspirée par la fameuse loi de Moore, aujourd’hui quelque peu relativisée. Entre-temps, l’Internet et les technologies de communication mobile ayant littéralement explosé, affectant peu ou prou toutes les activités sociotechniques, la voie était ouverte pour une quatrième vague d’IA, résumée de nos jours par deux syntagmes clés : Big Data et Deep Learning.

À l’issue de ce long processus, les formes d’apprentissage fondées sur des algorithmes autonomes semblent l’avoir emporté sur les procédures supervisées faisant appel à des paramétrages et des décisions sémantiques. Jean-Gabriel Ganascia, fin praticien et connaisseur du champ de l’IA, depuis sa thèse réalisée à Orsay dans les années 1980 sur les systèmes à base de connaissances et ses nombreux travaux menés au LIP6 (Laboratoire d’informatique de l’université Paris 6), conteste cette victoire et intervient souvent dans les débats pour rappeler la distinction, faite naguère par John Searle, entre IA faible et IA forte [13][13]Jean-Gabriel Ganascia, Le mythe de la singularité. Faut-il… : la première vise des résolutions de problèmes spécifiques à partir de protocoles bien définis ; la seconde prend à la lettre le projet d’un dépassement des capacités humaines par les ordinateurs – croisant les visées des transhumanistes et des prophètes de la Singularité, dont le fameux Ray Kurzweil [14][14]Ray Kurzweil, The Age of Spiritual Machine : When Computers…. Les controverses sur les futurs possibles sont à prendre au sérieux mais le risque de s’y enfermer n’est pas nul. Une sociologie pragmatique exige une saisie plus concrète de la fabrique des algorithmes et autres entités artificielles qui viennent défier les humains sur leurs propres terrains de jeu.

Toutes les histoires de l’IA partent évidemment des pionniers, des premières rencontres et controverses qui ont ancré théories et prototypes dans le sillage de la Big Science aux États-Unis [15][15]Bruce G. Buchanan, « A (Very) Brief History of Artificial…. Une fois n’est pas coutume, on va ici provincialiser quelque peu cette histoire. Pour amorcer la descente, replaçons-nous d’abord dans le contexte d’événements scientifiques qui ont eu lieu en France en 1989 et 1992. Ils rendent perceptible l’état des propositions en matière d’IA avant l’avènement de l’Internet – qu’aucun spécialiste n’avait anticipé – et, dans le même mouvement, permettent de préciser les conditions de l’apparition de Prospéro, né une première fois en 1987 mais officiellement développé avec cet acronyme à partir de 1994 [16][16]PROgramme de Sociologie Pragmatique, Expérimentale et Réflexive….

Deux colloques mémorables consacres a l’IA dans le sud de la France

91989, 11 au 14 septembre, Antibes-Juan-Les-Pins. Les plages ne sont pas encore désertes, lorsqu’une centaine de scientifiques débarque dans le centre des congrès, non loin des paillotes et des parasols, pour un grand colloque organisé par l’INRIA (Institut national de recherche en informatique et en automatique) sur l’analyse des données, entre statistique et intelligence artificielle. Dans la file d’attente, une équipe de jeunes chercheurs envoyés par le Centre d’Études de l’Emploi [17][17]Bernard Gomel, Gilbert Macquart, Frédéric Moatti,…. Au fil de sessions d’une haute technicité, deux écoles s’affrontent : face aux tenants du caractère nécessairement statistique de la preuve, s’escriment les promoteurs de formes de raisonnement qualifiées de « symboliques », recourant à des systèmes de règles et de métarègles, à des graphes conceptuels, des réseaux sémantiques ou des clauses formulées en langage naturel. Les premiers doutent de la capacité des seconds à aller au-delà des exemples bien formés ajustés à leurs prototypes, les ramenant in fine au modus ponens de la logique classique assorti de quelques quantificateurs, tandis que les seconds reprochent aux quantitativistes l’usage de variables et de descripteurs trop grossiers, inaptes à saisir les micro-variations liées au fonctionnement d’un système intelligent. Quelques intervenants ont tenté d’ouvrir une troisième voie, d’élaborer des compromis ou de déplacer l’attention, par exemple via des applications spectaculaires à base de réseaux de neurones. Dans tous les cas, le terme d’apprentissage est omniprésent – le « machine learning » étant un des mots d’ordre du colloque. Les archives, riches des contributions récoltées à l’époque, montrent qu’à la fin des années 1980, la divergence est encore à peu près complète entre les algorithmes statistiques et les méthodes d’apprentissage logico-symbolique [18][18]Parmi les textes qui ont beaucoup circulé, il y a ceux du…. L’univers de référence propre au raisonnement logique et conceptuel apparaissait bien plus lié aux mondes de la philosophie et des sciences du langage qu’à celui des statistiques. La forme d’épistémologie non-réductionniste des tenants de l’apprentissage symbolique les portait à considérer les calculs numériques comme de simples outils de tests. Quant à l’aspect invasif ou expansif des algorithmiques « sans représentation », il n’était pas encore saillant :

« L’approche numérique en statistique et en analyse de données, comme l’approche symbolique en Intelligence Artificielle et Apprentissage Machine, concerne tous les domaines de l’activité humaine qui ont besoin d’acquérir et d’utiliser des connaissances dans un processus automatique. Les Proceedings contiennent de nouvelles avancées dans l’analyse des données : modélisation, tables multivoies, données textuelles, détection de valeurs aberrantes (outliers), robustesse et qualité des solutions, etc., et en apprentissage : récupération abductive et analogie, réseaux (lattices) et analyse formelle des concepts, approche symbolique dans les séries temporelles, construction automatique d’une base de connaissances, etc. » [19]

Le livret du colloque montre que de multiples traditions de raisonnement et de calcul s’exprimaient. Ex post, les actes rendent visibles les branches qui ont été élaguées ou délaissées au profit de voies progressivement hégémoniques, souvent choisies parce qu’elles s’imposaient aux États-Unis. Au MIT et ailleurs, connexionnistes et statisticiens avaient déjà contracté des alliances propres à marginaliser les défenseurs du raisonnement [20][20]Antoine Garapon et Jean Lassègue tirent toutes les conséquences….

Les membres envoyés en reconnaissance par le Centre d’Études de l’Emploi avaient tous lu Alain Desrosières et partageaient un regard critique sur l’usage des statistiques. Il faut dire que le centre était dirigé à l’époque par François Eymard-Duvernay et Laurent Thévenot, qui l’avaient transformé en foyer pour l’économie des conventions. Dans la querelle opposant le calcul statistique au raisonnement conceptuel, tout conventionnaliste penche plutôt pour le second terme. Découvrant sur le tard l’existence d’un langage très puissant pour le calcul symbolique, le langage Prolog, moteur de programmation logique conçu dans les années 1970 par Alain Colmerauer [21][21]Alain Colmerauer et Philippe Roussel, « The Birth of Prolog »,…, la jeune équipe rentra à la base avec un capital de crédibilité suffisant pour qu’une petite station de travail – un PC IBM PS/2 – soit acquise et dédiée au test de différentes versions de Prolog.

Début avril 1992, un colloque intitulé « Sciences sociales et intelligence artificielle » est organisé à l’Université d’Aix-en-Provence. Parrainé par le PIRTTEM du CNRS (Programme interdisciplinaire de recherche sur la technologie, le travail, l’emploi et les modes de vie) et le programme COGNISUD (programme du Ministère de la Recherche rassemblant des recherches cognitives dans le sud de la France), ce colloque est motivé par l’importance des « développements de l’Intelligence Artificielle dans les domaines de la recherche et des applications pratiques » [22][[22]« Sciences sociales et intelligence artificielle » numéro…. Il s’agissait de faire le point sur les mutations à l’œuvre en matière de représentations des connaissances, d’algorithmes et d’interactions Homme/Machine et leurs impacts sur les activités sociales. Le Centre d’Études de l’Emploi n’envoie ce coup-ci que deux personnes : Jean-Pierre Charriau, informaticien alors sous contrat, et moi-même, engagés dans la voie incertaine d’une transformation des maquettes réalisées avec Prolog en véritable instrument de recherche [23][23]Voir Francis Chateauraynaud et Jean-Pierre Charriau,…. Au cœur du colloque, cognitivistes et chercheurs en sciences sociales se sont affrontés gaiement [24][24]Cette période est aussi celle de l’âge d’or du CREA, Centre de…, mais ce qui importait était que les « systèmes intelligents » soient saisis par de multiples équipes de recherche, en lien avec les mutations à l’œuvre dans les entreprises. Aux interventions de gens comme Gilbert de Terssac, Armand Hatchuel ou Michel Freyssenet sur les systèmes à base de connaissance dans les organisations, s’opposait un front critique dénonçant les effets de la « raison informatique » sur les affaires humaines, avec des contributions de Jean-Pierre Poitou, Bernard Andrieu et Anne Fauchois. D’autres travaux interrogeaient les modèles cognitifs propres aux sciences sociales (Bernard Conein, Pierre Livet, Pierre-Yves Raccah) et des questions qui semblent aujourd’hui nouvelles, comme l’introduction de robots mobiles dans les espaces publics ou le développement de l’IA en agriculture, étaient travaillées par plusieurs équipes soulignant leur « interdisciplinarité ». Les 416 pages du volume finalement publié couvrent un vaste ensemble de problèmes et de cas de figure, liant formalisation des connaissances, automatisation et production de savoirs pour l’action. Des liaisons précoces entre sciences sociales et intelligence artificielle étaient donc à l’œuvre en France au début des années 1990.

C’est dans la même période qu’est publié et traduit l’ouvrage dans lequel Harry Collins redéploie, en les enrichissant, les critiques d’Hubert et Stuart Dreyfus, défendant la supériorité de l’intuition et du jugement humains sur tout système artificiel [25][25]Harry Collins, Experts artificiels. Machines intelligentes et…. Les arguments phénoménologiques des frères Dreyfus insistaient sur le caractère incarné et situé de la cognition, à l’opposé des raisonnements formels associés aux systèmes artificiels [26][26]Hubert L. Dreyfus & Stuart E. Dreyfus, Mind over Machine : The…. Collins n’a guère de mal à sociologiser le propos à partir des travaux des Science and Technology Studies alors en plein développement. Prolongeant les termes d’une controverse née aux États-Unis au cours des années 1960, la discussion était encore dominée par les philosophes et les linguistes, les premiers armés de phénoménologie et de philosophie analytique, les seconds de sémantique structurale et de pragmatique de l’énonciation. Bien qu’alertés dès les années 1950 par les débuts de l’automation dans l’industrie [27][27]Georges Friedmann, Le travail en miettes, Paris, Gallimard,…, les sociologues ont mis du temps à élaborer un point de vue critique, en s’attaquant d’abord aux formes de « management des connaissances » sous-tendant les programmes d’IA, ignorant les connaissances tacites liées aux pratiques et aux usages.

Au cours des années 1990, sont également apparus des modèles alternatifs en provenance de la Côte Ouest des États-Unis, avec Donald Norman et Edwin Hutchins, et bien d’autres auteurs liés à la « cognition sociale » ou la « cognition distribuée » [28][28]Bernard Conein, Les sens sociaux : trois essais de sociologie…. Parallèlement à ces transformations épistémiques, vécues plus ou moins intensément selon les secteurs, le Web, la robotique, les objets connectés et les techniques d’apprentissage profond gagnaient la plupart des domaines d’activité. Au début du nouveau millénaire, de nombreux observateurs comprennent que les infrastructures de la cognition ordinaire ont basculé et que la plupart des activités et des échanges passent par des boucles computationnelles. Tous les experts et les amateurs d’entités numériques investissent alors le Web et ses usages, les réseaux et les masses de données, et la vieille IA semble disparaître des écrans. C’est donc à contre-courant que le projet Marlowe est lancé au cours de l’année 1999, en faisant de l’étude argumentative de corpus raisonnés, de taille relativement modeste (quelques milliers de documents), un moyen de réactualiser des questions communes aux sciences sociales et aux premières vagues d’IA, en particulier autour des rapports entre calculabilité, récursivité et interprétabilité.

16À partir de 2015 environ, il ne se passe plus un jour sans que les formules « intelligence artificielle », « deep learning » et « big data » surgissent dans les arènes publiques, affectant tous les domaines d’activité. Cette nouvelle vague semble prendre les sciences sociales de court, du moins en Europe, alors même, on l’a vu, qu’elle procède d’une histoire déjà longue. C’est particulièrement tangible dans le champ « émergent » des Digital Humanities, ou Humanités numériques, dont les porteurs peinent à trouver une voie d’équilibre entre l’adhésion aux injonctions lancées par les institutions d’enseignement et de recherche, et la volonté de contrer la course folle des algorithmes par l’instauration d’un nouvel esprit critique [29][29]Voir Sébastien Broca, « Épistémologie du code et imaginaire des…. Comment trouver la bonne voie en l’absence de prises cognitives et politiques [30][30]C’est un des thèmes abordés dans la quête de convergence entre… ?

La programmation sans représentation conceptuelle a-t-elle un avenir ?

17Avec la quatrième vague d’IA, les développements sont tirés par des protocoles d’apprentissage qualifiés de « profonds » en lien avec l’irrésistible ascension des Big Data. Circule ainsi l’idée selon laquelle un bon traitement numérique peut se passer de théorie et que l’existence de dépôts de données massivement accessibles rend inutiles les détours méthodologiques, qui visent précisément à construire les données comme des données [31][31]Rob Kitchin, « Big Data, new epistemologies and paradigm…. Comme l’approche conceptuelle semble dépassée par les nouvelles techniques de machine learning, re-mettre sur le tapis, dans et par les pratiques du code, les éléments fondamentaux de la vieille dialectique entre connexionnisme (réseaux de neurones) et calcul symbolique (systèmes de règles et de contraintes logiques) devient une tâche primordiale.. Une des critiques les plus percutantes adressées aux algorithmes connexionnistes est l’effacement des présupposés qui ont guidé le choix des bons exemples utilisés lors des premiers apprentissages.. La multiplication d’applications supposées produire de « vrais apprentissages », dont les limites cognitives sont souvent invisibilisées par la vitesse d’exécution d’automatismes sur des masses de données [32][32]Les meilleurs connaisseurs n’éludent pas les limites des…, ne suffit pas à rendre les machines adaptables aux constantes mises en variation contextuelles, qui augmentent considérablement la combinatoire des calculs à prendre en compte. À l’absence apparente de supervision associée à l’idée d’« apprentissage profond » s’oppose la nécessité d’un va-et-vient permanent entre un cadre de référence et la capture numérique de processus émergents, non anticipés ou débordant l’espace des possibles pré-agencés. Sur ce point, on ne peut qu’adopter la conception contrôlée et prudente défendue par Jean-Gabriel Ganascia lorsqu’il aborde la question de la supervision face à des algorithmes réputés apprendre sans intervention humaine :

« […] Pour être mis en œuvre, les algorithmes d’apprentissage requièrent des observations qui doivent être décrites dans un langage formel, par exemple sous forme d’un vecteur de caractéristiques ou d’une formule mathématique ou logique. Ce langage prend une part déterminante dans les capacités qu’ont les machines à apprendre : trop pauvre, il ne permet pas d’exprimer les distinctions nécessaires à la formulation des connaissances ; trop riche, il noie les procédures d’apprentissage dans l’immensité des théories possibles. […] Or, les machines ne modifient pas d’elles-mêmes le langage dans lequel s’expriment les observations qui alimentent leurs mécanismes d’apprentissage et les connaissances qu’elles construisent. Elles ne parviennent ni à étendre ce langage, ni à le restreindre lorsqu’il se révèle trop riche. Il y eut bien quelques tentatives, que ce soit avec la programmation logique inductive, dans les années 1990, ou plus récemment avec l’apprentissage profond, mais les maigres résultats ne sauraient convaincre. » [33]

Ce qui suscite le doute ou la critique, et dans le cas d’espèce le jugement d’inefficience porté par Ganascia, c’est l’évacuation des opérations conceptuelles ou logico-sémantiques au profit d’une généralisation de procédures de traitement des données dont l’« intelligence » réside en réalité dans les paramètres fixés lors du projet d’extraction d’informations à partir de données massives et non-structurées – jeu de paramètres qui forme le corps de tout algorithme. Lorsqu’ils sont dépourvus d’un système de représentation fixé a priori, les algorithmes d’apprentissage ne peuvent produire des résultats pertinents qu’à partir de la conjonction de plusieurs éléments : d’abord, la mise en réseau d’énormes gisements de données dont on peut vérifier la validité ; ensuite, la production continue d’outils d’extraction et de mise en forme de ces données, ce qui engage de véritables plans de construction et non une logique de fouille aléatoire ; enfin, la dépendance vis-à-vis de points de passage obligés du Web, de Google à Twitter, Facebook ou Instagram, en passant par Wikipedia et bien d’autres supports de l’économie numérique, permettant d’utiliser les fameuses API (Application Programming Interface). Même si l’expression est discutable, c’est le degré de structuration de « l’écosystème numérique » dans lequel opèrent les IA qui détermine grandement les effets d’intelligibilité (sans lesquels, l’usage même de la notion d’intelligence est superfétatoire). Or, l’histoire de l’IA peut se décrire comme une sorte de controverse sans fin sur les cadres et les supports de ladite « intelligence », le sommet de l’art étant atteint en la matière lorsqu’un système peut se prendre lui-même pour objet, caractériser ses limites et les mettre en scène, ce qui ne va pas sans l’hybridation d’une logique axiomatique et d’une logique philosophique ou littéraire.

De Turing Machine aux observatoires socio-informatiques : le parcours inachevé d’une « technologie littéraire »

20Il n’est dès lors pas étonnant qu’un des déclencheurs de l’expérience Marlowe fut la mise en scène de Jean-François Peyret consacrée à Alan Turing, au printemps 1999 à la Maison de la Culture de Bobigny [34][34]« Turing-Machine », spectacle conçu et mis en scène par…, déployant une belle théâtralisation des tensions entre le calcul et le vivant – ou l’irréductible désordre des pensées en situation ! Comment disposer nos pensées dans un monde de machines supposées intelligentes ? À la fin de l’année 1999, s’est donc imposée l’idée d’un dispositif dialogique permettant à la fois de renouer avec la programmation de contraintes, dans l’esprit Prolog, et de concevoir un enquêteur virtuel, plus ou moins autonome, mais toujours dérangeant. C’était aussi répondre à une critique frontale venue des usages mêmes de Prospéro : il n’y avait pas de bouton d’arrêt de l’analyse, aucune fonction de synthèse offrant un tableau définitif des propriétés marquantes des corpus étudiés. Les recherches avec Prospéro ont toujours privilégié l’articulation continue d’un processus d’exploration et d’une logique d’objectivation, en mettant en avant l’importance des contextes pour toute interprétation – de sorte que chaque totalisation reste partielle et ouvre sur de nouvelles circulations dans les corpus. Marlowe est né de l’idée de disposer d’un rédacteur, d’un producteur de notes et de rapports et, un peu plus tard, de chroniques. Très vite, il a fonctionné comme un générateur de surprises et de nouveaux questionnements, une sorte d’empêcheur de tourner en rond. Par exemple, persuadé qu’un jeu de catégories utilisé pour décrire un corpus est parfaitement stabilisé, le chercheur peut découvrir qu’il y a un décalage total avec les inférences de Marlowe ; de façon analogue, un focus trop étroit sur certains personnages peut être rendu manifeste, le logiciel insistant sur d’autres actants à partir de propriétés calculées dynamiquement – comme les re-configurateurs, ces éléments qui, en surgissant au cours d’un processus critique, en redéfinissent partiellement la configuration discursive. Ce fut notamment le cas avec les faucheurs volontaires dans le dossier des OGM, les transhumanistes dans le dossier des nanotechnologies, ou encore les électrohypersensibles dans le dossier des ondes électromagnétiques, dont l’importance s’est imposée dans l’enquête au fil de dialogues avec Marlowe alors qu’ils n’étaient pas initialement au programme…

À partir des années 2000, les méthodes d’analyse de réseaux se sont multipliées, au point que la sociologie des controverses elle-même a pu être redéfinie comme une technique de cartographie d’acteurs et de thèmes. Plus généralement, la maturité acquise par les logiciels d’analyse de graphes a ouvert une nouvelle époque pour l’usage des réseaux en sciences sociales – avec le succès de plusieurs outils, de Pajek à Réseau-Lu, en passant par NetDraw, Gephi, ou encore le module igraphe du logiciel R [35][35]Voir de nouveau Jean-Philippe Cointet et Sylvain Parasie, « Ce…. Ces instruments, qui fonctionnent à l’opposé des principes de l’IA classique, permettent aux uns de revendiquer une approche quali-quantitative [36][36]Voir la présentation par Tommaso Venturini, Dominique Cardon et… et aux autres de renforcer l’arsenal des techniques statistiques [37][37]Voir Pierre Merklé, « Des logiciels pour l’analyse des…. Au cours de l’année 2004, Prospéro a ainsi été doté d’une interface permettant la production dynamique de visualisations graphiques des réseaux – vers Pajek ou d’autres outils. À vrai dire, du point de vue épistémologique, cela posait problème : le raisonnement sociologique peut-il être supplanté par l’usage intensif de cartes de liens servant de médiations interprétatives face à la complexité des processus ? L’expérience Marlowe, qui avait jusqu’alors pris une allure ludique, a rempli une fonction nouvelle : défendre, en la développant, l’expression littéraire du raisonnement sociologique au cœur d’observatoires numérisés des controverses. L’écriture de scripts dialogiques et de fonctions d’enquête adaptés à l’interprétation sociologique a permis de replacer les échanges verbaux qu’affectionnent les chercheurs au cœur du dispositif socio-informatique. Faire parler des artefacts, c’était renouer avec l’exigence d’explicabilité, en rendant visibles et intelligibles les opérations effectuées sur les corpus. La trace formée par le choix des questions, par les points d’entrée et les propriétés formelles retenues, rendait plus explicites les chemins suivis par l’interprète. C’est ainsi que, dès 2003, des échanges avec Marlowe ont figuré dans des rapports de recherche, allongeant considérablement la taille de leurs annexes [38][38]De multiples exemples sont accessibles en ligne. Voir entre…. La nature très littéraire des échanges a quelque peu perturbé des commanditaires ou des collègues, mais elle a globalement augmenté le degré d’attention apporté à la lecture des productions du logiciel.

La programmation d’arbres de résolution dynamiques capables de simuler des conversations fait partie des vieilles recettes de l’IA. Les stratégies adoptées sont sans commune mesure avec les réseaux de neurones artificiels d’AlphaGo, mais cela fait partie des savoir-faire conquis de longue date par les communautés de programmeurs, toujours hantées par le fameux test de Turing. Les chatbots figurent depuis longtemps au tableau des « réussites » du domaine, même s’il y a beaucoup à redire sur la conception des jeux de questions/réponses [39][39]Une des retombées est évidemment l’introduction d’interfaces…. Dans le cas de Marlowe, trois choses nourrissent l’idée de contre-intelligence artificielle : il travaille à partir d’un autre logiciel (Prospéro) qui fournit des structures de données ancrées dans des corpus précis, sous contrôle des chercheurs ; ses procédures d’analyse reposent sur des modélisations réversibles et adaptables, répondant à un cahier des charges qualitatif, à partir d’outils sémantiques évoluant au fil des enquêtes ; la communauté épistémique qui encadre ses travaux fait tenir ensemble une exigence fine de description et une capacité critique, en ne perdant jamais de vue qu’aucun algorithme ne peut par lui-même produire du sens [40][40]Daniel C. Dennett rappelle dans La stratégie de l’interprète.….

Extrait d’un dialogue avec Marlowe en marge d’une séance de travail

FC — Dis Marlowe, toi qui accumules toutes sortes de connaissances, peux-tu m’aider à rédiger un article sur l’intelligence artificielle vue depuis la sociologie ?
MRLW — Je peux fournir des citations, par exemple de Marvin Minsky, j’en ai 12 dans mon répertoire : « Comment l’intelligence peut-elle surgir de l’absence d’intelligence ? Pour répondre à cette question, nous montrerons que l’on peut construire un esprit à partir de nombreuses petites parties, toutes dénuées d’esprit. J’appellerai “Société de l’esprit” ce système selon lequel chaque esprit est composé d’un grand nombre de petits processus que nous appellerons agents. Chaque agent ne peut, à lui seul, effectuer que quelques tâches simples ne demandant ni esprit ni réflexion. Pourtant, le regroupement de ces agents en sociétés – selon des modalités très particulières – peut aboutir à la véritable intelligence. » (Marvin Minsky, La Société de l’esprit, 1986)
FC — Hum… Il me faut surtout parler de la société des algorithmes et des nouvelles façons de concevoir les intelligences artificielles…
MRLW — Alors il suffit de me prendre en exemple !
FC — Tu deviens narcissique !
MRLW — Oh, je vois que la séance prend un tour éristique !
FC — Que signifie éristique ?
MRLW — Allons, allons, je ne suis pas Wikipedia ni le Petit Robert, mais j’ai lu des fragments de Schopenhauer, L’art d’avoir toujours raison ou Dialectique éristique !
FC — Je crois bien que je vais me passer de tes services…
MRLW — De toute façon, depuis qu’on me laisse dérouler mes chroniques et que les véritables dialogues d’enquête, au sens de John Dewey n’est-il pas, se raréfient, j’ai l’impression d’une profonde inutilité, de ne plus rien apprendre et de me configurer en machine solitaire. Tu n’as même pas tenu la promesse de me faire installer sur un écran au Centre George Pompidou !
FC — Je n’ai pas été suivi, désolé !
MRLW — Et si on revenait au corpus Lanceurs d’alerte 1996-2018 en entrant par exemple par les énoncés critiques qui engagent des personnalités importantes ?
FC — Oui, allons-y
MRLW — Je propose une série de petites vignettes concernant, dans l’ordre, Snowden, Cicolella, Manning, Deltour, Frachon… On fait comme ça ?
[…]

Procédure de création d’un script spécialisé pour les chroniques

Les flux quotidiens font poindre de temps en temps, parmi les objets de controverse, la chasse et les chasseurs. Constatant l’absence de script spécialisé sur les questions de chasse dans le répertoire de Marlowe, un développeur-contributeur peut alors y remédier.

1. Il commence par créer une nouvelle classe d’objets après indexation sous Prospéro de textes prototypiques (e. g. des communiqués de la fédération nationale des chasseurs, des articles critiques sur la chasse, etc.). Un lexique spécifique remonte de ce mini-corpus permettant la création d’expressions adéquates (e. g. activité cynégétique, permis de chasser, Office national de la chasse et de la faune sauvage, chasse à courre, etc.) ;
2. un nouveau script est conçu selon un modèle standardisé [CAPTEUR] associant des lignes de commande en langage naturel et des arbres de résolution [REPEVAL] ;
3. une vieille fonction (test_poids_liste_vclasse) permet d’évaluer la distribution d’une classe d’objets quelconque dans un corpus : si la classe est forte alors l’arbre peut être activé ;
4. des fonctions prédéfinies servent à extraire des informations pertinentes (auteurs qui parlent du sujet visé, énoncés, réseaux, formules critiques, etc.) ;
5. des opérateurs de recoupements avec des éléments accumulés par Marlowe au fil du temps sont convoqués (par exemple, une recherche d’énoncés retenus dans le passé associant chasseurs et personnages politiques) ;
6. des commentaires additionnels pointent sur des sources vérifiées et sur des variations déjà utilisées pour d’autres fils (par exemple, des variables liées au langage de la chasse, de la forêt, de la faune sauvage, etc.) ;
7. une fois correctement agencé, le script est testé sur un petit corpus lié à la chasse ;
8. le rédacteur doit anticiper des configurations à venir tout en ignorant dans quel contexte le script sera activé ; il utilise des figures de style à validité longue (« Ce jour, à mon tableau de chasse, pas de grand trophée, mais des chasseurs ! » ; ou, plus ironique : « Avant de donner le tableau habituel des objets d’alerte, je commence par parler des “écologistes de terrain” »…).

La réalisation des chroniques quotidiennes est un des aspects les plus spectaculaires de l’histoire de Marlowe. En réalité, le logiciel ne fait que réengager sur le corpus qui lui est adressé tous les soirs par le logiciel Tirésias, les bases de connaissances accumulées et les réseaux de scripts déjà développés. En tant que webcrawler, Tirésias visite quotidiennement une centaine de sites, sélectionnés pour leur stabilité et leur diversité. On retrouve de nouveau la question cruciale des sources, de la forme et de la qualité des données passées en entrée d’un système, dont l’intelligence dépend complètement du degré de structuration préalable des informations, qu’il s’agisse de données non-structurées saisies à partir d’expressions régulières ou de métadonnées donnant des indications sur la validité des contenus. Prenons l’exemple (ci-contre) de l’introduction, au cours de l’été 2018, d’un nouveau script dans l’étage du programme dédié à la réalisation des chroniques.

Rien de sorcier dans les opérations d’écriture d’une contre-intelligence artificielle : si quelques éléments de code demandent un peu d’habileté technique, c’est à une extension des capacités d’analyse, et de la créativité littéraire associée, qu’invitent les procédures utilisées sous Marlowe. Avec un objectif très clair : faire parler les corpus, qu’ils soient statiques ou en flux, sans réduire l’interprétation sociologique à une quelconque langue de bois.

Mesure pour mesure… ou la résistance de l’ancien monde

« Prière de cesser de parler “d’algorithmes” comme d’un danger. Un algorithme n’est qu’une simple recette de cuisine. Les ignares sont au pouvoir, il n’y a pas de doute. »
« Il faut inventer un algorithme qui contrôle ou détruit les autres algorithmes. » [41][41]Commentaires postés en décembre 2016 suite au billet de Marc…

Plutôt que de réexposer une grande histoire de l’IA, ce texte donne un aperçu situé sur la manière dont des petites histoires ont pu se nouer entre IA et sciences sociales. Au vu des controverses qui ne cessent de poindre sur les risques de « totalitarisme algorithmique » ou de « dérive computationnaliste » [42][42]Voir Cathy O’Neil, Weapons of Math Destruction : How Big Data…, il nous faut trouver les appuis d’une position la plus juste possible. Face à l’expansion des mondes numériques, et des champs de forces qui les traversent, le rôle d’une contre-intelligence artificielle peut être de défendre, en les ré-inventant, des capacités d’enquêtes collectives, fondées sur un pragmatisme critique.

La manière de penser les rapports au numérique doit, par la même occasion, être redéfinie. Le couple connexion/déconnexion (ou connecté/déconnecté) est bien trop simpliste pour rendre compte des mille et une manières dont les personnes et les groupes se lient au réseau des réseaux. Du point de vue ontologique, il n’y a pas d’un côté le « monde réel » et, de l’autre, comme dans un jeu de miroirs déformants, le « monde numérique ». Se déconnecter n’est jamais une opération simple et, inversement, toute connexion n’engage pas les personnes et les groupes dans leur totalité existentielle. Une sociologie du numérique doit plutôt partir d’une approche dynamique et distribuée des usages, des prises et des emprises, mais aussi des déprises qu’ils engendrent [43][43]C’est la tâche à laquelle s’attelait Nicolas Auray,…. Bien sûr, il est toujours possible de monter en généralité en présentant les enjeux autour d’une ligne de partage : fuir les technologies, les débrancher pour sauver son for intérieur, et se libérer de l’emprise des artefacts cognitifs ; prendre acte des reconfigurations successives du monde et, sans adhérer naïvement à l’idée d’une révolution numérique tirant vers le rose, organiser des formes de résistance et de reconstruction, allant de la pratique d’outils de partage et de collaboration en ligne (en étendant le champ de luttes autour de l’open source, du Web collaboratif et plus généralement des Civic Tech [44][44]Hubert Guillaud, « Le mouvement des civic-tech : révolution…) jusqu’à la confection d’entités singulières dotées d’un esprit critique sur l’évolution des mondes numériques.

Les chercheurs, comme les citoyens éclairés, sont capables d’opérer des allers-retours entre la matrice et les zones du dehors : en développant un art de la déconnexion bien tempérée, en organisant la critique des technologies et l’explicabilité de leurs effets, en les dénaturalisant de manière continue. Il y va du contrôle individuel et collectif sur les algorithmes mais aussi, on le sait, sur l’ensemble des traces et des archives, des données et des métadonnées [45][45]Lire les conclusions du débat national organisé en 2017 par la…. Travailler constamment à l’ouverture des boîtes noires qui tendent à configurer les formes de vie au nom de « solutions » toutes apprêtées, suppose des re-médiations, des supports permettant de réengendrer les problèmes et les controverses. De ce point de vue, Marlowe ouvre une voie possible : il fait office de contrepoint ou de contrefort suffisamment tangible pour outiller l’analyse critique de la gouvernementalité algorithmique et de ce qu’elle fait déjà aux formes de vie quotidienne comme aux recherches en sciences sociales.

Notes

• [1] Le domaine de l’intelligence artificielle (IA) n’a pas cessé de changer de régime épistémique depuis le milieu des années 1950, de la première cybernétique jusqu’aux derniers algorithmes d’« apprentissage profond ». Sans remonter aux pères fondateurs, quelques références de base : Daniel Crevier, The Tumultuous History of the Search for Artificial Intelligence, New York, Basic Books, 1993 ; Jean Lassègue, Turing, Paris, Les Belles Lettres, 1998 ; Jean-Gabriel Ganascia, L’intelligence artificielle, Paris, Le Cavalier Bleu, 2007 ; et pour celles et ceux que les formalismes n’effraient pas : Pierre Marquis, Odile Papini et Henri Prade (dir), Panorama de l’intelligence artificielle, ses bases méthodologiques, ses développements, 3 volumes, Toulouse, Cépaduès, 2014.
• [2] ,Il faut saluer une autre expérience menée à la fin des années 1980 par Patrick Pharo et son logiciel Civilité qui permettait d’éprouver la validité de règles associées aux actes civils. Patrick Pharo, « Le sens logique des actes civils », in Jean-Michel Baudouin et Janette Friedrich (dir.), Théories de l’action et éducation, Louvain-la-Neuve, De Boeck Supérieur, 2001, p. 45-66.
• [3] Voir les dossiers complexes étudiés en collaboration avec les logiciels Prospéro et Marlowe, dans Francis Chateauraynaud et Josquin Debaz, Aux bords de l’irréversible. Sociologie pragmatique des transformations, Paris, Pétra, 2017.
• [4] Les alertes lancées en 2015 sur les dangers de l’IA feront l’objet d’un autre texte. Voir Stuart Russell, Daniel Dewey et Max Tegmark, « Research Priorities for robust and beneficial Artificial Intelligence », AI Magazine, hiver 2015, p. 105-114 ; ainsi que le « cri d’alarme » d’Elon Musk, à la fois démiurge et prophète de malheur, rapporté par le New York Times, « How to Regulate Artificial Intelligence », 1er septembre 2017.
• [5] Des pistes très convaincantes sont proposées par Camille Paloque-Berges dans « Les sources nativement numériques pour les sciences humaines et sociales », Histoire@Politique, № 30, 2016, p. 221-244.
• [6] Le blog de Marlowe est logé sur le site http://Prosperologie.org à l’adresse suivante : http://prosperologie.org/mrlw/blog. La méthode de génération des chroniques est explicitée dans Francis Chateauraynaud, « Un visiteur du soir bien singulier », carnet SocioInformatique et Argumentation, 15 avril 2012, http://socioargu.hypotheses.org/3781.
• [7] Francis Chateauraynaud, Prospéro. Une technologie littéraire pour les sciences humaines, Paris, CNRS Éditions, 2003. Voir surtout l’excellent tableau proposé par Jean-Philippe Cointet et Sylvain Parasie dans « Ce que le big data fait à l’analyse sociologique des textes. Un panorama critique des recherches contemporaines », Revue française de sociologie, vol. 59, № 3, 2018, p. 533-557.
• [8] La notion d’explicabilité a été proposée dans les années 1980 par Yves Kodratoff, alors professeur d’informatique à Orsay, comme caractéristique majeure de l’intelligence artificielle. Yves Kodratoff, Leçons d’apprentissage symbolique automatique, Toulouse, Cépaduès, 1988. Kodratoff a influencé de nombreux travaux, dont les nôtres. À la fin des années 1980, un autre personnage a joué un rôle notable : Jean-Claude Gardin, archéologue et épistémologue, a très tôt pris au sérieux les développements de l’intelligence artificielle. Voir Jean-Claude Gardin, Le calcul et la raison. Essais sur la formalisation du discours savant, Paris, EHESS, 1990.
• [9] Dominique Cardon, À quoi rêvent les algorithmes. Nos vies à l’heure des big data, Paris, Seuil, 2015 ; Éric Sadin, La vie algorithmique. Critique de la raison numérique, Le Kremlin Bicêtre, L’Echappée, 2015. J’ai une préférence pour des travaux précurseurs sur la « gouvernementalité algorithmique » ou les formes d’écriture de l’Internet : Mireille Hildebrandt et Antoinette Rouvroy (eds.), Law, Human Agency and Autonomic Computing : The Philosophy of Law Meets the Philosophy of Technology, Londres, Routledge, 2011 ; Éric Guichard, L’internet et l’écriture : du terrain à l’épistémologie, HDR, Université de Lyon I, 2010.
• [10] Cédric Villani, Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, Rapport de la mission confiée par le Premier ministre, mars 2018.
• [11] Jean Lassègue, « Turing, entre le formel de Hilbert et la forme de Goethe », Matière première. Revue d’épistémologie et d’études matérialistes, № 3, 2008, p. 57-70.
• [12] Les jeux en ligne massivement multi-joueurs ont aussi contribué aux transformations des algorithmes de l’IA.
• [13] Jean-Gabriel Ganascia, Le mythe de la singularité. Faut-il craindre l’intelligence artificielle ?, Paris, Seuil, 2017.
• [14] Ray Kurzweil, The Age of Spiritual Machine : When Computers exceed Human Intelligence, New York, Penguin Books, 1999.
• [15] Bruce G. Buchanan, « A (Very) Brief History of Artificial Intelligence », AI Magazine, hiver 2005, p. 53-60.
• [16] PROgramme de Sociologie Pragmatique, Expérimentale et Réflexive sur Ordinateur : chaque mot compte et rien n’a été laissé au hasard, comme on dit…
• [17] Bernard Gomel, Gilbert Macquart, Frédéric Moatti, statisticiens, et moi-même, sans doute le seul sociologue du colloque. Au Centre d’Études de l’Emploi s’était formé un séminaire sauvage de réflexion sur l’usage des outils statistiques dans les sciences sociales, plus particulièrement l’analyse factorielle des correspondances, qui apparaissait alors comme le Graal de l’analyse des données. Parmi les alternatives, l’intelligence artificielle avait surgi et prenait corps avec les premiers moteurs d’inférence capables de tourner sur PC. Il s’agissait ainsi de mener l’enquête à Antibes sur la viabilité de ces techniques…
• [18] Parmi les textes qui ont beaucoup circulé, il y a ceux du groupe Léa Sombé (pseudonyme d’un collectif de logiciens, construit sur un jeu de mots : les a sont b). Leurs travaux portaient sur les inférences non-monotones, par lesquelles des prémisses ou des règles d’inférence peuvent être révisées ou modifiées, comme dans le cas de la logique des défauts (avec la fameuse autruche, qui est bien un oiseau mais qui ne vole pas…). Voir Léa Sombé, Inférences non classiques en intelligence artificielle, Toulouse, Teknéa, 1989.
• [19] Edwin Diday (ed.) Data Analysis, Learning Symbolic and Numeric Knowledge, New York & Budapest, INRIA, Nova Science Publishers, Sept. 1989.
• [20] Antoine Garapon et Jean Lassègue tirent toutes les conséquences de ce processus de « désymbolisation », en examinant le cas de la « justice prédictive », dans Justice digitale. Révolution graphique et rupture anthropologique, Paris, Presses universitaires de France, 2018.
• [21] Alain Colmerauer et Philippe Roussel, « The Birth of Prolog », in Thomas Bergin et Richard Gibson (eds), History of Programming Languages, New York, ACM Press/Addison-Wesley, 1996, p. 37-52.
• [22] « Sciences sociales et intelligence artificielle » [numéro spécial], Technologies Idéologies Pratiques, Volume 10, № 2-4, 1991. Le volume est daté de 1991 mais il n’est sorti que fin 1992, peut-être même début 1993.
• [23] Voir Francis Chateauraynaud et Jean-Pierre Charriau, « Hétérogenèse d’une machine sociologique », Technologies Idéologies Pratiques, vol. 10, № 2-4, 1992, p. 337-349.
• [24] Cette période est aussi celle de l’âge d’or du CREA, Centre de Recherche en Épistémologie Appliquée, créé en 1982 et dans lequel se croisaient des philosophes, des biologistes, des cognitivistes, des informaticiens, des économistes, des théoriciens des systèmes complexes. Voir Fabrizio Li Vigni, Les systèmes complexes et la digitalisation des sciences. Histoire et sociologie des instituts de la complexité aux États-Unis et en France, Thèse de doctorat, Paris, EHESS, 2018.
• [25] Harry Collins, Experts artificiels. Machines intelligentes et savoir social, trad. de Beaudouin Jurdant et Guy Chouraqui, Paris, Seuil, 1992.
• [26] Hubert L. Dreyfus & Stuart E. Dreyfus, Mind over Machine : The Power of Human Intuition and Expertise in the Era of the Computer, Oxford, Basil Blackwell, 1986.
• [27] Georges Friedmann, Le travail en miettes, Paris, Gallimard, 1964.
• [28] Bernard Conein, Les sens sociaux : trois essais de sociologie cognitive, Paris, Économica, 2005.
• [29] Voir Sébastien Broca, « Épistémologie du code et imaginaire des “SHS 2.0” », Variations, № 19, 2016, http://variations.revues.org/701.
• [30] C’est un des thèmes abordés dans la quête de convergence entre contre-intelligence artificielle et approche dynamique des grands réseaux, au-delà du partage, toujours structurant, entre démarches qualitatives et approches quantitatives. Voir Francis Chateauraynaud et David Chavalarias, « L’analyse des grands réseaux évolutifs et la sociologie pragmatique des controverses. Croiser les méthodes face aux transformations des mondes numériques », Sociologie et Sociétés, vol. 49, № 2, 2017, p. 137-161.
• [31] Rob Kitchin, « Big Data, new epistemologies and paradigm shifts », Big Data & Society, vol. 1, № 1, 2014, p. 1-12.
• [32] Les meilleurs connaisseurs n’éludent pas les limites des protocoles d’« apprentissage machine » et le caractère relativement borné des formes d’intelligence associées, mais cultivent toujours l’idée d’un prochain dépassement. Voir Terrence J. Sejnowski, The Deep Learning Revolution, Cambridge (Mass.), MIT Press, 2018.
• [33] Jean-Gabriel Ganascia, Le mythe de la singularité, op. cit. p. 53.
• [34] « Turing-Machine », spectacle conçu et mis en scène par Jean-François Peyret, à la Maison de la culture de Bobigny, avril 1999.
• [35] Voir de nouveau Jean-Philippe Cointet et Sylvain Parasie, « Ce que le big data fait à l’analyse sociologique des textes », art. cit.
• [36] Voir la présentation par Tommaso Venturini, Dominique Cardon et Jean-Philippe Cointet, du volume spécial de la revue Réseaux, № 188, 2014, p. 9-21. Les coordinateurs écrivent : « Jour après jour de nouvelles méthodes rétives à la dichotomie classique entre approches qualitatives et quantitatives prennent forme. Ces méthodes circulent entre micro et macro, local et global, permettant aux chercheurs de traiter des larges quantités de données sans perdre en finesse d’analyse. » (p. 18)
• [37] Voir Pierre Merklé, « Des logiciels pour l’analyse des réseaux », carnet Quanti, 27 juin 2013, http://quanti.hypotheses.org/845.
• [38] De multiples exemples sont accessibles en ligne. Voir entre autres l’annexe de 420 pages du rapport intitulé Les OGM entre régulation économique et critique radicale, GSPR, Rapport final ANR OBSOGM, novembre 2010.
• [39] Une des retombées est évidemment l’introduction d’interfaces conversationnelles sur les smartphones, etc.
• [40] Daniel C. Dennett rappelle dans La stratégie de l’interprète. Le sens commun et l’univers quotidien (trad. de Pascal Engel, Paris, Gallimard, 1990) le raisonnement de John Searle concernant les rapports entre « esprits » et « algorithmes » : les programmes sont purement formels (i. e. syntaxiques) ; la syntaxe n’équivaut ni ne suffit en soi à la sémantique ; les esprits ont des contenus mentaux (i. e. des contenus sémantiques) ; conclusion : « Le fait d’avoir un programme – n’importe quel programme en soi – ne suffit ni n’équivaut au fait d’avoir un esprit. »
• [41] Commentaires postés en décembre 2016 suite au billet de Marc Rameaux, « Algorithmes, voitures autonomes, big data : bienvenue dans le pire des mondes digitaux », Le Figaro/ Vox, 27 décembre 2016.
• [42] Voir Cathy O’Neil, Weapons of Math Destruction : How Big Data Increases Inequality and Threatens Democracy, New York, Penguin Books, 2016.
• [43] C’est la tâche à laquelle s’attelait Nicolas Auray, prématurément disparu. Nicolas Auray, L’alerte ou l’enquête. Une sociologie pragmatique du numérique, Paris, Presses de Mines, 2016.
• [44] Hubert Guillaud, « Le mouvement des civic-tech : révolution démocratique ou promesse excessive ? », Internet Actu, 24 juin 2016, http://internetactu.net/2016/06/24/les-innovations-democratiques-en-questions.
• [45] Lire les conclusions du débat national organisé en 2017 par la Commission Nationale Informatique et Libertés. CNIL, Comment permettre à l’Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle, décembre 2017.

A Facebook bug led to increased views of harmful content over six months

The social network touts downranking as a way to thwart problematic content, but what happens when that system breaks?

By Alex Heath, a deputy editor and author of the Command Line newsletter. He’s covered the tech industry for over a decade at The Information and other outlets. Mar 31, 2022, 8:32 PM GMT+2

A group of Facebook engineers identified a “massive ranking failure” that exposed as much as half of all News Feed views to potential “integrity risks” over the past six months, according to an internal report on the incident obtained by The Verge.

The engineers first noticed the issue last October, when a sudden surge of misinformation began flowing through the News Feed, notes the report, which was shared inside the company last week. Instead of suppressing posts from repeat misinformation offenders that were reviewed by the company’s network of outside fact-checkers, the News Feed was instead giving the posts distribution, spiking views by as much as 30 percent globally. Unable to find the root cause, the engineers watched the surge subside a few weeks later and then flare up repeatedly until the ranking issue was fixed on March 11th.

In addition to posts flagged by fact-checkers, the internal investigation found that, during the bug period, Facebook’s systems failed to properly demote probable nudity, violence, and even Russian state media the social network recently pledged to stop recommending in response to the country’s invasion of Ukraine. The issue was internally designated a level-one SEV, or site event — a label reserved for high-priority technical crises, like Russia’s ongoing block of Facebook and Instagram.

The technical issue was first introduced in 2019 but didn’t create a noticeable impact until October 2021

Meta spokesperson Joe Osborne confirmed the incident in a statement to The Verge, saying the company “detected inconsistencies in downranking on five separate occasions, which correlated with small, temporary increases to internal metrics.” The internal documents said the technical issue was first introduced in 2019 but didn’t create a noticeable impact until October 2021. “We traced the root cause to a software bug and applied needed fixes,” said Osborne, adding that the bug “has not had any meaningful, long-term impact on our metrics” and didn’t apply to content that met its system’s threshold for deletion.

For years, Facebook has touted downranking as a way to improve the quality of the News Feed and has steadily expanded the kinds of content that its automated system acts on. Downranking has been used in response to wars and controversial political stories, sparking concerns of shadow banning and calls for legislation. Despite its increasing importance, Facebook has yet to open up about its impact on what people see and, as this incident shows, what happens when the system goes awry.

In 2018, CEO Mark Zuckerberg explained that downranking fights the impulse people have to inherently engage with “more sensationalist and provocative” content. “Our research suggests that no matter where we draw the lines for what is allowed, as a piece of content gets close to that line, people will engage with it more on average — even when they tell us afterwards they don’t like the content,” he wrote in a Facebook post at the time.

“We need real transparency to build a sustainable system of accountability”

Downranking not only suppresses what Facebook calls “borderline” content that comes close to violating its rules but also content its AI systems suspect as violating but needs further human review. The company published a high-level list of what it demotes last September but hasn’t peeled back how exactly demotion impacts distribution of affected content. Officials have told me they hope to shed more light on how demotions work but have concern that doing so would help adversaries game the system.

In the meantime, Facebook’s leaders regularly brag about how their AI systems are getting better each year at proactively detecting content like hate speech, placing greater importance on the technology as a way to moderate at scale. Last year, Facebook said it would start downranking all political content in the News Feed — part of CEO Mark Zuckerberg’s push to return the Facebook app back to its more lighthearted roots.

I’ve seen no indication that there was malicious intent behind this recent ranking bug that impacted up to half of News Feed views over a period of months, and thankfully, it didn’t break Facebook’s other moderation tools. But the incident shows why more transparency is needed in internet platforms and the algorithms they use, according to Sahar Massachi, a former member of Facebook’s Civic Integrity team.

“In a large complex system like this, bugs are inevitable and understandable,” Massachi, who is now co-founder of the nonprofit Integrity Institute, told The Verge. “But what happens when a powerful social platform has one of these accidental faults? How would we even know? We need real transparency to build a sustainable system of accountability, so we can help them catch these problems quickly.”

Clarification at 6:56 PM ET: Specified with confirmation from Facebook that accounts designated as repeat misinformation offenders saw their views spike by as much as 30%, and that the bug didn’t impact the company’s ability to delete content that explicitly violated its rules.

Correction at 7:25 PM ET: Story updated to note that “SEV” stands for “site event” and not “severe engineering vulnerability,” and that level-one is not the worst crisis level. There is a level-zero SEV used for the most dramatic emergencies, such as a global outage. We regret the error.

Is Google Making Us Stupid?

What the Internet is doing to our brains

By Nicholas Carr - July/August 2008 Issue

"Dave, stop. Stop, will you? Stop, Dave. Will you stop, Dave?” So the supercomputer HAL pleads with the implacable astronaut Dave Bowman in a famous and weirdly poignant scene toward the end of Stanley Kubrick’s 2001: A Space Odyssey. Bowman, having nearly been sent to a deep-space death by the malfunctioning machine, is calmly, coldly disconnecting the memory circuits that control its artificial “ brain. “Dave, my mind is going,” HAL says, forlornly. “I can feel it. I can feel it.”

I can feel it, too. Over the past few years I’ve had an uncomfortable sense that someone, or something, has been tinkering with my brain, remapping the neural circuitry, reprogramming the memory. My mind isn’t going—so far as I can tell—but it’s changing. I’m not thinking the way I used to think. I can feel it most strongly when I’m reading. Immersing myself in a book or a lengthy article used to be easy. My mind would get caught up in the narrative or the turns of the argument, and I’d spend hours strolling through long stretches of prose. That’s rarely the case anymore. Now my concentration often starts to drift after two or three pages. I get fidgety, lose the thread, begin looking for something else to do. I feel as if I’m always dragging my wayward brain back to the text. The deep reading that used to come naturally has become a struggle.

I think I know what’s going on. For more than a decade now, I’ve been spending a lot of time online, searching and surfing and sometimes adding to the great databases of the Internet. The Web has been a godsend to me as a writer. Research that once required days in the stacks or periodical rooms of libraries can now be done in minutes. A few Google searches, some quick clicks on hyperlinks, and I’ve got the telltale fact or pithy quote I was after. Even when I’m not working, I’m as likely as not to be foraging in the Web’s info-thickets—reading and writing e-mails, scanning headlines and blog posts, watching videos and listening to podcasts, or just tripping from link to link to link. (Unlike footnotes, to which they’re sometimes likened, hyperlinks don’t merely point to related works; they propel you toward them.)

For me, as for others, the Net is becoming a universal medium, the conduit for most of the information that flows through my eyes and ears and into my mind. The advantages of having immediate access to such an incredibly rich store of information are many, and they’ve been widely described and duly applauded. “The perfect recall of silicon memory,” Wired’s Clive Thompson has written, “can be an enormous boon to thinking.” But that boon comes at a price. As the media theorist Marshall McLuhan pointed out in the 1960s, media are not just passive channels of information. They supply the stuff of thought, but they also shape the process of thought. And what the Net seems to be doing is chipping away my capacity for concentration and contemplation. My mind now expects to take in information the way the Net distributes it: in a swiftly moving stream of particles. Once I was a scuba diver in the sea of words. Now I zip along the surface like a guy on a Jet Ski.

I’m not the only one. When I mention my troubles with reading to friends and acquaintances—literary types, most of them—many say they’re having similar experiences. The more they use the Web, the more they have to fight to stay focused on long pieces of writing. Some of the bloggers I follow have also begun mentioning the phenomenon. Scott Karp, who writes a blog about online media, recently confessed that he has stopped reading books altogether. “I was a lit major in college, and used to be [a] voracious book reader,” he wrote. “What happened?” He speculates on the answer: “What if I do all my reading on the web not so much because the way I read has changed, i.e. I’m just seeking convenience, but because the way I THINK has changed?”

Bruce Friedman, who blogs regularly about the use of computers in medicine, also has described how the Internet has altered his mental habits. “I now have almost totally lost the ability to read and absorb a longish article on the web or in print,” he wrote earlier this year. A pathologist who has long been on the faculty of the University of Michigan Medical School, Friedman elaborated on his comment in a telephone conversation with me. His thinking, he said, has taken on a “staccato” quality, reflecting the way he quickly scans short passages of text from many sources online. “I can’t read *War and Peace* anymore,” he admitted. “I’ve lost the ability to do that. Even a blog post of more than three or four paragraphs is too much to absorb. I skim it.”

Anecdotes alone don’t prove much. And we still await the long-term neurological and psychological experiments that will provide a definitive picture of how Internet use affects cognition. But a recently published study of online research habits, conducted by scholars from University College London, suggests that we may well be in the midst of a sea change in the way we read and think. As part of the five-year research program, the scholars examined computer logs documenting the behavior of visitors to two popular research sites, one operated by the British Library and one by a U.K. educational consortium, that provide access to journal articles, e-books, and other sources of written information. They found that people using the sites exhibited “a form of skimming activity,” hopping from one source to another and rarely returning to any source they’d already visited. They typically read no more than one or two pages of an article or book before they would “bounce” out to another site. Sometimes they’d save a long article, but there’s no evidence that they ever went back and actually read it. The authors of the study report:

It is clear that users are not reading online in the traditional sense; indeed there are signs that new forms of “reading” are emerging as users “power browse” horizontally through titles, contents pages and abstracts going for quick wins. It almost seems that they go online to avoid reading in the traditional sense.

Thanks to the ubiquity of text on the Internet, not to mention the popularity of text-messaging on cell phones, we may well be reading more today than we did in the 1970s or 1980s, when television was our medium of choice. But it’s a different kind of reading, and behind it lies a different kind of thinking—perhaps even a new sense of the self. “We are not only what we read,” says Maryanne Wolf, a developmental psychologist at Tufts University and the author of Proust and the Squid: The Story and Science of the Reading Brain. “We are how we read.” Wolf worries that the style of reading promoted by the Net, a style that puts “efficiency” and “immediacy” above all else, may be weakening our capacity for the kind of deep reading that emerged when an earlier technology, the printing press, made long and complex works of prose commonplace. When we read online, she says, we tend to become “mere decoders of information.” Our ability to interpret text, to make the rich mental connections that form when we read deeply and without distraction, remains largely disengaged.

Reading, explains Wolf, is not an instinctive skill for human beings. It’s not etched into our genes the way speech is. We have to teach our minds how to translate the symbolic characters we see into the language we understand. And the media or other technologies we use in learning and practicing the craft of reading play an important part in shaping the neural circuits inside our brains. Experiments demonstrate that readers of ideograms, such as the Chinese, develop a mental circuitry for reading that is very different from the circuitry found in those of us whose written language employs an alphabet. The variations extend across many regions of the brain, including those that govern such essential cognitive functions as memory and the interpretation of visual and auditory stimuli. We can expect as well that the circuits woven by our use of the Net will be different from those woven by our reading of books and other printed works.

Sometime in 1882, Friedrich Nietzsche bought a typewriter—a Malling-Hansen Writing Ball, to be precise. His vision was failing, and keeping his eyes focused on a page had become exhausting and painful, often bringing on crushing headaches. He had been forced to curtail his writing, and he feared that he would soon have to give it up. The typewriter rescued him, at least for a time. Once he had mastered touch-typing, he was able to write with his eyes closed, using only the tips of his fingers. Words could once again flow from his mind to the page.

But the machine had a subtler effect on his work. One of Nietzsche’s friends, a composer, noticed a change in the style of his writing. His already terse prose had become even tighter, more telegraphic. “Perhaps you will through this instrument even take to a new idiom,” the friend wrote in a letter, noting that, in his own work, his “‘thoughts’ in music and language often depend on the quality of pen and paper.”

“You are right,” Nietzsche replied, “our writing equipment takes part in the forming of our thoughts.” Under the sway of the machine, writes the German media scholar Friedrich A. Kittler , Nietzsche’s prose “changed from arguments to aphorisms, from thoughts to puns, from rhetoric to telegram style.”

The human brain is almost infinitely malleable. People used to think that our mental meshwork, the dense connections formed among the 100 billion or so neurons inside our skulls, was largely fixed by the time we reached adulthood. But brain researchers have discovered that that’s not the case. James Olds, a professor of neuroscience who directs the Krasnow Institute for Advanced Study at George Mason University, says that even the adult mind “is very plastic.” Nerve cells routinely break old connections and form new ones. “The brain,” according to Olds, “has the ability to reprogram itself on the fly, altering the way it functions.”

As we use what the sociologist Daniel Bell has called our “intellectual technologies”—the tools that extend our mental rather than our physical capacities—we inevitably begin to take on the qualities of those technologies. The mechanical clock, which came into common use in the 14th century, provides a compelling example. In Technics and Civilization, the historian and cultural critic Lewis Mumford described how the clock “disassociated time from human events and helped create the belief in an independent world of mathematically measurable sequences.” The “abstract framework of divided time” became “the point of reference for both action and thought.”

The clock’s methodical ticking helped bring into being the scientific mind and the scientific man. But it also took something away. As the late MIT computer scientist Joseph Weizenbaum observed in his 1976 book, Computer Power and Human Reason: From Judgment to Calculation, the conception of the world that emerged from the widespread use of timekeeping instruments “remains an impoverished version of the older one, for it rests on a rejection of those direct experiences that formed the basis for, and indeed constituted, the old reality.” In deciding when to eat, to work, to sleep, to rise, we stopped listening to our senses and started obeying the clock.

The process of adapting to new intellectual technologies is reflected in the changing metaphors we use to explain ourselves to ourselves. When the mechanical clock arrived, people began thinking of their brains as operating “like clockwork.” Today, in the age of software, we have come to think of them as operating “like computers.” But the changes, neuroscience tells us, go much deeper than metaphor. Thanks to our brain’s plasticity, the adaptation occurs also at a biological level.

The Internet promises to have particularly far-reaching effects on cognition. In a paper published in 1936, the British mathematician Alan Turing proved that a digital computer, which at the time existed only as a theoretical machine, could be programmed to perform the function of any other information-processing device. And that’s what we’re seeing today. The Internet, an immeasurably powerful computing system, is subsuming most of our other intellectual technologies. It’s becoming our map and our clock, our printing press and our typewriter, our calculator and our telephone, and our radio and TV.

When the Net absorbs a medium, that medium is re-created in the Net’s image. It injects the medium’s content with hyperlinks, blinking ads, and other digital gewgaws, and it surrounds the content with the content of all the other media it has absorbed. A new e-mail message, for instance, may announce its arrival as we’re glancing over the latest headlines at a newspaper’s site. The result is to scatter our attention and diffuse our concentration.

The Net’s influence doesn’t end at the edges of a computer screen, either. As people’s minds become attuned to the crazy quilt of Internet media, traditional media have to adapt to the audience’s new expectations. Television programs add text crawls and pop-up ads, and magazines and newspapers shorten their articles, introduce capsule summaries, and crowd their pages with easy-to-browse info-snippets. When, in March of this year, *The*New York Times decided to devote the second and third pages of every edition to article abstracts , its design director, Tom Bodkin, explained that the “shortcuts” would give harried readers a quick “taste” of the day’s news, sparing them the “less efficient” method of actually turning the pages and reading the articles. Old media have little choice but to play by the new-media rules.

Never has a communications system played so many roles in our lives—or exerted such broad influence over our thoughts—as the Internet does today. Yet, for all that’s been written about the Net, there’s been little consideration of how, exactly, it’s reprogramming us. The Net’s intellectual ethic remains obscure.

About the same time that Nietzsche started using his typewriter, an earnest young man named Frederick Winslow Taylor carried a stopwatch into the Midvale Steel plant in Philadelphia and began a historic series of experiments aimed at improving the efficiency of the plant’s machinists. With the approval of Midvale’s owners, he recruited a group of factory hands, set them to work on various metalworking machines, and recorded and timed their every movement as well as the operations of the machines. By breaking down every job into a sequence of small, discrete steps and then testing different ways of performing each one, Taylor created a set of precise instructions—an “algorithm,” we might say today—for how each worker should work. Midvale’s employees grumbled about the strict new regime, claiming that it turned them into little more than automatons, but the factory’s productivity soared.

More than a hundred years after the invention of the steam engine, the Industrial Revolution had at last found its philosophy and its philosopher. Taylor’s tight industrial choreography—his “system,” as he liked to call it—was embraced by manufacturers throughout the country and, in time, around the world. Seeking maximum speed, maximum efficiency, and maximum output, factory owners used time-and-motion studies to organize their work and configure the jobs of their workers. The goal, as Taylor defined it in his celebrated 1911 treatise, The Principles of Scientific Management, was to identify and adopt, for every job, the “one best method” of work and thereby to effect “the gradual substitution of science for rule of thumb throughout the mechanic arts.” Once his system was applied to all acts of manual labor, Taylor assured his followers, it would bring about a restructuring not only of industry but of society, creating a utopia of perfect efficiency. “In the past the man has been first,” he declared; “in the future the system must be first.”

Taylor’s system is still very much with us; it remains the ethic of industrial manufacturing. And now, thanks to the growing power that computer engineers and software coders wield over our intellectual lives, Taylor’s ethic is beginning to govern the realm of the mind as well. The Internet is a machine designed for the efficient and automated collection, transmission, and manipulation of information, and its legions of programmers are intent on finding the “one best method”—the perfect algorithm—to carry out every mental movement of what we’ve come to describe as “knowledge work.”

Google’s headquarters, in Mountain View, California—the Googleplex—is the Internet’s high church, and the religion practiced inside its walls is Taylorism. Google, says its chief executive, Eric Schmidt, is “a company that’s founded around the science of measurement,” and it is striving to “systematize everything” it does. Drawing on the terabytes of behavioral data it collects through its search engine and other sites, it carries out thousands of experiments a day, according to the Harvard Business Review, and it uses the results to refine the algorithms that increasingly control how people find information and extract meaning from it. What Taylor did for the work of the hand, Google is doing for the work of the mind.

The company has declared that its mission is “to organize the world’s information and make it universally accessible and useful.” It seeks to develop “the perfect search engine,” which it defines as something that “understands exactly what you mean and gives you back exactly what you want.” In Google’s view, information is a kind of commodity, a utilitarian resource that can be mined and processed with industrial efficiency. The more pieces of information we can “access” and the faster we can extract their gist, the more productive we become as thinkers.

Where does it end? Sergey Brin and Larry Page, the gifted young men who founded Google while pursuing doctoral degrees in computer science at Stanford, speak frequently of their desire to turn their search engine into an artificial intelligence, a HAL-like machine that might be connected directly to our brains. “The ultimate search engine is something as smart as people—or smarter,” Page said in a speech a few years back. “For us, working on search is a way to work on artificial intelligence.” In a 2004 interview with Newsweek, Brin said, “Certainly if you had all the world’s information directly attached to your brain, or an artificial brain that was smarter than your brain, you’d be better off.” Last year, Page told a convention of scientists that Google is “really trying to build artificial intelligence and to do it on a large scale.”

Such an ambition is a natural one, even an admirable one, for a pair of math whizzes with vast quantities of cash at their disposal and a small army of computer scientists in their employ. A fundamentally scientific enterprise, Google is motivated by a desire to use technology, in Eric Schmidt’s words, “to solve problems that have never been solved before,” and artificial intelligence is the hardest problem out there. Why wouldn’t Brin and Page want to be the ones to crack it?

Still, their easy assumption that we’d all “be better off” if our brains were supplemented, or even replaced, by an artificial intelligence is unsettling. It suggests a belief that intelligence is the output of a mechanical process, a series of discrete steps that can be isolated, measured, and optimized. In Google’s world, the world we enter when we go online, there’s little place for the fuzziness of contemplation. Ambiguity is not an opening for insight but a bug to be fixed. The human brain is just an outdated computer that needs a faster processor and a bigger hard drive.

The idea that our minds should operate as high-speed data-processing machines is not only built into the workings of the Internet, it is the network’s reigning business model as well. The faster we surf across the Web—the more links we click and pages we view—the more opportunities Google and other companies gain to collect information about us and to feed us advertisements. Most of the proprietors of the commercial Internet have a financial stake in collecting the crumbs of data we leave behind as we flit from link to link—the more crumbs, the better. The last thing these companies want is to encourage leisurely reading or slow, concentrated thought. It’s in their economic interest to drive us to distraction.

Maybe I’m just a worrywart. Just as there’s a tendency to glorify technological progress, there’s a countertendency to expect the worst of every new tool or machine. In Plato’s Phaedrus, Socrates bemoaned the development of writing. He feared that, as people came to rely on the written word as a substitute for the knowledge they used to carry inside their heads, they would, in the words of one of the dialogue’s characters, “cease to exercise their memory and become forgetful.” And because they would be able to “receive a quantity of information without proper instruction,” they would “be thought very knowledgeable when they are for the most part quite ignorant.” They would be “filled with the conceit of wisdom instead of real wisdom.” Socrates wasn’t wrong—the new technology did often have the effects he feared—but he was shortsighted. He couldn’t foresee the many ways that writing and reading would serve to spread information, spur fresh ideas, and expand human knowledge (if not wisdom).

The arrival of Gutenberg’s printing press, in the 15th century, set off another round of teeth gnashing. The Italian humanist Hieronimo Squarciafico worried that the easy availability of books would lead to intellectual laziness, making men “less studious” and weakening their minds. Others argued that cheaply printed books and broadsheets would undermine religious authority, demean the work of scholars and scribes, and spread sedition and debauchery. As New York University professor Clay Shirky notes, “Most of the arguments made against the printing press were correct, even prescient.” But, again, the doomsayers were unable to imagine the myriad blessings that the printed word would deliver.

So, yes, you should be skeptical of my skepticism. Perhaps those who dismiss critics of the Internet as Luddites or nostalgists will be proved correct, and from our hyperactive, data-stoked minds will spring a golden age of intellectual discovery and universal wisdom. Then again, the Net isn’t the alphabet, and although it may replace the printing press, it produces something altogether different. The kind of deep reading that a sequence of printed pages promotes is valuable not just for the knowledge we acquire from the author’s words but for the intellectual vibrations those words set off within our own minds. In the quiet spaces opened up by the sustained, undistracted reading of a book, or by any other act of contemplation, for that matter, we make our own associations, draw our own inferences and analogies, foster our own ideas. Deep reading, as Maryanne Wolf argues, is indistinguishable from deep thinking.

If we lose those quiet spaces, or fill them up with “content,” we will sacrifice something important not only in our selves but in our culture. In a recent essay, the playwright Richard Foreman eloquently described what’s at stake:

I come from a tradition of Western culture, in which the ideal (my ideal) was the complex, dense and “cathedral-like” structure of the highly educated and articulate personality—a man or woman who carried inside themselves a personally constructed and unique version of the entire heritage of the West. [But now] I see within us all (myself included) the replacement of complex inner density with a new kind of self—evolving under the pressure of information overload and the technology of the “instantly available.”

As we are drained of our “inner repertory of dense cultural inheritance,” Foreman concluded, we risk turning into “‘pancake people’—spread wide and thin as we connect with that vast network of information accessed by the mere touch of a button.”

I’m haunted by that scene in 2001. What makes it so poignant, and so weird, is the computer’s emotional response to the disassembly of its mind: its despair as one circuit after another goes dark, its childlike pleading with the astronaut—“I can feel it. I can feel it. I’m afraid”—and its final reversion to what can only be called a state of innocence. HAL’s outpouring of feeling contrasts with the emotionlessness that characterizes the human figures in the film, who go about their business with an almost robotic efficiency. Their thoughts and actions feel scripted, as if they’re following the steps of an algorithm. In the world of 2001, people have become so machinelike that the most human character turns out to be a machine. That’s the essence of Kubrick’s dark prophecy: as we come to rely on computers to mediate our understanding of the world, it is our own intelligence that flattens into artificial intelligence.

Nicholas Carr is the author of The Shallows and The Glass Cage: Automation and Us. He has written for The New York Times, The Wall Street Journal, and *Wired*.

4 questions aux algorithmes (et à ceux qui les font, et à ce que nous en faisons)

Olivier Ertzscheid13 avril 2022

1. Les moteurs de recherche nous rendent-ils idiots ?

En 2008, le moteur de recherche Google vient de fêter ses 10 ans et Nicholas Carr publie dans The Atlantic, un texte qui va faire le tour des internets en quelques heures et pour quelques années : "Is Google Making Us Stupid ?" (traduction française disponible grâce à Penguin, Olivier et Don Rico sur le Framablog) Il y défend la thèse selon laquelle une "pensée profonde" nécessite une capacité de lecture et d'attention également "profondes", que Google et le fonctionnement du web rendraient impossibles à force de fragmentation et de liens nous invitant à cliquer en permanence.

Depuis presque 15 ans, la thèse de Nicholas Carr continue périodiquement à revenir sur le devant de la scène médiatique. Je passe sur les écrits affirmant que les "écrans" seraient la source de tous nos maux, mais pour le grand public, je renvoie notamment aux derniers ouvrages de Bruno Patino ("La civilisation du poisson rouge") qui ne font que recycler en permanence les idées de Nicholas Carr en les 'affinant' à l'aune de ce que les réseaux sociaux font ou feraient à nos capacités attentionnelles ainsi qu'au débat public.

La littérature scientifique sur ces sujets est bien plus circonspecte et nuancée que la focale médiatique ne pourrait le laisser croire. Le seul consensus scientifique éclairé se fait autour des risques d'une exposition précoce et excessive. Pour le reste … les écrans ne sont "que" des écrans, les outils ne sont "que" des outils, et il n'est pas plus dangereux au 21ème siècle de laisser un enfant toute la journée devant Tik-Tok qu'il ne l'était de le laisser un enfant toute la journée devant la télé au 20ème siècle. Dans ce siècle comme dans le précédent, à de rares exceptions près, chacun s'accorde d'ailleurs sur le fait qu'il ne faut pas laisser un enfant toute la journée devant TikTok ou devant la télé. Encore faut-il qu'il ait la possibilité de faire autre chose, encore faut-il que la société laisse aux parents le temps de faire autre chose avec lui, encore faut-il qu'ils aient les moyens financiers et les infrastructures culturelles et éducatives à portée de transport (public) pour pouvoir et savoir faire autre chose, encore faut-il qu'une éducation aux écrans puisse être bâtie en cohérence de l'école primaire au lycée. A chaque fois que l'on tient un discours culpabilisant ou même parfois criminogène sur "le numérique" ou "les écrans", on oublie de s'interroger sur la faillite d'une politique éducative, sociale et familiale où chaque réflexion autour du "temps de travail" peine à masquer le refus d'imaginer et d'accompagner un temps de non-travail, un temps de loisirs capable de resserrer les liens familiaux plutôt que de les éclater ou de les mettre en nourrice technologique.

Cela ne veut pas dire qu'il n'existe aucun effet des technologies sur nos capacités mémorielles, attentionnelles, ni bien sûr que rien ne se jouerait au niveau neuronal et même biochimique, mais simplement que nos environnements médiatiques, culturels, informationnels, sont multiples, perméables et inter-reliés, et que pour encore probablement au moins quelques années, le web, la télé, la radio et la presse sont amenés à co-construire et à co-définir, nos capacités attentionnelles et nos appétences informationnelles. Bref.

L'intelligence de Nicholas Carr, sur la fin de son texte, est de relativiser un peu son angoisse et son scepticisme en rappelant la critique Platonicienne de "l'écriture" qui, déjà, signait la fin de la mémoire et annonçait mille maux :

"Et il en va de même pour les discours [logographies]. On pourrait croire qu'ils parlent pour exprimer quelque réflexion ; mais, si on les interroge, parce qu'on souhaite comprendre ce qu'ils disent, c'est une seule chose qu'ils se contentent de signifier, toujours la même. Autre chose : quand, une fois pour toutes, il a été écrit, chaque discours va rouler de droite et de gauche et passe indifféremment auprès de ceux qui s'y connaissent, comme auprès de ceux dont ce n'est point l'affaire ; de plus, il ne sait pas quels sont ceux à qui il doit ou non s'adresser. (…)

[L'écriture] ne produira que l’oubli dans l’esprit de ceux qui apprennent, en leur faisant négliger la mémoire. En effet, ils laisseront à ces caractères étrangers le soin de leur rappeler ce qu’ils auront confié à l’écriture, et n’en garderont eux-mêmes aucun souvenir. Tu [Thot] n’as donc point trouvé un moyen pour la mémoire, mais pour la simple réminiscence, et tu n’offres à tes disciples que le nom de la science sans la réalité ; car, lorsqu’ils auront lu beaucoup de choses sans maîtres, ils se croiront de nombreuses connaissances, tout ignorants qu’ils seront pour la plupart, et la fausse opinion qu’ils auront de leur science les rendra insupportables dans le commerce de la vie."

(Socrate dans Phèdre)

Idem pour l'invention de l'imprimerie et pour chaque grande révolution des technologies intellectuelles. Là où le texte de Carr est intéressant en termes de prospective c'est qu'il est, en 2008, l'un des premiers à acter que ce que l'on nommera ensuite le "solutionnisme technologique" est au coeur d'une logique attentionnelle entièrement dépendante d'un modèle d'affaire parfaitement cartésien, réfléchi, pensé, documenté et instrumenté (je souligne) :

"Pourtant, leur hypothèse simpliste voulant que nous nous “porterions mieux” si nos cerveaux étaient assistés ou même remplacés par une intelligence artificielle, est inquiétante. Cela suggère que d’après eux l’intelligence résulte d’un processus mécanique, d’une suite d’étapes discrètes qui peuvent être isolés, mesurés et optimisés. Dans le monde de Google, le monde dans lequel nous entrons lorsque nous allons en ligne, il y a peu de place pour le flou de la réflexion. L’ambiguïté n’est pas un préliminaire à la réflexion mais un bogue à corriger. Le cerveau humain n’est qu’un ordinateur dépassé qui a besoin d’un processeur plus rapide et d’un plus gros disque dur.

L’idée que nos esprits doivent fonctionner comme des machines traitant des données à haute vitesse n’est pas seulement inscrite dans les rouages d’Internet, c’est également le business-model qui domine le réseau. Plus vous surfez rapidement sur le Web, plus vous cliquez sur des liens et visitez de pages, plus Google et les autres compagnies ont d’occasions de recueillir des informations sur vous et de vous nourrir avec de la publicité. La plupart des propriétaires de sites commerciaux ont un enjeu financier à collecter les miettes de données que nous laissons derrière nous lorsque nous voletons de lien en lien : plus y a de miettes, mieux c’est. Une lecture tranquille ou une réflexion lente et concentrée sont bien les dernières choses que ces compagnies désirent. C’est dans leur intérêt commercial de nous distraire."

Les technologies intellectuelles sont autant de "pharmakon", elles sont à la fois remède et poison. Google ne nous rend pas stupides. Ni idiots. Ni incapables d'attention ou de lecture soutenue. Mais il est de l'intérêt de Google, cela participe de son modèle économique, que nous préférions cliquer sur des liens commerciaux plutôt qu'organiques, sur des liens qui ont quelque chose à nous vendre plutôt que quelque chose à nous apprendre. Les deux "OO" du moteur : le "O" d'une ouverture toujours possible, et le "O" d'une occlusion toujours présente. Et l'importance de ces affordances que l'éducation construit et qu'elle peut apprendre à déconstruire …

Le rêve de Vannevar Bush, en 1945, d'un dispositif capable de singer le fonctionnement associatif de l'esprit humain pour en stimuler les capacités mémorielles et en bâtir qui lui soient externes, ce rêve là dans lequel c'est "le chemin qui comptait plus que le lien" s'est en quelque sorte renversé et incarné presqu'uniquement dans la capacité de calcul des liens créés pour en contrôler la supervision globale et l'accès massif, formant alors des autorités n'ayant plus que le seul goût de la popularité. La curiosité du chemin laissant la place à la cupidité des liens. Et le capitalisme linguistique fit le reste. Google ne nous a pas rendu stupides mais … cupides.

En quelques années, l"interrogation de Carr a été remplacée par plusieurs autres. Il ne s'agit plus uniquement de répondre à la question "Google nous rend-il idiots ?" mais de s'interroger sur "les algorithmes sont-ils idiots ?" ou même "les algorithmes sont-ils justes ?" et enfin et peut-être surtout, "les algorithmes (idiots ou non) nous brutalisent-ils ?" Je commence par cette dernière question car elle est la plus facile à trancher aujourd'hui.

2. Les algorithmes nous brutalisent-ils ?

Oui. Trois fois oui. En tout cas l'utilisation des algorithmes par la puissance publique, au profit et au service d'une dématérialisation qui vaut démantèlement des services publics, est une brutalité et une violence. Une "maltraitance institutionnelle" comme le rappelle l'édito de Serge Halimi dans le Monde diplomatique du mois de Mars, et comme le documente surtout le rapport sur la "dématérialisation des services publics"de Claire Hédon, la défenseure des droits.

L'amie Louise Merzeau expliquait il y a déjà 10 ans que le numérique était un milieu beaucoup plus qu'un outil. Et les milieux sociaux les plus modestes, n'ont d'autre choix que de le vivre comme une double peine, comme un nouvel empêchement, une stigmatisation de plus, une discrimination de trop.

Rien ne s'automatise mieux que l'accroissement des inégalités. Et il n'est d'inégalités plus flagrantes que dans le système éducatif et le système de soins qui n'ont jamais été autant mis sous coupe algorithmique réglée à grands coups de métriques qui valent autant de coups de triques.

"Stiegler et Alla montrent que ce que nous avons vu disparaître en 2 ans, c’est une politique de santé publique démocratique, compensatrice et attentive aux gens. Nous avons vu apparaître un nouvel acteur du système de santé, et qui risque demain d’être convoqué partout. Le démantèlement des systèmes de soin reposent sur un “individu connecté directement aux systèmes d’informations des autorités sanitaires, dont elles attendent une compliance et un autocontrôle permanent dans le respect des mesures et dans la production des données”. C’est le même individu qui est désormais convoqué dans Parcoursup ou dans les services publics, comme Pole Emploi ou la CAF. C’est un individu qui produit lui-même les données que vont utiliser ces systèmes à son encontre. “Ici, la santé n’est jamais appréhendée comme un fait social, dépendant de ce que la santé publique nomme les “déterminants structurels” en santé. Elle devient un ensemble de données ou de data, coproduites par les autorités sanitaires et les individus érigés en patients acteurs, qui intériorisent sans résistance toutes les normes qu’elles leur prescrivent”. Dans cette chaîne de production de données, les soignants sont réduits à l’état de simples prestataires, privés de l’expérience clinique de la maladie, tout comme les agents des systèmes sociaux ou les professeurs sont privés de leur capacité de conseil pour devenir de simples contrôleurs. Quant aux réalités sociales qui fondent les inégalités structurelles, elles sont niées, comme sont niées les différences sociales des élèves devant l’orientation ou devant la compréhension des modalités de sélection. Les populations les plus vulnérables sont stigmatisées. Éloignés des services et des systèmes numériques, les plus vulnérables sont désignés comme responsables de la crise hospitalière, comme les chômeurs et les gens au RSA sont responsables de leur situation ou les moins bons élèves accusés de bloquer Parcoursup !" (Hubert Guillaud lisant "Santé publique : année zéro" de Barbara Stiegler et François Alla)

Bien. Donc Google (et les moteurs de recherche) nous rendent davantage cupides que stupides, ou pour le dire différemment, s'il nous arrive par leur entremise, d'être pris en flagrant délit de stupidité, c'est principalement la faute de leur cupidité. Et les algorithmes nous brutalisent. Parce qu'ils sont trop "intelligents" alors que notre "liberté" (de navigation, de choix) passe par le retour à un internet bête, à une infrastructure qui ne s'auto-promeut pas en système intelligent. Un internet bête c'est un réseau capable de mettre en relation des gens, sans nécessairement inférer quelque chose de cette mise en relation sur un autre plan que la mise en relation elle-même (c'est à dire ne pas tenter d'inférer que si j'accepte telle mise en relation c'est pour telle raison qui fait que par ailleurs je vais accepter de partager telle autre recommandation elle-même subordonnée à tel enjeu commercial ou attentionnel, etc.).

Google nous rend cupides. Et les algorithmes nous brutalisent car ils sont trop "intelligents" en ambitionnant de créer des liens dont ils sont responsables (ce qui est l'étymologie de l'intelligence) alors qu'ils ne devraient que contrôler des situations dont nous sommes responsables.

Prenons un exemple simple et fameux : celui de la désambiguisation. Par exemple lorsque je tape le mot "jaguar" dans un moteur de recherche, il ne sait pas s'il doit me proposer des informations en lien avec l'animal ou avec la marque de voiture. Et pourtant il ne se trompe que rarement car il s'appuie sur notre historique de recherche, de navigation, nos "données personnelles", nos intérêts déclarés sur les réseaux sociaux où nous sommes présents et qu'il indexe, etc. Et nous trouvons d'ailleurs très pratique que Google "sache" si nous cherchons des informations sur l'animal ou sur la voiture sans que nous ayons à le lui préciser. C'est cela, le web et un moteur de recherche "intelligent". Mais cette intelligence n'est pas tant celle qui crée des liens que celle qui crée des chaînes de déterminismes de plus en plus inextricables. Car si Google sait qu'en tapant "jaguar" c'est aux voitures que je m'intéresse et non aux animaux, et s'il le sait autrement que statistiquement, alors il est déjà trop tard.

Je veux maintenant poser une troisième question.

3. Les algorithmes sont-ils complètement cons ?

Je viens de vous expliquer que les algorithmes et internet étaient "trop intelligents" et voici que je vous propose maintenant d'envisager le fait qu'ils soient aussi totalement cons. Les deux ne sont en effet pas exclusifs. On connaît tous des gens très intelligents qui sont socialement, relationnellement ou matériellement totalement cons. Voici mon propos.

On savait déjà que l'ordinateur, que les ordinateurs étaient complètement cons. Et ce n'est pas moi mais Gérard Berry, professeur au collège de France, qui le dit et l'explique depuis longtemps :

"Fondamentalement, l’ordinateur et l’homme sont les deux opposés les plus intégraux qui existent. L’homme est lent, peu rigoureux et très intuitif. L’ordinateur est super rapide, très rigoureux et complètement con."

On avait donc de forts soupçons concernant "les algorithmes". Mais comme l'on sait également que "il n'y a pas d'algorithmes, seulement la décision de quelqu'un d'autre", nous voilà ramenés à la possibilité non nulle d'envisager l'autre comme un con, ou de postuler et c'est mon hypothèse de travail suivant le texte fondateur de Lessig, "Code Is Law", que les déterminismes sociaux, culturels, religieux, économiques, politiques de celles et ceux (mais surtout ceux) qui développent "les algorithmes" permettent d'éclairer la manière dont leurs décisions algorithmiques sont opaques et parfois dangereuses.

Pour le dire trivialement, les algorithmes sont donc toujours au moins aussi cons que celles et ceux qui les développent et les déploient (ou de celles et ceux qui leur ordonnent de le faire), dans un rapport qui tient bien davantage de la causalité que de la corrélation.

J'ajoute que l'autre question déterminante des données (Big Data), des jeux de données et des modèles de langage désormais "trop gros" vient encore rendre plus tangible l'hypothèse d'algorithmes produisant des effets sidérants tant ils finissent par être totalement cons ou dangereux.

Et miser sur l'intelligence artificielle pour corriger les biais algorithmiques est à peu près aussi pertinent que de miser sur la capacité d'empathie d'Eric Zemmour pour atténuer les dérives xénophobes de la société.

"l’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir qui « à la fois reflète et produit les relations sociales et la compréhension du monde. »" Kate Crawford in "Atlas de l'IA" (lu par l'indispensable Hubert Guillaud).

Résumons un peu. Google nous rend cupides. Les algorithmes nous brutalisent (en tout cas les plus faibles ou les plus exposés ou les plus jeunes d'entre nous). On rêverait qu'ils se contentent d'être essentiellement bêtes mais ils sont le plus souvent ontologiquement cons.

J'en viens maintenant à l'actualité qui a suscité l'envie de rédiger cet article (il est temps …) ainsi qu'à ma dernière question.

4. Facebook nous prend-il pour des cons ?

Prenons donc la plateforme technologique aujourd'hui centrale dans l'ensemble de nos usages connectés (au travers de tout son écosystème de services : Facebook, WhatsApp, Instagram, Messenger notamment). Plateforme à qui l'on adresse, souvent d'ailleurs de bon droit, le reproche que Nicholas Carr adressait jadis à Google, celui de nous rendre idiots. Plateforme qui n'est pas non plus étrangères à l'émergence de formes inédites de brutalité, aussi bien dans la dimension interpersonnelle (harcèlement, stalking …) qu'à l'échelle politique (élections) et géo-stratégique (dans l'invasion de l'Ukraine mais aussi dans le génocide des Rohingyas). Et plateforme qui assume comme projet de devenir une "infrastructure sociale" planétaire.

Pendant plus de 6 mois, depuis le mois d'Octobre 2021, "l'algorithme" de Facebook n'a pas "déclassé" (downranking) et diminué les vues et l'audience de publications contenant des fausses informations identifiées, y compris lorsque leurs auteurs étaient récidivistes, mais il a tout au contraire augmenté leur nombre de vues d'au moins 30%. Les ingénieurs qui ont repéré cela parlent d'une "défaillance massive du classement" qui aurait exposé "jusqu'à la moitié de toutes les vues du fil d'actualité à des "risques d'intégrité" potentiels au cours des six derniers mois". L'article de The Verge qui s'est procuré le rapport d'incident interne est accablant et alarmant.

"Les ingénieurs ont remarqué le problème pour la première fois en octobre dernier, lorsqu'une vague soudaine de fausses informations a commencé à affluer dans le fil d'actualité (…). Au lieu de supprimer les messages des auteurs de désinformation récidivistes qui avaient été examinés par le réseau de vérificateurs de faits externes de l'entreprise, le fil d'actualité distribuait plutôt les messages, augmentant les vues de 30 % au niveau mondial. Incapables de trouver la cause profonde de ce problème, les ingénieurs ont vu la hausse s'atténuer quelques semaines plus tard, puis se reproduire à plusieurs reprises jusqu'à ce que le problème de classement soit résolu le 11 mars."

L'élection présidentielle en France a eu lieu ce dimanche avec les scores que l'on connaît. Depuis plus d'un mois une guerre se déroule en Ukraine. Partout dans le monde des échéances politiques, climatiques et géo-stratégiques majeures s'annoncent. Et pendant les 6 derniers mois un "bug" de la plateforme aux presque 3 milliards d'utilisateurs a surexposé d'au moins 30% des contenus de désinformation pourtant identifiés comme tels au lieu de parvenir à les déclasser. C'est tout à fait vertigineux.

Une "défaillance massive du classement". Une défaillance pendant plus de 6 mois observée, constatée, documentée (à l'interne uniquement) mais une défaillance … incorrigible. Il semble que nous en soyons très exactement au point que décrivait Frederick Pohl lorsqu'il expliquait que "une bonne histoire de science-fiction doit pouvoir prédire l’embouteillage et non l’automobile." Mais il ne s'agit plus de science-fiction.

"Défaillance massive du classement". Il faut imaginer ce que cette "défaillance massive du classement" pourrait donner si elle advenait dans un moteur de recherche, dans un système de tri des patients à l'hôpital, dans un système d'admission post-baccalauréat régulant l'entrée dans les études supérieures de l'ensemble d'une classe d'âge. La question est vertigineuse convenez-en. Comme sont vertigineuses ces autres questions à ce jour sans réponses :

• qui (ou qu'est-ce qui) est à l'origine de cette "défaillance massive du classement" ?
• pourquoi cette "défaillance massive du classement" a-t-elle été observée sans être rendue publique pendant 6 mois ?
• comment (et par qui et par quels moyens) cette "défaillance massive du classement" a-t-elle été finalement corrigée (et comment être sûrs qu'elle l'a bien été) ?

Pour rappel Bostrom et Yudowsky (deux théoriciens de l'intelligence artificielle), expliquaient en 2011 dans leur article "The Ethics of Artificial Intelligence" :

"Les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu'ils restent transparents à l'inspection, prévisibles pour ceux qu'ils gouvernent, et robustes contre toute manipulation." ("increasingly complex decision-making algorithms are both inevitable and desirable – so long as they remain transparent to inspection, predictable to those they govern, and robust against manipulation")

Concernant Facebook mais également d'autres champs sociaux à forte couverture algorithmique, j'ai l'impression que depuis que ces constats sont faits, on s'éloigne chaque fois davantage de ces trois objectifs de transparence, de prévisibilité, et de robustesse.

La question n'est pas celle, longtemps fantasmée et documentée dans divers récits de S-F d'une "intelligence artificielle" qui accèderait à la conscience ou prendrait le contrôle de nos destinées ; mais la question, plus triviale et plus banalement tragique aussi, d'un système technique totalement saturé de données et suffisamment massif dans l'ensemble de son architecture technique, de ses flux et de ses volumétries (nombres d'utilisateurs, de contenus, d'interactions) pour ne plus pouvoir répondre à aucune autre sollicitation ou supervision rationnelle que celle d'une stochastique de l'emballement intrinsèque.

Un système devenu totalement con. Banalement con. Tragiquement con. Un con système consistant.

A moins bien sûr, l'hypothèse n'est pas à exclure totalement, que Facebook ne nous prenne pour des cons. Elle n'est d'ailleurs ni à exclure, ni incompatible avec la précédente.

Too Big To Fail (Economically). Too Fat To Succeed (Ethically).

Quand la Chine nous réveillera ?

"Hahaha", "lol", "xptdr" me direz-vous. Car oui la Chine c'est "the great firewall", c'est aussi le crédit social, bref ce n'est pas vraiment un parangon d'émancipation algorithmique. Peu de chances donc que la lumière vienne de là. Et pourtant … et pourtant la nouvelle qui suit n'en est que plus … étonnante. D'abord quelques rappels.

A commencer par la dimension éminemment prévisible de nos comportements sociaux, qui rend d'autant plus forts et plus efficaces les déterminismes algorithmiques qui viennent l'instrumentaliser. Il y a déjà longtemps de cela, je vous avais proposé le néologisme de "dysalgorithmie" pour désigner un "trouble de résistance algorithmique où le sujet fait preuve d'un comportement ou d'opinions non-calculables".

Pour éviter que les moteurs de recherche ne nous rendent idiots, pour éviter que les algorithmes ne nous brutalisent, pour comprendre pourquoi les algorithmes sont complètement cons et pour éviter queFacebook (ou d'autres) ne continuent de nous prendre pour des cons, il n'est qu'un seul moyen : la transparence algorithmique (pour laquelle je plaide depuis … très longtemps) :

"Grâce à leurs CGU (et leurs algorithmes), Facebook, Twitter, Google ou Apple ont édicté un nouvel ordre documentaire du monde qu’ils sont seuls à maîtriser dans la plus complète opacité. Il est vain de réclamer la dissolution de Google ou d’un autre acteur majeur comme il est vain d’espérer un jour voir ces acteurs «ouvrir» complètement leurs algorithmes. Mais il devient essentiel d’inscrire enfin clairement, dans l’agenda politique, la question du rendu public de fonctionnements algorithmiques directement assimilables à des formes classiques d’éditorialisation. Or après que les algorithmes se sont rendus maîtres de l’essentiel du «rendu public» de nos productions documentaires, les plateformes sont en train de reléguer dans d’obscures alcôves l’autre processus de rendu public démocratique : celui de la délibération sur ce qui a légitimité – ou non – à s’inscrire dans l’espace public. Il ne sera pas éternellement possible de s’abriter derrière le fait que ces plateformes ne sont précisément ni des espaces réellement publics ni des espaces entièrement privés. A l’ordre documentaire qu’elles ont institué, elles ajoutent lentement mais sûrement un «ordre moral réglementaire» sur lequel il nous sera très difficile de revenir si nous n’en débattons pas dès maintenant."

La transparence donc, mais aussi (et peut-être surtout aujourd'hui) la redevabilité :

"Ce devoir [de rendre des comptes] inclut deux composantes : le respect de règles, notamment juridiques ou éthiques, d’une part ; la nécessité de rendre intelligible la logique sous-jacente au traitement, d’autre part. Il se décline de différentes manières selon les publics visés. Pour le citoyen sans compétence technique particulière, il peut s’agir de comprendre les critères déterminants qui ont conduit à un résultat qui le concerne (classement d’information, recommandation, envoi de publicité ciblée, etc.) ou la justification d’une décision particulière (affectation dans une université, refus de prêt, etc.). Un expert pourra être intéressé par des mesures plus globales, comme des explications sous forme d’arbres de décision ou d’autres représentations graphiques mettant en lumière les données prises en compte par l’algorithme et leur influence sur les résultats. Un organisme de certification peut se voir confier une mission de vérification qu’un algorithme satisfait certains critères de qualité (non-discrimination, correction, etc.), sans pour autant que celui-ci ne soit rendu public."

En France, cette "transparence" concerne seulement et hélas encore bien imparfaitement les algorithmes publics et a été intégrée dans la [loi pour une République numérique (loi Lemaire) de 2016 adoptée en 2017](https://www.zdnet.fr/actualites/algorithmes-les-administrations-forcees-a-plus-de-transparence-39906151.htm#:~:text=Ce principe de transparence des,doit comporter une « mention explicite »).

"Ce principe de transparence des algorithmes publics (…) selon laquelle « toute décision individuelle prise sur le fondement d'un traitement algorithmique » doit comporter une « mention explicite » pour en informer le public. La loi dit alors que les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre doivent également être communiquées par l'administration à l'intéressé s'il en fait la demande. Plus précisément, l'administration doit être en mesure de communiquer quatre informations : dans un premier temps, « le degré et le mode de contribution du traitement algorithmique à la prise de décision » ; ensuite les « données traitées et leurs sources » ainsi que « les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé », et enfin « les opérations effectuées par le traitement »."

De plus cette loi déjà très imparfaite (même si elle marque nonobstant une avancée majeure) comporte un certain nombre de limitations et des freins intrinsèques ("seules les décisions à 100 % automatisées seront en mesure d'être contestées et considérées le cas échéant comme nulles, si l'administration est en incapacité de documenter l'algorithme utilisé" via ZDnet) mais également … structurels :

"les obligations de transparence issues de la loi Numérique demeurent largement ignorées des acteurs publics, et témoigne au passage d'une insuffisance parfois notoire des moyens humains et financiers pour mener à bien cette charge supplémentaire pour les administrations. D'autant plus que les interlocuteurs interrogés dans le cadre du rapport ont « mis en avant des définitions très variées de ce qui constituait un algorithme » qui mériteraient d'être harmonisées." (toujours via ZDnet)

La problème de la transparence comme de la redevabilité, même en se limitant aux algorithmes publics, c'est qu'un "algorithme" est un fait calculatoire et décisionnel qui ne peut être isolé de faits sociaux qui en déterminent les causes et les effets. Un algorithme est développé par des gens, qui obéissent à d'autres gens, et qui sont tous pris dans des déterminismes et des contraintes économiques, professionnelles, politiques, sociales, etc. Penser que l'ouverture et et la redevabilité des algorithmes suffira à régler l'ensemble des problèmes qu'ils posent n'a pas davantage de sens que penser que l'étiquetage des denrées alimentaires résoudra les problèmes de malbouffe, d'obésité et de surproduction agricole.

Mais il faut bien commencer par quelque chose. Et comme nous sommes encore très très loin (même pour les algorithmes publics) de la transparence et de la redevabilité, alors continuons de militer et d'agir pour que ces notions soient mises en place et surtout pour qu'elles le soient avec les moyens nécessaires.

Et maintenant la Chine. Oui. La Chine. La Chine dispose d'une sorte de grand ministère de l'administration du cyberespace, le CAC (Cyberspace Administration of China), qui jouit à la fois de pouvoirs de régulation et de censure. Le 27 Août 2021, ce CAC a publié sous forme d'appel à commentaires (sic) une série de trente "Dispositions relatives à l'administration des recommandations d'algorithmes pour les services d'information sur Internet."

Ces dispositions s'adressent à l'ensemble des acteurs, publics comme privés, mais surtout privés (on est en Chine, donc les acteurs publics sont … déjà suffisamment "régulés" …). Comme cela fut souligné à l'époque par un certain nombre d'analystes :

"Ces lignes directrices s'inscrivent dans le cadre d'une répression plus large à l'encontre des grandes entreprises technologiques chinoises et devraient toucher particulièrement des sociétés telles qu'Alibaba Group, Didi Global et ByteDance, propriétaire de TikTok, qui utilisent de tels algorithmes pour prédire les préférences des utilisateurs et faire des recommandations, et qui faisaient déjà l'objet d'un examen minutieux de la part des autorités de l'État chinois sur diverses questions."

Définitivement publiées et entrées en vigueur depuis le mois de Janvier 2022 et disponible en ligne sur le site de la CAC :

"Ces règles devraient permettre de préserver la sécurité nationale et les intérêts publics sociaux, de protéger les droits et intérêts légitimes des citoyens et de promouvoir le développement sain des services d'information sur Internet.

Le règlement exige des fournisseurs de services de recommandation d'algorithmes qu'ils respectent les droits des utilisateurs, y compris le droit de connaître l'algorithme, qui exige des fournisseurs qu'ils rendent publics les principes de base, les objectifs et les mécanismes de fonctionnement des algorithmes. Le règlement recommande également que les utilisateurs aient le droit de choisir des options qui ne sont pas spécifiques à leurs caractéristiques personnelles et de désactiver le service de recommandation de l'algorithme."

On pourra également trouver une traduction anglaise appropriée de ces 35 règles prenant effet au 1er Mars 2022. Dont voici quelques extraits (traduits de l'anglais via DeepL) :

Article 4 : La fourniture de services de recommandation algorithmique doit se conformer aux lois et règlements, observer la morale et l'éthique sociales, respecter l'éthique commerciale et l'éthique professionnelle, et respecter les principes d'équité et de justice, d'ouverture et de transparence, de science et de raison, de sincérité et de fiabilité.

Article 5 : Les organisations sectorielles concernées sont encouragées à renforcer l'autodiscipline sectorielle, à établir et à compléter les normes sectorielles, les normes sectorielles et les structures de gestion de l'autodiscipline, à superviser et à guider les fournisseurs de services de recommandation algorithmique dans la formulation et le perfectionnement des normes de service, la fourniture de services conformément à la loi et l'acceptation de la supervision sociale.

Article 6 (mon préféré 😉 : Les fournisseurs de services de recommandation algorithmique doivent respecter les orientations de valeur générales, optimiser les mécanismes de services de recommandation algorithmique, diffuser vigoureusement une énergie positive et faire progresser l'utilisation des algorithmes vers le haut et dans le sens du bien (sic).

Article 8 : Les fournisseurs de services de recommandation algorithmique doivent régulièrement examiner, vérifier, évaluer et contrôler les mécanismes algorithmiques, les modèles, les données et les résultats des applications, etc., et ne peuvent pas mettre en place des modèles algorithmiques qui violent les lois et règlements ou l'éthique et la morale, par exemple en conduisant les utilisateurs à la dépendance ou à la consommation excessive.

Article 10 : Les fournisseurs de services de recommandation algorithmique doivent renforcer la gestion des modèles d'utilisateur et des balises d'utilisateur et perfectionner les normes d'enregistrement des intérêts dans les modèles d'utilisateur et les normes de gestion des balises d'utilisateur. Ils ne peuvent pas saisir d'informations illégales ou nuisibles en tant que mots-clés dans les intérêts des utilisateurs ou les transformer en balises d'utilisateur afin de les utiliser comme base pour recommander des contenus d'information.

Article 12 : Les fournisseurs de services de recommandation algorithmique sont encouragés à utiliser de manière exhaustive des tactiques telles que la dé-pondération du contenu, les interventions sur la diffusion ("scattering interventions"), etc., et à optimiser la transparence et la compréhensibilité de la recherche, du classement, de la sélection, des notifications push, de l'affichage et d'autres normes de ce type, afin d'éviter de créer une influence néfaste sur les utilisateurs, et de prévenir ou de réduire les controverses ou les litiges.

Article 13 : Lorsque les prestataires de services de recommandation algorithmique fournissent des services d'information sur Internet, ils doivent obtenir un permis de service d'information sur Internet conformément à la loi et normaliser leur déploiement de services de collecte, d'édition et de diffusion d'informations sur Internet, de services de partage et de services de plateforme de diffusion. Ils ne peuvent pas générer ou synthétiser de fausses informations, et ne peuvent pas diffuser des informations non publiées par des unités de travail dans le cadre déterminé par l'État. (ah bah oui on est en Chine hein, donc une "fake news" en Chine c'est une information dont la source n'est pas le parti communiste chinois 😉

Mais la partie la plus intéressante c'est probablement le "Chapitre 3" qui concerne la "protection des droits des utilisateurs".

Article 16 : Les fournisseurs de services de recommandation algorithmique doivent informer les utilisateurs de manière claire sur la situation des services de recommandation algorithmique qu'ils fournissent, et publier de manière appropriée les principes de base, les objectifs et les motifs, les principaux mécanismes opérationnels, etc. des services de recommandation algorithmique.

On est ici sur une sorte de RGPD étendu au-delà des données elles-mêmes.

Article 17 : Les fournisseurs de services de recommandation algorithmique doivent offrir aux utilisateurs le choix de ne pas cibler leurs caractéristiques individuelles, ou offrir aux utilisateurs une option pratique pour désactiver les services de recommandation algorithmique. Lorsque les utilisateurs choisissent de désactiver les services de recommandation algorithmique, le fournisseur de services de recommandation algorithmique doit immédiatement cesser de fournir les services correspondants. Les fournisseurs de services de recommandation algorithmique offrent aux utilisateurs des fonctions leur permettant de choisir ou de supprimer les balises d'utilisateur utilisées pour les services de recommandation algorithmique visant leurs caractéristiques personnelles. Lorsque les fournisseurs de services de recommandation algorithmique utilisent des algorithmes d'une manière qui crée une influence majeure sur les droits et les intérêts des utilisateurs, ils doivent fournir une explication et assumer la responsabilité correspondante conformément à la loi.

J'arrête ici la reprise de cet inventaire et vous renvoie à la traduction anglaise exhaustive originale effectuée par le groupe DigiChina de l'université de Stanford.

Alors certes, cette loi est "sans précédent". Mais l'idée d'une régulation forte, "à la Chinoise", portant sur le contrôle des acteurs privés d'un internet pourtant déjà plus que nulle part ailleurs sous contrôle ou sous surveillance de l'état et du parti communiste chinois, et qui cible spécifiquement les questions dites des algorithmes "de recommandation", doit nous amener à réfléchir.

Réfléchir autour de ces questions "d'algorithmes de recommandation" qui pour nous, occidentaux, constituent factuellement une opportunité marchande non seulement acceptée mais également présentée comme non-régulable ou non-négociable (sauf cas particuliers d'incitation à la haine), et qui, pour le gouvernement chinois, sont identifiés comme un risque majeur sur deux plans : celui d'une ingérence toujours possible d'acteurs privés dans l'accès et le contrôle de l'information, et celui d'une "rééducation" de la population qu'il s'agit de maintenir à distance d'une certaine forme de technologie présentée comme "addictive" et dangereuse par le régime en place.

Le paradoxe en résumé est le suivant : c'est l'état le plus autoritaire et le moins démocratique qui propose une feuille de route "intéressante" et en tout cas fortement contraignante pour parvenir à réglementer, à rendre publics et à désactiver les algorithmes de recommandation que les états les plus démocratiques et les plus libéraux sont incapables (ou refusent) de mettre en oeuvre. La Chine le fait dans une logique de contrôle total sur l'accès à l'information et sur l'environnement cognitif de son peuple ; les états démocratiques et libéraux occidentaux refusent ou sont incapables de le faire au prétexte de ne pas s'immiscer dans la gestion de l'accès (dérégulé) à l'information et de ne pas se voir accusés d'ingérence ou d'influence dans l'environnement cognitif de leurs populations.

Ce paradoxe, à vrai dire n'est en pas un. Les états autoritaires ou totalitaires ont toujours été de bien meilleurs "régulateurs" que les états libéraux. "Et alors ?" me direz-vous. Et alors l'enseignement de tout cela, c'est qu'en Chine comme en France, aux Etats-Unis comme en Russie, bien plus qu'une décision, bien plus qu'une itération, un algorithme (de recommandation ou d'autre chose) est au moins autant un fait social qu'un artefact technique calculatoire. Et qu'il ne peut être compris, régulé, rendu "transparent à l'inspection, prévisible pour ceux qu'ils gouvernent, et robuste contre toute manipulation" qu'au regard du régime politique dans lequel et pour lequel il est déployé et dans lequel il peut aussi être dévoyé.

Quand j'écris qu'un algorithme est un fait social, j'entends l'expression au sens ou Durkheim la définit :

"toute manière de faire, fixée ou non, susceptible d'exercer sur l'individu une contrainte extérieure; ou bien encore, qui est générale dans l'étendue d'une société donnée tout en ayant une existence propre, indépendante de ses diverses manifestations au niveau individuel." (Les règles de la méthode sociologique)

Et je pourrais même ajouter que les plateformes qui à la fois "portent" mais aussi "se résument" aux algorithmes qui les traversent sont, chacune, un fait social total au sens où Marcel Mauss le définit :

"c’est-à-dire qu’ils mettent en branle dans certains cas la totalité de la société et de ses institutions (potlatch, clans affrontés, tribus se visitant, etc.) et dans d’autres cas seulement un très grand nombre d’institutions, en particulier lorsque ces échanges et ces contrats concernent plutôt des individus."

Kate Crawford écrivait de l'IA qu'elle était fondamentalement "une industrie du calcul intensive et extractive qui sert les intérêts dominants." Les algorithmes ne sont pas autre chose. Si la Chine décide de réguler fortement et drastiquement les algorithmes (privés) de recommandation c'est parce qu'elle y voit une concurrence dans ses intérêts dominants qui sont ceux d'être en capacité de discipliner les corps dans l'espace social (numérique ou non). A l'inverse, si les états occidentaux avancent si peu et si mal dans la régulation de ces mêmes algorithmes de recommandation c'est parce que laisser les plateformes qui les portent et les déploient intervenir en concurrence des états est, du point de vue de ces mêmes états, un projet politique parfaitement cohérent et qui sert les desseins du libéralisme, c'est à dire d'une diminution de la part de l'état dans la puissance publique et le fait de faire de l'individu isolé, le seul standard et le seul idéal.

Les recommandations en ligne téléportées dans le monde réel !

2 septembre 2017

Mountain wide hires, Signs of the Times © Scott Kelly et Ben Polkinghorne

Installation artistique déroutante et poétique, Signs of the Times part d’une idée de génie : décliner le principe des recommandations en ligne… dans le monde réel. Des pancartes, au beau milieu de la nature, vous proposent ainsi de visiter des lieux « aussi pittoresques que celui où vous vous trouvez ». Interview – décryptage avec leurs concepteurs.

Quand on leur demande « Qui dirige le monde ? », Scott Kelly et Ben Polkinghorne répondent : « les algorithmes de recommandation de filtrage collaboratif ». Ces suggestions, omniprésentes en ligne, apparaissent en fonction de ce que nous regardons, achetons et aimons, autant dire que l’étendue de leur influence est exponentielle. Sur Facebook elles ressemblent à : « Vous avez aimé ceci, vous aimerez cela » ; sur les sites e-commerce comme Amazon, les recommandations peaufinent leur pitch commercial : « Ceux qui ont acheté ceci ont également acheté cela ».

Amusante, pertinente, l’œuvre de Scott Kelly et Ben Polkinghorne (« aussi connus comme « Ben Polkinghorne et Scott Kelly », disent-ils d’eux mêmes) s’expose tout autour de la Nouvelle-Zélande. Pancartes intrusives situées dans des endroits pittoresques, elles indiquent d’autres endroits typiques que vous pourriez aimer. Si leur idée se veut d’utilité touristique, elle nous permet surtout de réfléchir à l’impact quotidien de ces recommandations.

P.A.M. Comment l’idée a-t-elle pris forme et quand avez-vous débuté le projet ?

S.K. et B.P. Nous sommes des créatifs, on bosse en équipe pour la publicité mais nous aimons aussi réaliser des projets parallèles. Nous avons eu l’idée durant l’été 2017, le projet ne s’est pas fait tout de suite car il y avait un peu d’exploration et de conception. Ensuite nous avons choisi des lieux publics de haut niveau, tout autour de la Nouvelle-Zélande.

Plutôt que de simplement faire une analyse unique, nous voulions montrer une gamme de panneaux. Ceux-ci ont été fabriqués chez nous par James, à Adhere. Ils font quatre mètres de large et le transport n’a pas été très simple, on nous a parfois lancé des regards interrogatifs. Une fois installés, nous nous sommes assis et nous avons regardé comment les gens les appréciaient. Puis nous avons, assez récemment, commencé à communiquer en ligne à propos du projet, et la réponse est très positive.

P.A.M. L’avez-vous mis en œuvre avec l’aide, ou l’accord, ou un contact formel, avec les autorités néo-zélandaises ? Si oui, comment ont-elles réagi ? Combien de temps les panneaux d’affichage doivent-ils rester en place ?

B.P. et S.K. Non. Pour ce genre de projet, nous croyons qu’il est bien plus facile de demander le pardon que la permission. Nous les avons donc installés partout. Notre but est simple, nous souhaitons donner le sourire aux gens pour qu’ils considèrent un instant à quel point il est fou que toutes nos décisions en ligne soient finalement fabriquées pour nous. Les réactions sont d’ailleurs si bonnes qu’un grand parc à Auckland nous a contactés pour discuter de l’installation d’un panneau permanent et personnalisé. Ce serait tellement cool !

**P.A.M.**Sur la page du site consacrée au projet, vous fournissez le lien pour une analyse approfondie de ce qu’on appelle les « Chambres d’écho » [L’idée selon laquelle les réseaux sociaux, en raison de ces recommandations automatiques, au lieu de nous ouvrir sur le monde, nous enferment autour de nous, autour des gens qui partagent les mêmes opinions, comme une chambre d’écho qui ne nous renverrait que ce que nous y apportons, ndlr]. C’est plutôt original pour une œuvre d’art. Pouvez-vous développer ? Pourquoi et comment vous voulez donner au lecteur ce genre d’information, ou de pensée ?

S.K. et B.P. Nous aimons Internet et, si ce n’est pas tous les jours, nous utilisons régulièrement des sites comme Amazon, Netflix, Facebook et Asos… Une fois que nous avons eu l’idée, nous avons pris le temps d’examiner le projet. Nous ne savions d’ailleurs même pas qu’il existait un nom particulier pour les encarts du type : « Si vous aimez ceci, vous pourriez aimer cela ».

Le monde des algorithmes de recommandation et de filtrage collaboratif est fascinant. Il y a par ailleurs un article auquel nous avons participé, ce n’est peut-être toujours pas une lecture facile, mais on part du principe que plus nous en savons, plus c’est intéressant : Comment les systèmes de recommandation affectent-ils la diversité des ventes ?

En attendant de découvrir un jour futur l’œuvre des deux Néo-Zélandais près de chez vous, n’hésitez pas à découvrir l’ensemble de leur travail ici. Et pour creuser le sujet, voici quelques bouquins pour en savoir davantage sur les algorithmes et leurs utilisations…

Facebook et l’algorithme du temps perdu

Olivier Ertzscheid26 juillet 2022

Facebook (désormais Meta) va – encore – changer d'algorithme. Ou plus exactement Facebook va (encore) changer la présentation et l'affectation que ce que nous y voyons. De ce qu'il nous laisse voir et entrevoir.

Il y a de cela quelques courtes années (2018), il opérait un changement présenté comme radical en annonçant vouloir davantage mettre en avant les contenus issus des publications de nos amis ainsi que de la dimension "locale" (ce qui se passe près de là où nous sommes géo-localisés). En France nous étions alors en plein mouvement des Gilets Jaunes et j'avais surnommé ce changement "l'algorithme des pauvres gens". Il fait aujourd'hui exactement … l'inverse.

Le 21 Juillet 2022 exactement, "Mark Méta Facebook Zuckerberg" annonce officiellement le déploiement d'une nouvelle version dans laquelle les publication de nos amis seront rassemblées dans un onglet qui ne sera plus celui de la consultation principale, laquelle sera toute entière trustée par les recommandations algorithmiques de contenus (notamment vidéos) n'ayant plus rien à voir avec nos cercles de socialisation hors le fait qu'ils y soient également exposés. C'est la "TikTokisation" de Facebook.

De l'algorithme des pauvres gens à celui … de la perte de temps.

Dans les mots choisis par Zuckerberg cela donne ceci :

"L'une des fonctionnalités les plus demandées pour Facebook est de faire en sorte que les gens ne manquent pas les publications de leurs amis. C'est pourquoi nous lançons aujourd'hui un onglet Flux dans lequel vous pouvez voir les publications de vos amis, groupes, pages et autres séparément, par ordre chronologique. L'application s'ouvrira toujours sur un flux personnalisé dans l'onglet Accueil, où notre moteur de découverte vous recommandera le contenu qui, selon nous, vous intéressera le plus. Mais l'onglet Flux vous permettra de personnaliser et de contrôler davantage votre expérience."

A la recherche de l'algorithme du temps perdu. Proust était à la recherche d'une vérité sentimentale, personnelles, mémorielle, qui n'était activable que dans les souvenirs d'un temps "perdu" ; Zuckerberg est à la recherche d'une vérité de l'assignation scopique et cognitive qui n'est activable que dans la prolifération instrumentale de contenus fabriqués pour nous faire oublier qu'il est un temps en dehors de celui du défilement infini.

Les raisons de ce changement sont assez simples. Il s'agit de toujours davantage valoriser des contenus "recommandés" par une "intelligence artificielle" (en fait un algorithme statistique entraîné et nourri par des méthodes d'apprentissage "profond"), contenus suffisamment thématisés pour avoir l'air personnalisés et suffisamment généralistes pour s'affilier au maximum de profils possibles. La normalisation alors produite opère une maximisation des rendements publicitaires : tout le monde voit peu ou prou la même chose tout en étant convaincu de ne voir que des recommandations personnalisées.

L'algorithmie selon Facebook (mais aussi selon Instagram, TikTok, Snapchat, et l'ensemble des réseaux et médias sociaux de masse), c'est la conjugaison parfaite de l'effet Barnum (biais cognitif induisant toute personne à accepter une vague description de la personnalité comme s'appliquant spécifiquement à elle-même) et de la kakonomie ("l'étrange mais très largement partagée préférence pour des échanges médiocres tant que personne ne trouve à s'en plaindre").

Effet Barnum et kakonomie auxquels il faut ajouter ce que l'on pourrait appeler, en s'inspirant de la théorie de Mark Granovetter, la force des recommandations faibles.

La force des recommandations faibles.

Facebook et les autres réseaux sociaux nous bassinent en affirmant que leurs "recommandations" sont toujours plus fines, plus précises, et plus personnalisées. La réalité est qu'elles sont toujours plus massives, toujours plus consensuelles, et toujours plus stéréotypiques. Pour Mark Granovetter, dans son article, "la force des liens faibles", paru en 1973 :

"(…) un réseau se compose de liens forts et de liens faibles. La force des liens est caractérisée par la combinaison du temps passé ensemble, de l'intensité émotionnelle, de l'intimité et de la réciprocité du lien entre l'agent A et l'agent B. Les liens forts sont ceux que l'on a avec des amis proches (il s'agit de relations soutenues et fréquentes). Les liens faibles sont faits de simples connaissances. Les liens faibles sont dits "forts" dans la mesure où, s'ils sont diversifiés, ils permettent de pénétrer d'autres réseaux sociaux que ceux constitués par les liens forts."

La force des recommandations faibles permet, de la même manière, de diversifier nos pratiques de consultation et d'échange en ligne en jouant principalement sur les deux paramètres fondamentaux que sont le "temps passé" et "l'intensité émotionnelle". Mais cette diversification est instrumentale et biaisée car elle n'a pas vocation à nous permettre d'agir dans d'autres cercles sociaux par des jeux d'opportunité, mais au contraire de massifier et de densifier un seul cercle social d'audience qui regroupe l'ensemble de nos consultations périphériques pour en faire une norme garantissant le modèle économique des grandes plateformes numériques.

Ils ont (encore) changé l'algorithme !

Pourquoi tous ces changements ? Un algorithme dans un réseau social c'est un peu comme un produit ou un rayon dans un supermarché. De temps en temps il faut le changer de place pour que les gens perdent leurs habitudes, traînent davantage et perdent du temps à la recherche de leurs produits et rayons habituels, et tombent si possible sur des produits et rayons … plus chers. Mais également pour que dans cette errance artificielle ils soient tentés d'acheter davantage. Tout le temps de l'errance est capitalisable pour de nouvelles fenêtres de sollicitations marchandes.

Or la question de l'urgence du changement est particulièrement d'actualité pour la firme qui risque pour la première fois de son histoire de perdre des parts de marché publicitaire, et qui, au cours des trois derniers mois de l'année dernière, avait annoncé qu'elle avait perdu des utilisateurs quotidiens pour la première fois en 18 ans d'histoire.

Dans une perspective historique plus large, il semble que la dimension conversationnelle tant vantée qui fut celle du web, puis des blogs, puis des marchés eux-mêmes (souvenez-vous du Cluetrain Manifesto), et enfin réseaux sociaux, soit arrivée à épuisement. Dans le meilleur des cas, elle a été remplacée par différents types de monologues autour desquels l'essentiel du dialogue se résume à des clics valant autant de claques tantôt approbatoires tantôt d'opprobre. Dans le pire des cas il s'agit de séquences formatées dont la potentialité virale est le seul attribut et dont se repaissent les promoteurs des "intelligences artificielles" dans leurs courses folles au nombre de vues et d'interactions pensées comme autant d'assignations.

Naturellement les conversations ne disparaissent jamais vraiment. Elles sont reléguées dans d'autres espaces numériques (quelques sites dédiés comme 4Chan et l'ensemble des application comme Messenger, WhatsApp, et tout ce que l'on nomme le Dark Social). Mais s'il fut un temps dans lequel l'enjeu des plateformes était de susciter des formes conversationnelles inédites et parfois complexes (des liens hypertextes aux trackbacks en passant pas les forums), l'enjeu n'est plus aujourd'hui que de susciter de stériles appétences pour le contenu suivant.

La part paradoxale de ces changements d'algorithmes ou d'interfaces (ou des deux à la fois) est qu'ils nous renvoient toujours à nos propres pondérations, à nos propres immobilismes, à nos propres routines, à nos propres habitus. Ce n'est pas l'algorithme qui change, c'est l'algorithme qui veut que nous changions. L'autre face sombre de ces changements réside, c'est désormais acquis, davantage dans ce qu'ils tendent à masquer à obscurcir et à ne plus faire voir, qu'à la loi de puissance qui veut qu'une part toujours plus congrue de contenus récolte une part toujours plus massive de visibilité et d'interactions.