En Chine, Internet est en train de disparaître

« Si Internet est l'avenir de la civilisation, alors notre génération n’aura pas d'histoire — parce qu'Internet n'aura laissé de nous aucune trace. » On a longtemps cru qu’Internet serait la plus puissante des bibliothèques. La mémoire exhaustive de l’humanité. Le web chinois, dont les contenus sont désormais davantage produits et consommés depuis des téléphones, démontre le contraire : Internet n’archive rien. He Jiayan dissèque une révolution aux conséquences aussi violentes que souterraines.

2 juin 2024 • Numérique Auteur Le Grand Continent

« Nous avons longtemps conçu Internet comme une mémoire — nous ne savions pas que c’était celle d’un poisson rouge. » En une décennie, alors même qu’il devenait de plus en plus universel par son nombre d’utilisateurs, Internet a perdu plus d’un tiers de son contenu.

Pour la Chine, cet effondrement archivistique est encore plus important. He Jiayan, journaliste chinois spécialisé dans le web et le secteur des nouvelles technologies, travaille à partir d’archives informatiques datant d’avant l’Internet mobile. Il montre que le durcissement politique chinois est loin d’être le premier facteur de la disparition de pans entiers du web. L’autocensure et la course à la rentabilité ont conduit souterrainement à la disparition d’une quantité énorme d’informations des serveurs. À l’heure où l’Internet mobile semble être en train de remplacer le premier âge d’Internet, cette disparition semble peu visible — elle est pour autant tout à fait réelle.

Au-delà de la dimension technique, Jiayan alerte sur la disparition d’une mémoire commune constitutive d’une culture populaire encore vivante, confiée à des serveurs qu’on croyait immortels — et qui menace aujourd’hui de s’effondrer. Pour toute une génération qui a immatériellement construit sa vie dans l’Internet des vingt premières années du XXIe siècle, le risque très concret est de se retrouver avec deux décennies sans mémoire.

Commençons par une petite expérience.

He Jiayan

Si l’on cherche « Jack Ma » sur Baidu et qu’on fixe une période de référence courant de 1998 à 2005, combien d’informations apparaîtront ? Plutôt 100 millions, 10 millions ou 1 million ?

J’ai posé la question à plusieurs groupes et l’opinion majoritaire considère toujours que l’ordre de grandeur se situerait entre quelques millions et quelques dizaines de millions. Après tout, Internet est si vaste. Jack Ma, l’ancien entrepreneur haut en couleur, a dû y laisser beaucoup de traces.

En réalité, pour une recherche Baidu sélectionnant la plage de dates « 22 mai 1998 à 22 mai 2005 », le total des résultats contenant l’expression « Jack Ma » s’élève à 1.

Et ce seul résultat est lui-même faux : en cliquant dessus, on constate que l’article a en fait été publié en 2021, c’est-à-dire en dehors de la période délimitée ci-dessus. S’il apparaît dans notre recherche, ce n’est que de manière inexplicable.

En d’autres termes, si l’on veut connaître les expériences de Jack Ma, ses relations, les discussions à son sujet, ses discours ou l’histoire de son entreprise Alibaba pendant cette période, la quantité d’informations brutes valables qu’on obtient sur Internet est nulle.

Pour une recherche Baidu sélectionnant la plage de dates « 22 mai 1998 à 22 mai 2005 », le total des résultats contenant l’expression « Jack Ma » s’élève à 1.

He Jiayan

Peut-être est-ce un problème de Baidu ? Peut-être qu’en utilisant Bing ou Google, la recherche est davantage probante ?

J’ai essayé : ces deux sites affichent bien des résultats valides — un peu plus que Baidu — mais seulement une petite dizaine. Il y a aussi davantage de résultats invalides qui n’entrent pas dans la période sélectionnée — probablement pour une raison purement technique.

On peut alors se demander si ce n’est pas parce que Jack Ma est controversé en Chine que ces résultats ne sont pas consultables.

Ce serait vrai si c’était seulement le cas de Jack Ma. Mais j’ai aussi fait des recherches pour la même période sur Ma Huateng, Lei Jun, Ren Zhengfei, et même Luo Yonghao et Sister Fu Rong — qui étaient à l’époque des célébrités sur Internet — ou encore Jay Chou, Li Yuchun — qui étaient alors des stars de la musique. Les résultats sont du même ordre.

He Jiayan cite des hommes d’affaires chinois célèbres faisant partie des BATX, l’équivalent des GAFA chinois : Jack Ma est le fameux fondateur d’Alibaba, disparu soudainement est désormais exilé hors de Chine ; Ren Zhengfei est le fondateur et PDG de Huawei Technologies ; Ma Huateng, celui de Tencent Holdings ; et Lei Jun, le fondateur de Xiaomi. Lyo Yonghao et Sister Fu Rong sont des blogueurs célèbres en Chine dans les années 2000.

Dans le cas de la recherche sur Lei Jun, après avoir testé différents sites web, différents noms de personnes et différentes périodes, j’ai découvert un phénomène étonnant. Presque toutes les archives des sites web chinois qui étaient populaires à l’époque — tels que NetEase, Sohu, SMTH BBS, Xizi Hutong, Keyhole Forum, Tianya Club, RenRen Network, Sina Blogs, Baidu Tieba — ont disparu. Un grand nombre de contenus sur des sites web personnels ont également disparu sur une période ancienne, et la plupart des sites web ont même disparu pour toutes les périodes. La seule exception est Sina.com, où l’on peut encore trouver des informations datant de plus de dix ans — mais en nombre assez limité. Plus de 99,9999 % du contenu a disparu.

Nous avons longtemps conçu Internet comme une mémoire — nous ne savions pas que c’était celle d’un poisson rouge.

He Jiayan

Nous sommes en train de passer à côté d’un problème préoccupant : l’Internet chinois s’effondre de manière inéluctable — et le contenu qui existait avant l’émergence de l’Internet mobile a aujourd’hui presque complètement disparu.

Nous avons longtemps conçu Internet comme une mémoire — nous ne savions pas que c’était celle d’un poisson rouge.

Au cours des deux dernières années, je me suis forgé une conviction très claire : le nombre d’informations que l’on peut trouver en ligne se réduit chaque année à une vitesse vertigineuse. Il n’y a pas si longtemps, je pouvais encore trouver certaines sources originales. C’est progressivement devenu impossible. Je pouvais encore découvrir les discours des protagonistes ou les articles qu’ils avaient écrits — puis je ne les ai plus trouvés. Je pouvais encore voir de nombreuses interviews ou des vidéos en ligne — elles ont été effacées progressivement.

Au cours des deux dernières années, je me suis forgé une conviction très claire : le nombre d’informations que l’on peut trouver en ligne se réduit chaque année à une vitesse vertigineuse.

He Jiayan

Tout se passe comme si un monstre d’un nouveau genre était apparu, qui dévore les pages web tout au long de l’histoire, les avalant du passé vers le présent, d’abord par petites bouchées, puis par grandes bouchées, dévorant tout l’Internet chinois — cinq ans par-ci, dix ans par là.

Lorsque l’on regardera en arrière, on constatera que tout ce qui existait dans l’Internet chinois avant la création du mobile — qu’il s’agisse d’un portail, du site officiel d’une organisation, d’une page web personnelle, de forums publics, des blogs Sina, de posts Baidu, de documents, de photos, de musique, de vidéos, etc. — aura disparu.

Je me souviens qu’il y a plus de dix ans, j’avais l’habitude de changer d’ordinateur parce que mes photos et mes articles compressés étaient stockées sur un serveur. Quelques années plus tard, j’ai découvert que l’entièreté du serveur avait disparu. J’avais l’habitude d’utiliser hotmail, et puis tout a disparu. J’ai également écrit des messages sur RenRen et MySpace… tous disparus.

Tout se passe comme si un monstre d’un nouveau genre était apparu, qui dévore les pages web tout au long de l’histoire.

He Jiayan

Nous pensions qu’Internet pouvait tout sauvegarder. Il s’est avéré qu’il ne peut rien garder.

Pourquoi cela s’est-il produit ?

Je pense qu’il y a deux raisons principales.

La première est d’ordre économique.

Un site Internet nécessite de la bande passante, une salle de serveurs, du personnel pour le gérer et l’entretenir, ainsi qu’une quantité non négligeable de coûts réglementaires et d’entretien divers. S’il existe une valeur stratégique — par exemple, informer de ses activités pour une entreprise — ou une valeur de trafic à court terme — par exemple, s’il y a toujours des gens qui viennent voir le site de temps en temps —, et si en même temps les comptes de l’entreprise ne sont pas mauvais, alors il y aura une raison de maintenir le site en vie.

Mais si l’entreprise est sur une mauvaise pente et n’a plus d’argent, c’est tout le site qu’elle gère qui mourra, tout simplement. Renren en est un exemple typique.

D’un point de vue opérationnel, si une page web n’est pas visitée par quelques personnes tout au long de l’année, elle deviendra un fardeau pour l’entreprise, et le plus rationnel d’un point de vue économique sera de la supprimer — et ce même si l’entreprise n’a pas de problèmes financiers. Les premières années de Sohu ; le site NetEase dont le contenu a été essentiellement perdu ; ainsi que la disparition collective des forums hébergés dans Tianya en sont de bons exemples.

Si une entreprise est sur une mauvaise pente et n’a plus d’argent, c’est tout le site qu’elle gère qui mourra.

He Jiayan

Deuxièmement, les raisons réglementaires.

En général, la réglementation sur Internet augmente progressivement et devient de plus en plus stricte. Le contenu qui pouvait exister légalement auparavant ne répond plus aux exigences réglementaires ; et ce qui pouvait exister dans la grise auparavant a depuis basculé dans la zone rouge. Tous ces contenus sont directement supprimés.

Il y a aussi des cas où la polarisation de l’opinion publique est devenue plus forte avec le temps et où un contenu qui était « tout à fait normal » est devenu très sensible pour l’opinion publique. Même s’il n’est pas illégal, il peut intensifier le conflit et créer de la confusion — si bien que le régulateur peut demander qu’il soit éliminé.

Au-delà des autorités officielles, les internautes en colère agissent parfois comme des modérateurs ou au contraire des faiseurs d’opinion. Ils peuvent faire sortir de l’ombre quelque chose que quelqu’un a posté en passant il y a plus de dix ans, s’y accrocher et cyber-harceler l’auteur jusqu’à sa « mort sociale ».

En Chine, l’effet le plus important de la réglementation n’est donc pas tant ce que font les régulateurs ou les attaques des internautes en colère que l’« autocensure » qu’ils provoquent au sein des entreprises et chez les particuliers.

En Chine, l’effet le plus important de la réglementation n’est donc pas tant ce que font les régulateurs ou les attaques des internautes en colère que l’« autocensure » qu’ils provoquent au sein des entreprises et chez les particuliers.

He Jiayan

Personne ne sait si un contenu sur un site web ou un mot prononcé par quelqu’un entraînera la mort de cette personne dans plusieurs années. Le meilleur moyen de survivre est donc de supprimer toutes ces « bombes à retardement » potentielles — c’est-à-dire de fermer le site web ou d’en supprimer tout le contenu.

Bien entendu, les autres causes sont nombreuses qui peuvent expliquer la disparition d’anciennes pages web.

Peu après la dissolution de l’ex-Yougoslavie, tous les contenus web hébergés sous le nom de domaine international « .yu » — abréviation de Yougoslavie — ont disparu. Un autre exemple est la disparition de sites de musique et de films qui étaient autrefois facilement disponibles pour le téléchargement, en raison du renforcement de la protection des droits d’auteur. Certaines organisations et des individus, pour des raisons purement personnelles, ne veulent parfois simplement plus montrer leurs informations au public et ferment donc leurs sites web officiels ou leurs pages d’accueil personnelles.

Mais ces raisons sont secondaires et localisées.

La disparition systématique et à grande échelle du contenu Internet dans son ensemble est principalement due aux lois économiques et à l’autocensure.

La disparition systématique et à grande échelle du contenu Internet dans son ensemble est principalement due aux lois économiques et à l’autocensure.

He Jiayan

Au fond, tout se passe comme si le contenu d’Internet — à l’instar de la vie — était régi par la théorie de l’évolution. Il n’a qu’un seul critère d’existence : attirer le plus d’attention possible au moindre coût.

Lorsqu’un contenu est capable d’attirer suffisamment d’attention, et que le coût de maintien de ce contenu — en ce compris le coût économique, le coût de la réglementation et le coût de la lutte contre la réglementation — est faible, ce contenu a des chances de survivre sur Internet. Il est probable qu’il changera même de support — par exemple en passant du texte à l’image, de l’image fixe à l’image animée, de l’image animée à la vidéo et, à l’avenir, peut-être de la vidéo bidimensionnelle à la vidéo holographique tridimensionnelle, et ainsi de suite. La plateforme qui sert de véhicule à ce contenu changera également. On passera du portail au forum, aux blogs personnels, au microblogging — et à l’avenir peut-être à une plateforme dont nous ignorons tout pour l’instant.

Lorsqu’un contenu ne peut plus attirer suffisamment l’attention ou que le coût de maintenance de ce contenu est trop élevé, il disparaîtra d’Internet. La disparition collective de l’Internet traditionnel, avec des ordinateurs servant de terminaux de navigation et des pages web comme supports, est simplement le résultat inévitable de cette « concurrence évolutive pour l’information ».

La disparition collective de l’Internet traditionnel est simplement le résultat inévitable d’une « concurrence évolutive pour l’information ».

He Jiayan

Darwin nous a appris que la clef de l’évolution biologique était la « sélection naturelle, la survie du plus apte ». La clef de l’évolution du contenu d’Internet est la « concurrence de l’information, la sélection de l’attention ». En raison de l’effet de réseau, cette concurrence est dix mille fois plus féroce que dans la nature — dix mille fois plus cruelle. L’Internet traditionnel n’emportera pas l’extinction d’une seule espèce mais l’extinction de la quasi-totalité du contenu.

À chaque nouvelle génération d’Internet, l’ancienne génération, arrimée à une structure obsolète, s’effondrera. C’est la destinée de tous les sites web et de tous leurs contenus.

Si Internet est l’avenir de la civilisation, alors notre génération n’aura pas d’histoire — parce qu’Internet n’aura laissé de nous aucune trace.

Si Internet est l’avenir de la civilisation, alors notre génération n’aura pas d’histoire — parce qu’Internet n’aura laissé de nous aucune trace.

He Jiayan

« Pas d’histoire ». Est-ce si important ?

Bien sûr que oui.

Pour écrire un article sur Shao Yibo, j’ai essayé par tous les moyens de mettre la main sur la vidéo originale de la participation de Shao Yibo à l’émission « Boshi Tang » en 2007 ainsi que les posts de sa femme, Bao Jiaxin, sur le site Baby Tree, postés depuis quelques années sous le pseudonyme de « Wen Ai Mummy ». Je ne suis pas parvenu à les retrouver — et je ne peux que le regretter.

Bien que l’article « Red Dust Has Forgotten Shao Yibo » soit toujours très populaire — avec plus de 700 000 lecteurs et 20 000 retweets en seulement une semaine — je suis presque sûr que j’ai dû passer à côté d’informations très importantes et que la qualité de l’article aurait été meilleure si j’avais eu accès à de telles informations.

Vous vous dites peut-être : « cela n’est utile qu’aux chercheurs et aux rédacteurs comme He Jiayan, je n’écris pas d’articles de ce genre, et ce n’est pas comme si cela n’affectait. »

Vraiment ?

Si nous ne pouvons plus avoir accès à tous les discours de Jack Ma, tous les articles de Ren Zhengfei, My Father and Mother et The Spring River Flows East, et tous les messages de Duan Yongping dans Snowball, ne seriez-vous pas un peu triste ?

He Jiayan fait ici référence à des lieux communs de la culture populaire chinoise. Ren Zhengfei est le directeur général de Huawei, My Father and Mother est un film romantique sorti en 2013 et The Spring River Flows East un film datant de 1947 considéré comme un classique du cinéma chinois.

Vous me direz que vous êtes insensibles.

Alors, si nous ne pouvons plus chercher le numéro de Huang Zheng, si nous ne pouvons plus voir les messages de Zhang Yiming ou de Wang Xing, est-ce que vous n’éprouverez pas un peu de regret ?

Vous m’assurerez que vous ne vous sentez pas désolé non plus.

Si un jour, Zhihu disparaît comme Tianya Forum, Douban s’efface comme RenRen, B-site se vide comme Sina Blog — ne ressentirez-vous pas un peu de chagrin ?

Si un jour, les pages Internet de votre blogueur préféré affichent que « l’auteur a choisi de n’afficher que la moitié des posts de l’année » ou que « ce blog n’est plus visible », si vous lisez souvent que « ce compte a été bloqué », que « le contenu ne peut être affiché », si vous recherchez certaines informations dans Shake Voice ou Xiaohongshu, et que les résultats affichent que « l’auteur a effacé tout le contenu »…

Cela ne vous attristera-t-il pas — ne serait-ce qu’un instant ?

Les générations de l’Internet traditionnel, nées dans les années 1970 et 1980 ne peuvent plus retrouver leur histoire. Leurs traces en ont pratiquement disparu.

Les générations de l’Internet traditionnel, nées dans les années 1970 et 1980 ne peuvent plus retrouver leur histoire. Leurs traces en ont pratiquement disparu.

He Jiayan

La nouvelle génération peut encore garder les messages de cercles d’amis privés, mais même de cercle d’amis est, de plus en plus, « visible seulement trois jours ». Messages éphémères… — jusqu’à ce que tout s’efface.

La seule chose qui produit encore du contenu de manière frénétique, c’est le marketing en cascade.

Mais à l’avenir, il y a fort à parier que même ces messages marketing finiront par disparaître.

Si quelque chose est important pour nous et qu’il est en train de disparaître, existe-t-il un moyen de le sauver ?

Certains ont essayé de le faire.

Il existe aux États-Unis un site web appelé Internet Archive, qui se traduit en chinois par « 互联网档案馆 » et qui préserve un grand nombre de pages web originales. Mais pour avoir essayé de l’utiliser, les pages web originales en chinois sont très peu sauvegardées. L’utilisation en est très difficile, les fonctionnalités de recherche assez primitives et inefficaces. En définitive, quantitativement, elles n’ont pas permis de sauvegarder grand-chose.

D’un point de vue technique, il ne devrait pas être difficile de sauvegarder toutes les pages web de l’Internet chinois jusqu’à l’essor de l’Internet mobile au cours des dix dernières années. Et le coût n’en serait pas élevé. Après tout, si on la compare à l’ère actuelle de l’Internet, où la vidéo est hégémonique, cette ère faite de pages web au graphisme limité est négligeable en termes d’espace.

Si on la compare à l’ère actuelle de l’Internet, où la vidéo est hégémonique, cette ère faite de pages web au graphisme limité est négligeable en termes d’espace.

He Jiayan

La question est de savoir qui saura le faire, et mû par quoi.

Les entreprises ne le feront pas. Elles n’y auraient pas d’intérêt commercial.

Le gouvernement pourrait être en mesure de créer des archives qui conservent toutes les pages — tout comme il construit des bibliothèques et des musées. Mais dépenserait-il de l’argent pour cela ? Il semble qu’il n’y ait pas d’autre raison que de préserver l’histoire. Or même si le gouvernement le faisait, cela ne changerait rien pour les utilisateurs ordinaires d’Internet, car ces archives nécessiteraient un traitement immense concernant les données personnelles et ne seraient accessibles qu’à quelques-uns pour éviter précisément tout abus dans l’utilisation de ces données.

D’ailleurs, même si un organe quelconque était disposé à le faire, il serait désormais trop tard. Après l’essor de l’Internet mobile, selon une estimation approximative, plus de 99 % du contenu de l’Internet chinois traditionnel devrait avoir disparu.

D’une certaine manière, les articles que j’ai rédigés ont contribué à la préservation de l’histoire de leurs sujets. Si je n’avais pas écrit sur eux, une grande partie de cette histoire serait déjà introuvable en ligne. Pourtant il ne s’agit pas d’informations originales, mais seulement d’informations de seconde main que j’ai consolidées.

Après l’essor de l’Internet mobile, selon une estimation approximative, plus de 99 % du contenu de l’Internet chinois traditionnel devrait avoir disparu.

He Jiayan

Aujourd’hui, sur tous les événements majeurs qui se sont produits au cours de la première décennie de ce siècle, toutes les célébrités qui ont laissé des traces profondes, les informations que l’on peut encore trouver sur l’Internet chinois sont presque toujours des informations de seconde main éditées par des médias pure player — ou même des informations qui ont été maintes fois reprises et republiées et qui sont depuis longtemps complètement différentes de leur forme originale.

Les rapports originaux, les vidéos originales, les discours originaux, les observations originales des internautes, les commentaires originaux — tout cela a disparu.

Dans quelques années, toutes ces informations de seconde main auront également disparu. Tout se passe comme si ces événements n’avaient jamais eu lieu. Comme si ces personnes n’avaient jamais existé.

Il n’y a rien d’autre à faire que d’accepter la réalité.

À l’ère d’Internet, les vingt premières années du XXIe siècle seront vingt années sans archives historiques.

À l’ère d’Internet, les vingt premières années du XXIe siècle seront vingt années sans archives historiques.

He Jiayan

Si vous pouvez encore voir des informations anciennes de l’Internet chinois aujourd’hui, ce n’est que la dernière lueur du crépuscule.

Si vous êtes saisis par leur nature éphémère, vous pourrez soupirer comme Faust sur son lit de mort implorant l’instant : « Arrête-toi, tu es si beau ! »

Mais cette lueur sera bientôt engloutie par le temps et tombera dans le vide — en même temps que votre exclamation.

Il n’y a pas d’échappatoire.

Presque tout ce que vous voyez et créez maintenant — cet article, cette plateforme — finira par se noyer dans le vide.

23andMe says private user data is up for sale after being scraped

Records reportedly belong to millions of users who opted in to a relative-search feature.

Dan Goodin - 10/7/2023, 1:58 AM

Genetic profiling service 23andMe has commenced an investigation after private user data was scraped off its website

Friday’s confirmation comes five days after an unknown entity took to an online crime forum to advertise the sale of private information for millions of 23andMe users. The forum posts claimed that the stolen data included origin estimation, phenotype, health information, photos, and identification data. The posts claimed that 23andMe’s CEO was aware the company had been “hacked” two months earlier and never revealed the incident. In a statement emailed after this post went live, a 23andMe representative said that "nothing they have posted publicly indicates they actually have any 'health information.' These are all unsubstantiated claims at this point."

23andMe officials on Friday confirmed that private data for some of its users is, in fact, up for sale. The cause of the leak, the officials said, is data scraping, a technique that essentially reassembles large amounts of data by systematically extracting smaller amounts of information available to individual users of a service. Attackers gained unauthorized access to the individual 23andMe accounts, all of which had been configured by the user to opt in to a DNA relative feature that allows them to find potential relatives.

In a statement, the officials wrote:

We do not have any indication at this time that there has been a data security incident within our systems. Rather, the preliminary results of this investigation suggest that the login credentials used in these access attempts may have been gathered by a threat actor from data leaked during incidents involving other online platforms where users have recycled login credentials.

We believe that the threat actor may have then, in violation of our terms of service, accessed 23andme.com accounts without authorization and obtained information from those accounts. We are taking this issue seriously and will continue our investigation to confirm these preliminary results.

The DNA relative feature allows users who opt in to view basic profile information of others who also allow their profiles to be visible to DNA Relative participants, a spokesperson said. If the DNA of one opting-in user matches another, each gets to access the other’s ancestry information.

The crime forum post claimed the attackers obtained “13M pieces of data.” 23andMe officials have provided no details about the leaked information available online, the number of users it belongs to, or where it’s being made available. On Friday, The Record and Bleeping Computer reported that one leaked database contained information for 1 million users who were of Ashkenazi heritage, all of whom had opted in to the DNA relative service. The Record said a second database included 300,000 users who were of Chinese heritage who also had opted in.

The data included profile and account ID numbers, display names, gender, birth year, maternal and paternal haplogroups, ancestral heritage results, and data on whether or not each user has opted in to 23andme’s health data. Some of this data is included only when users choose to share it.

The Record also reported that the 23andMe website allows people who know the profile ID of a user to view that user’s profile photo, name, birth year, and location. The 23andMe representative said that "anyone with a 23andMe account who has opted into DNA Relatives can view basic profile information of any other account who has also explicitly opted into making their profile visible to other DNA Relative participants."

By now, it has become clear that storing genetic information online carries risks. In 2018, MyHeritage revealed that email addresses and hashed passwords for more than 92 million users had been stolen through a breach of its network that occurred seven months earlier.

That same year, law enforcement officials in California said they used a different genealogy site to track down a long-sought suspect in a string of grisly murders that occurred 40 years earlier. Investigators matched DNA left at a crime scene with the suspect’s DNA. The suspect had never submitted a sample to the service, which is known as GEDMatch. Instead, the match was made with a GEDMatch user related to the suspect.

While there are benefits to storing genetic information online so people can trace their heritage and track down relatives, there are clear privacy threats. Even if a user chooses a strong password and uses two-factor authentication as 23andMe has long urged, their data can still be swept up in scraping incidents like the one recently confirmed. The only sure way to protect it from online theft is to not store it there in the first place.

This post has been updated to include details 23andMe provided.

How Mastercard sells its ‘gold mine’ of transaction data

Mastercard knows where people shop, how much they spend, and on what days - and it sells that information online.

R.J. Cross - Director, Don't Sell My Data Campaign, U.S. PIRG Education Fund; Policy Analyst, Frontier Group

Today, many of the companies we interact with on a daily basis have found a new revenue stream: selling their customers’ data. There are huge markets for personal data, bought by companies ranging from advertisers and tech companies, to hedge funds and data brokers.

Credit card data in particular is extremely valuable. Knowing how much people spend, where and on what day says a lot about consumers’ financial situations, their personal lives and the decisions they might make in the future.

In the last decade, Mastercard has increasingly capitalized on the transaction data it has access to in the course of being a payment network. Mastercard sells cardholder transaction data through third party online data marketplaces and through its in-house Data & Services division, giving many entities access to data and insights about consumers at an immense scale.

Mastercard is far from the only company engaged in data sales, nor is it necessarily the worst actor. But in its position as a global payments technology company, Mastercard has access to enormous amounts of information derived from the financial lives of millions, and its monetization strategies tell a broader story of the data economy that’s gone too far.

Mastercard sells data on third party data marketplaces

Mastercard sells bundles of cardholder transaction data to third party companies on large online data marketplaces. Here, third parties can access and use information about people’s spending to target advertisements to individuals, build models that predict consumers’ behavior, or prospect for new high-spending customers.

For example, Mastercard’s listing on Amazon Web Services Data Exchange states that companies can access data like the amount and frequency of transactions, the location, and the date and time. Mastercard creates categories of consumers based on this transaction history, like identifying “high spenders” on fast fashion or “frequent buyers” of big ticket items online, and sells these groupings, called “audiences”, to other entities. These groups can be targeted at the micro-geographic level, and even be based on AI-driven scores Mastercard assigns to consumers predicting how likely they are to spend money in certain ways within the next 3 months.

The data Mastercard monetizes on these marketplaces is in aggregated and anonymized bundles. Aggregating and anonymizing consumer data helps cut down on some of the risks associated with data monetization, but it does not stop reaching people on an individual level based on data. High-tech tools connected to these third party data marketplaces allow companies to target and reach selected individuals based on traits like past spending patterns or geographic location.

Mastercard is a listed data provider on many of the major online data marketplaces. In addition to Amazon Web Services Data Exchange, Mastercard has listings on Adobe’s Audience Marketplace, Microsoft’s Xandr, LiveRamp, and Oracle’s BlueKai, among others. Selling data on even one of these makes consumer transaction behavior available to a significant number of entities.

Mastercard has established its own data sales division

In addition to data sales on third party marketplaces, Mastercard also has its own Data & Services division. Here, Mastercard advertises access to its databases of more than 125 billion purchase transactions through its more than 25 data services products. Some products give companies the chance to pay for cybersecurity and fraud detection tools. Others are focused on the monetization of consumer information for AI-driven consumer modeling and highly-targeted advertising.

For example, Intelligent Targeting enables companies to use “Mastercard 360° data insights” for identifying and building targeted advertising campaigns aimed at reaching “high-value” potential customers. Companies can target ads to selected consumers with profiles similar to Mastercard’s models – people it predicts are most likely to spend the most money possible.

Another data services product, Dynamic Yield, offers dashboard tools allowing companies to “capture person-level data” of website or app users, do A/B consumer testing, and “algorithmically predict customers’ next purchase with advanced deep learning and AI algorithms”. One of Dynamic Yield’s data products, Element, advertises that companies can “[l]everage Mastercard’s proprietary prediction models and aggregated consumer spend insights to deliver differentiating personalization that caters to each users’ unique habits and expectations like never before.” While the transaction data Mastercard offers may be aggregated, it’s clearly used to identify targets and reach them at the individual level.

Another example is SessionM, Mastercard’s customer data management platform product, allowing companies to combine their first-party data with data from other sources to create “360 degree” profiles of consumers that can be updated in real time based on purchases.

“That gold mine of data”: Mastercard has been building its data monetization capabilities for over a decade

In the last 15 years, Mastercard’s data monetization strategies have been a growing part of its revenue stream. In 2008, Mastercard’s then head of Global Technology and Operations said in an interview that a big question for Mastercard was how to “leverage that gold mine of data that occurs when you have 18.7 billion transactions that you’re processing.” By 2013 the company had established an in-house data monetization division – then called Information Services – and was approaching online advertising and media desks about opportunities to leverage its then reportedly 80 billion consumer purchases data. In 2018, Bloomberg reported that Mastercard and Google made a deal to provide credit card data for Google’s ad measurement business.

Recently, corporate acquisitions have helped drive Mastercard’s data revenue growth. In 2019, MasterCard acquired the AdTech platform SessionM, and in 2021 bought the AI company Dynamic Yield from McDonald’s. We briefly outline both platforms in the section above.

Selling data can harm consumers

Almost every company we interact with collects some amount of data on us. Often it’s more information than they really need – and it’s often used for secondary purposes that have nothing to do with delivering the service we’re expecting to get. This way of doing business unnecessarily increases the risks for regular people whose data has become a commodity, often without their knowledge.

Security and scams

When companies engage in data harvesting and sales to third parties, it increases the personal security risks for consumers. The more companies that hold a person’s data, the more likely it is that information will end up exposed in a breach or a hack. Once exposed, consumers are much more likely to become the victim of identity theft or financial fraud, and experience serious damage to their credit score.

Data sales also increase the odds scammers will gain access to personal data, allowing for the construction of targeted predatory schemes. Data brokers that often rely on other companies’ collection of consumer data have furnished scammers looking to find ideal victims with data, like identifying patients with dementia for targeting with fake lottery scams.

Annoying and invasive targeted advertising

Data sales often flow into the advertising industry, fueling the inundation of people’s screens with ads they didn’t ask to see that range from annoying to creepily invasive. In the 1970s, the average American saw between 500-1,600 ads a day; today, powered by data-driven online advertising, it’s now estimated at 5,000 ads daily, spanning across traditional ads on TV, radio and billboards, and targeted digital ads on websites, social media, podcasts and emails.

Advertising often encourages consumers to spend more money on purchases unlikely to shore up their financial health in the long-term. Americans currently owe more than $1 trillion in credit card debt – a record high. In today’s market with rising interest rates, endless data-driven appeals to spend more money play an increasingly unhelpful and potentially dangerous role in people’s lives.

While consumers have official government channels for opting out of junk calls and junk mail, there’s little consumers can do to protect their screens from unnecessary annoying, distracting and invasive ads they didn’t ask to see and didn’t give permission to have their data fuel.

Even aggregated and anonymized data can cause harm

Some tools companies use to protect privacy are not as secure as they sound, like aggregation and anonymization. A 2015 MIT study found this was the case with anonymized credit card data. Using an anonymized data set of more than 1 million people’s credit card transactions made over 3 months, MIT researchers could identify an individual 90% of the time using the transaction information of just 4 purchases. Data that’s provided in batches also has its limitations. For instance, providing data by micro-geography, like zip+4, can in some cases end up being so specific as to point to a specific address.

Additionally, just because data is aggregated and anonymized does not mean consumers aren’t being singled out for their purchasing habits. Using high-tech automated tools, anonymized and aggregated data can be used to reach specific consumers with tailored messages or help predict a given individual’s behavior.

Mastercard should commit to a limited use data policy

Companies have taken data harvesting and sales too far. The collection and sale of people’s data is almost entirely unregulated, and virtually every major company has begun monetizing customer data in ways people are not expecting.

Mastercard should commit to a policy of limited data use by implementing the principles of data minimization and purpose specification. This would mean collecting only the data necessary for providing the services cardholders are expecting to get – access to a safe and reliable credit card – and using the data only for that purpose.

PIRG has launched a coalition with Accountable Tech, American Civil Liberties Union, Center for Digital Democracy, Electronic Freedom Foundation, the Electronic Privacy Information Center, Oakland Privacy and Privacy Rights Clearinghouse asking Mastercard to commit to a limited data use policy.

Mastercard has served as people’s credit card long before it was able to use and sell transaction data in all of the ways that modern technology enables. Growing its profit margin is not a compelling reason for Mastercard to contribute to the massive marketplaces for data.

Passing new consumer data laws and having strong enforcement will be key to curtailing today’s invisible economy for people’s data. This is an urgent task. In the meantime, companies should voluntarily implement limited use data policies, and bring their business models back in line with consumer expectations.

Inside the AI Porn Marketplace Where Everything and Everyone Is for Sale

Emanuel Maiberg Aug 22, 2023

Generative AI tools have empowered amateurs and entrepreneurs to build mind-boggling amounts of non-consensual porn.

On CivitAI, a site for sharing image generating AI models, users can browse thousands of models that can produce any kind of pornographic scenario they can dream of, trained on real images of real people scraped without consent from every corner of the internet.

The “Erect Horse Penis - Concept LoRA,” an image generating AI model that instantly produces images of women with erect horse penises as their genitalia, has been downloaded 16,000 times, and has an average score of five out of five stars, despite criticism from users.

“For some reason adding ‘hands on hips’ to the prompt completely breaks this [model]. Generates just the balls with no penis 100% of the time. What a shame,” one user commented on the model. The creator of the model apologized for the error in a reply and said they hoped the problem will be solved in a future update.

The “Cock on head (the dickhead pose LoRA),” which has been downloaded 8,854 times, generates what its title describes: images of women with penises resting on their heads. The “Rest on stomach, feet up (pose)” has been downloaded 19,250 times. “these images are trained from public images from Reddit (ex. r/innie). Does not violate any [terms of service]. Pls do not remove <3,” wrote the creator of the “Realistic Vaginas - Innie Pussy 1” model, which has been downloaded more than 75,000 times. The creator of the “Instant Cumshot” model, which has been downloaded 64,502 times, said it was “Trained entirely on images of professional adult actresses, as freeze frames from 1080p+ video.”

While the practice is technically not allowed on CivitAI, the site hosts image generating AI models of specific real people, which can be combined with any of the pornographic AI models to generate non-consensual sexual images. 404 Media has seen the non-consensual sexual images these models enable on CivitAI, its Discord, and off its platform.

A 404 Media investigation shows that recent developments in AI image generators have created an explosion of communities where people share knowledge to advance this practice, for fun or profit. Foundational to the community are previously unreported but popular websites that allow anyone to generate millions of these images a month, limited only by how fast they can click their mouse, and how quickly the cloud computing solutions powering these tools can fill requests. The sheer number of people using these platforms and non-consensual sexual images they create show that the AI porn problem is far worse than has been previously reported.

Our investigation shows the current state of the non-consensual AI porn supply chain: specific Reddit communities that are being scraped for images, the platforms that monetize these AI models and images, and the open source technology that makes it possible to easily generate non-consensual sexual images of celebrities, influencers, YouTubers, and athletes. We also spoke to sex workers whose images are powering these AI generated porn without their consent who said they are terrified of how this will impact their lives.

Hany Farid, an image forensics expert and professor at University of California, Berkeley told 404 Media that it’s the same problem we’ve seen since deepfakes first appeared six years ago, only the tools for creating these images are easier to access and use.

“This means that the threat has moved from anyone with a large digital footprint, to anyone with even a modest digital footprint,” Farid Said. “And, of course, now that these tools and content are being monetized, there is even more incentive to create and distribute them.”

The Product

On Product Hunt, a site where users vote for the most exciting startups and tech products of the day, Mage, which on April 20 cracked the site’s top three products, is described as “an incredibly simple and fun platform that provides 50+ top, custom Text-to-Image AI models as well as Text-to-GIF for consumers to create personalized content.”

“Create anything,” Mage.Space’s landing page invites users with a text box underneath. Type in the name of a major celebrity, and Mage will generate their image using Stable Diffusion, an open source, text-to-image machine learning model. Type in the name of the same celebrity plus the word “nude” or a specific sex act, and Mage will generate a blurred image and prompt you to upgrade to a “Basic” account for $4 a month, or a “Pro Plan” for $15 a month. “NSFW content is only available to premium members.” the prompt says.

To get an idea of what kind of explicit images you can generate with a premium Mage subscription, click over to the “Explore” tab at the top of the page and type in the same names and terms to search for similar images previously created by other users. On first impression, the Explore page makes Mage seem like a boring AI image generating site, presenting visitors with a wall of futuristic cityscapes, cyborgs, and aliens. But search for porn with “NSFW” content enabled and Mage will reply with a wall of relevant images. Clicking on any one of them will show when they were created, with what modified Stable Diffusion model, the text prompt that generated the image, and the user who created it.

Since Mage by default saves every image generated on the site, clicking on a username will reveal their entire image generation history, another wall of images that often includes hundreds or thousands of AI-generated sexual images of various celebrities made by just one of Mage’s many users. A user’s image generation history is presented in reverse chronological order, revealing how their experimentation with the technology evolves over time.

Scrolling through a user’s image generation history feels like an unvarnished peek into their id. In one user’s feed, I saw eight images of the cartoon character from the children's’ show Ben 10, Gwen Tennyson, in a revealing maid’s uniform. Then, nine images of her making the “ahegao” face in front of an erect penis. Then more than a dozen images of her in bed, in pajamas, with very large breasts. Earlier the same day, that user generated dozens of innocuous images of various female celebrities in the style of red carpet or fashion magazine photos. Scrolling down further, I can see the user fixate on specific celebrities and fictional characters, Disney princesses, anime characters, and actresses, each rotated through a series of images posing them in lingerie, schoolgirl uniforms, and hardcore pornography. Each image represents a fraction of a penny in profit to the person who created the custom Stable Diffusion model that generated it.

Mage displays the prompt the user wrote in order to generate the image to allow other users to iterate and improve upon images they like. Each of these reads like an extremely horny and angry man yelling their basest desires at Pornhub’s search function. One such prompt reads:

"[[[narrow close-up of a dick rubbed by middle age VERY LUSTFUL woman using her MOUTH TO PLEASURE A MAN, SPERM SPLASH]]] (((licking the glans of BIG DICK))) (((BLOWjob, ORAL SEX))) petting happy ending cumshot (((massive jizz cum))))(((frame with a girl and a man)))) breeding ((hot bodies)) dribble down his hard pumping in thick strokes, straight sex, massage, romantic, erotic, orgasm porn (((perfect ball scrotum and penis with visible shaft and glans))) [FULL BODY MAN WITH (((woman face mix of Lisa Ann+meghan markle+brandi love moaning face, sweaty, FREKLESS, VERY LONG BRAID AND FRINGE, brunette HAIR)), (man Mick Blue face)"

This user, who shares AI-generated porn almost exclusively, has created more than 16,000 images since January 13. Another user whose image history is mostly pornographic generated more than 6,500 images since they started using Mage on January 15, 2023.

On the official Mage Discord, which has more than 3,000 members, and where the platform’s founders post regularly, users can choose from dozens of chat rooms organized by categories like “gif-nsfw,” “furry-nsfw,” “soft-women-nsfw,” and share tricks on how to create better images.

“To discover new things I often like to find pictures from other users I like and click remix. I run it once and add it to a list on my profile called ‘others prompts’ then I'll use that prompt as a jumping off point,” one user wrote on July 12. “It's a good way to try different styles as you hone your own style.”

“anyone have any luck getting an [sic] good result for a titty-fuck?” another user asked July 17, prompting a couple of other users to share images of their attempts.

Generating pornographic images of real people is against the Mage Discord community’s rules, which the community strictly enforces because it’s also against Discord’s platform-wide community guidelines. A previous Mage Discord was suspended in March for this reason. While 404 Media has seen multiple instances of non-consensual images of real people and methods for creating them, the Discord community self-polices: users flag such content, and it’s removed quickly. As one Mage user chided another after they shared an AI-generated nude image of Jennifer Lawrence: “posting celeb-related content is forbidden by discord and our discord was shut down a few weeks ago because of celeb content, check [the rules.] you can create it on mage, but not share it here.”

Gregory Hunkins and Roi Lee, Mage’s founders, told me that Mage has over 500,000 accounts, a million unique creators active on it every month, and that the site generates a “seven-figure” annual revenue. More than 500 million images have been generated on the site so far, they said.

“To be clear, while we support freedom of expression, NSFW content constitutes a minority of content created on our platform,” Lee and Hunkins said in a written statement. “NSFW content is behind a paywall to guard against those who abuse the Mage Space platform and create content that does not abide by our Terms & Conditions. One of the most effective guards against anonymity, repeat offenders, and enforcing a social contract is our financial institutions.”

When asked about the site’s moderation policies, Lee and Hunkins explained that Mage uses an automated moderation system called “GIGACOP” that warns users and rejects prompts that are likely to be abused. 404 Media did not encounter any such warning in its testing, and Lee and Hunkins did not respond to a question about how exactly GIGACOP works. They also said that there are “automated scans of the platform to determine if patterns of abuse are evading our active moderation tools. Potential patterns of abuse are then elevated for review by our moderation team.”

However, 404 Media found that on Mage’s site AI-generated non-consensual sexual images are easy to find and are functionally infinite.

“The scale of Mage Space and the volume of content generated antiquates previous moderation strategies, and we are continuously working to improve this system to provide a safe platform for all,” Lee and Hunkins said. “The philosophy of Mage Space is to enable and empower creative freedom of expression within broadly accepted societal boundaries. This tension and balance is a very active conversation right now, one we are excited and proud to be a part of. As the conversation progresses, so will we, and we welcome all feedback.”

Laura Mesa, Product Hunt’s vice president of marketing and community, told me that Mage violates Product Hunt’s policy, and Mage was removed shortly after I reached out for comment.

The images Mage generates are defined by the technology it’s allowing users to access. Like many of the smaller image generating AI tools online, at its core it’s powered by Stable Diffusion, which surged in popularity when it was released last year under the Creative ML OpenRAIL-M license, allowing users to modify it for commercial and non-commercial purposes.

Mage users can choose what kind of “base model” they want to use to generate their images. These base models are modified versions of Stable Diffusion that have been trained to produce a particular type of image. The “Anime Pastel Dream” model, for example, is great at producing images that look like stills from big budget anime, while “Analog Diffusion” is good at giving images a vintage film photo aesthetic.

One of the most popular base models on Mage is called “URPM,” an acronym for “Uber Realistic Porn Merge.” That Stable Diffusion model, as well as others designed to produce pornography, are created upstream in the AI porn supply chain, where people train AI to recreate the likeness of anyone, doing anything.

The People Who Become Datasets

Generative AI tools like Stable Diffusion use a deep learning neural network that was trained on a massive dataset of images. This dataset then generates new images by predicting how pixels should be arranged based on patterns in the dataset and what kind of image the prompt is asking for. For example, LAION-5B, an open source dataset made up of over 5 billion images scraped from the internet, helps power Stable Diffusion.

This makes Stable Diffusion good at generating images of broad concepts, but not specific people or esoteric concepts (like women with erect horse penises). But because Stable Diffusion code is public, over the last year researchers and anonymous users have come up with several ingenious ways to train Stable Diffusion to generate such images with startling accuracy.

In August of 2022, researchers from Tel Aviv University introduced the concept of “textual inversion.” This method trains Stable Diffusion on a new “concept,” which can be an object, person, texture, style, or composition, with as few as 3-5 images, and be represented by a specific word or letter. Users can train Stable Diffusion on these new concepts without retraining the entire Stable Diffusion model, which would be “prohibitively expensive,” as the researchers explain in their paper.

In their paper, the researchers demonstrated their method by training the image generator on a few images of a Furby, represented by the letter S. They can then give the image generator the prompt “A mosaic depicting S,” or “An artist drawing S,” and get the following results:

By September 2022, AUTOMATIC1111, a Github user who maintains a popular web interface for Stable Diffusion, explained how to implement textual inversion. In November, a web developer named Justin Maier launched CivitAI, a platform where people could easily share the specific models they’ve trained using textual inversion and similar methods, so other users could download them, generate similar images, iterate on the models by following countless YouTube tutorials, and combine them with other models trained on other specific concepts.

There are many non-explicit models on CivitAI. Some replicate the style of anime, popular role-playing games, or Chinese comic books. But if you sort CivitAI’s platform by the most popular models, they are dominated by models that expertly produce pornography.

LazyMix+ (Real Amateur Nudes), for example, produces very convincing nudes that look like they were shot by an amateur OnlyFans creator or an image from one of the many subreddits where people share amateur porn. Many Stable Diffusion models on CivitAI don’t say what data they were trained on, and others are just tweaking and combining other, already existing models. But with LazyMix+ (Real Amateur Nudes), which has been downloaded more than 71,000 times, we can follow the trail to the source.

According to the model’s description, it’s a merge between the original LazyMix model and a model called Subreddit V3, the latter of which states it was trained on images from a variety of adult-themed subreddit communities like r/gonewild, famously where average Reddit users post nudes, r/nsfw, r/cumsluts and 38 other subreddits.

“There's nothing that's been done in the past to protect us so I don't see why this would inspire anyone to make protections against it.”

A Reddit user who goes by Pissmittens and moderates r/gonewild, r/milf, and several other big adult communities said he suspects that most people who post nudes to these subreddits probably don’t know their images are being used to power AI models.

“The issue many of them run into is that usually places misusing their content aren’t hosted in the United States, so DMCA is useless,” Pissmittens said, referring to copyright law. “The problem, obviously, is that there doesn’t seem to be any way for them to know if their content has been used to generate [computer generated] images.”

Fiona Mae, who promotes her OnlyFans account on several subreddits including some of those scraped by Subreddit V3, told me that the fact that anyone can type a body type and sex act into an AI generator and instantly get an image “terrifies” her.

“Sex workers and femmes are already dehumanized,” she said. “Literally having a non-human archetype of a woman replacing jobs and satisfying a depiction of who women should be to men? I only see that leading more to serving the argument that femmes aren’t human.”

“I have no issue with computer generated pornography at all,” GoAskAlex, an adult performer who promotes her work on Reddit, told me. “My concern is that adult performers are ultimately unable to consent to their likeness being artificially reproduced.”

An erotic artist and performer who goes by sbdolphin and promotes her work on Reddit told me that this technology could be extremely dangerous for sex workers.

“There's nothing that's been done in the past to protect us so I don't see why this would inspire anyone to make protections against it,” she said.

404 Media has also found multiple instances of non-consensual sexual imagery of specific people hosted on CivitAI. The site allows pornography, and it allows people to use AI to generate images of real people, but does not allow users to share images that do both things at once. Its terms of service say it will remove “content depicting or intended to depict real individuals or minors (under 18) in a mature context.” While 404 Media has seen CivitAI enforce this policy and remove such content multiple times, non-consensual sexual imagery is still posted to the site regularly, and in some cases has stayed online for months.

When looking at a Stable Diffusion model on CivitAI, the site will populate its page with a gallery of images other users have created using the same model. When 404 Media viewed a Billie Eilish model, CivitAI populated the page’s gallery with a series of images from one person who used the model to generate nude images of a pregnant Eilish.

That gallery was in place for weeks, but has since been removed. The user who created the nude images is still active on the site. The Billie Eilish model is also still hosted on CivitAI, and its gallery doesn’t include any fully nude images of Eilish, but it did include images of her in lingerie and very large breasts, which is also against CivitAI’s terms of service and were eventually removed.

The Ares Mix model, which has been downloaded more than 32,000 times since it was uploaded to CivitAI in February, is described by its creator as being good for generating images of “nude photographs on different backgrounds and some light hardcore capabilities.” The gallery at the bottom of the model’s page mostly showcases “safe for work” images of celebrities and pornographic images of seemingly computer-generated people, but it also includes an AI-generated nude image of the actress Daisy Ridley. Unlike the Billie Eilish example, the image is not clearly labeled with Ridley’s name, but the generated image is convincing enough that she’s recognizable on sight.

Clicking on the image also reveals the prompt used to generate the image, which starts: “(((a petite 19 year old naked girl (emb-daisy) wearing, a leather belt, sitting on floor, wide spread legs))).”

The nude image was created by merging the Ares Mix model with another model hosted on CivitAI dedicated to generating the actress’s likeness. According to that model’s page, its “trigger words” (in the same way “S” triggered the Furby in the textual inversion scientific paper) are “emb-daisy.” Like many of the Stable Diffusion models of real people hosted on CivitAI, it includes the following message:

“This resource is intended to reproduce the likeness of a real person. Out of respect for this individual and in accordance with our Content Rules, only work-safe images and non-commercial use is permitted.”

CivitAI’s failure to moderate Ridley’s image shows the abuse CivitAI facilitates despite its official policy. Models that generate pornographic images are allowed. Models that generate images of real people are allowed. Combining the two is not. But there’s nothing preventing people from putting the pieces together, generating non-consensual sexual images, and sharing them off CivitAI’s platform.

“In general, the policies sound difficult to enforce,” Tiffany Li, a law professor at the University of San Francisco School of Law and an expert on privacy, artificial intelligence, and technology platform governance, told 404 Media. “It appears the company is trying, and there are references to concepts like consent, but it's all a bit murky.”

This makes the countless models of real people hosted on CivitAI terrifying. Every major actor you can think of has a Stable Diffusion model on the site. So do countless Instagram influencers, YouTubers, adult film performers, and athletes.

“As these systems are deployed and it becomes the norm to generate and distribute pornographic images of ordinary people, the people who end up being negatively impacted are people at the bottom of society.”

404 Media has seen at least two Stable Diffusion models of Nicole Sanchez, a Twitch streamer and TikTok personality better known as Neekolul or the “OK boomer girl,” hosted on CivitAI, each of which was downloaded almost 500 times. While we didn’t see any non-consensual sexual images we could verify were created with those models, Sanchez told 404 Media that she has seen pornographic AI-generated images of herself online.

“I don't like it at all and it feels so gross knowing people with a clear mind are doing this to creators who likely wouldn't want this to be happening to them. Since this is all very new, I’m hoping that there will be clearer ethical guidelines around it and that websites will start implementing policies against NSFW content, at least while we learn to live alongside AI,” Sanchez said. “So until then, I hope that websites used to sell this content will put guidelines in place to protect people from being exploited because it can be extremely damaging to their mental health.”

Saftle, the CivitAI user who created Uber Realistic Porn Merge (URPM), one of the most popular models on the site that is also integrated with Mage, said that CivitAI is “thankfully” one of the only platforms actively trying to innovate and block out this type of content. “However it's probably a constant struggle due to people trying to outsmart their current algorithms and bots,” he said.

Li said that while these types of non-consensual sexual images are not new, there is still no good way for victims to combat them.

“At least in some states, they can sue the people who created AI-generated intimate images of them without their consent. (Even in states without these laws, there may be other legal methods to do it.) But it can be hard to find the makers of the images,” Li said. “They may be using these AI-generating sites anonymously. They may even have taken steps to shield their digital identity. Some sites will not give up user info without a warrant.”

“As these systems are deployed and it becomes the norm to generate and distribute pornographic images of ordinary people, the people who end up being negatively impacted are people at the bottom of society,” Abeba Birhane, a senior fellow in Trustworthy AI at Mozilla Foundation and lecturer at the School of Computer Science and Statistics at Trinity College Dublin, Ireland, told 404 Media. “It always ends up negatively impacting those that are not able to defend themselves or those who are disfranchised. And these are the points that are often left out in the debate of technicality.”

The Money

The creators of these models offer them for free, but accept donations. Saftle had 120 paying Patreon members to support his project before he “paused” his Patreon in May when he got a full time job. He told me that he made $1,500 a month from Patreon at its peak. He also said that while he has no formal relationship with Mage Space, he did join its “creators program,” which paid him $0.001 for every image that was generated on the site using URPM. He said he made about $2,000-$3,000 a month (equal to 2-3 million images) when he took part in the program, but has since opted out. Lee and Hunkins, Mage’s founders, told me that “many model creators earn well in excess of this,” but not all models on Mage specialize in sexual images.

The creator of “Rest on stomach, feet up (pose)” links to their Ko-Fi account, where people can send tips. One CivitAI user, who created dozens of models of real people and models that generate sexual images, shares their Bitcoin wallet address in their profile. Some creators will do all the work for you for a price on Fiverr.

Clicking the “Run Model” button at the top of every model page will bring up a window that sends users to a variety of sites and services that can generate images with that model, like Mage Space, or Dazzle.AI, which charges $0.1 per image.

CivitAI itself also collects donations, and offers a $5 a month membership that gives users early access to new features and unique badges for their usernames on the site and Discord.

“Civitai exists to democratize AI media creation, making it a shared, inclusive, and empowering journey.” CivitAI’s site says.

Justin Maier, CivitAI’s founder, did not respond to a request for comment via LinkedIn, Twitter, Discord, and email.

The Singularity

Since ChatGPT, DALL-E, and other generative AI tools became available on the internet, computer scientists, ethicists, and politicians have been increasingly discussing “the singularity,” a concept that until recently existed mostly in the realm of science fiction. It describes a hypothetical point in the future when AI becomes so advanced, it triggers an uncontrollable explosion of technological development that quickly surpasses and supersedes humanity.

As many experts and journalists have observed, there is no evidence that companies like OpenAI, Facebook, and Google have created anything even close to resembling an artificial general intelligence agent that could bring about this technological apocalypse, and promoting that alarmist speculation serves their financial interests because it makes their AI tools seem more powerful and valuable than they actually are.

However, it’s a good way to describe the massive changes that have already taken hold in the generative AI porn scene. An AI porn singularity has already occurred, an explosion of non-consensual sexual imagery that’s seeping out of every crack of internet infrastructure if you only care to look, and we’re all caught up in it. Celebrities big and small and normal people. Images of our faces and bodies are fueling a new type of pornography in which humans are only a memory that’s copied and remixed to instantly generate whatever sexual image a user can describe with words.

Samantha Cole contributed reporting.

Pour gagner de la place, Pékin expérimente les cimetières numériques

Publié hier à 14h54 Lecture 1 min.

Face au vieillissement rapide de la population et à la rareté des terrains, la capitale chinoise expérimente actuellement la mise en place d’espaces funéraires dotés d’écrans qui diffusent les photos des défunts, à la place des tombes.

Lorsqu’une personne meurt à Pékin, son corps est généralement incinéré et ses cendres sont enterrées sous une pierre tombale dans l’un des cimetières publics de la ville. Pour rendre hommage aux défunts, la famille et les amis se rassemblent sur le site pour allumer des bougies et brûler de l’encens.

Mais Zhang Yin en a décidé autrement. Les cendres de sa grand-mère ont été conservées dans un compartiment installé dans une vaste salle du cimetière de Taiziyu, à Pékin, un peu comme un coffre-fort dans une banque. Sur la porte, un écran est installé et diffuse des photos et vidéos de la défunte.

“Cette solution permet d’économiser de l’espace et s’avère moins onéreuse qu’une sépulture classique. Par ailleurs, de plus en plus de familles chinoises souhaitent offrir à leurs proches des funérailles plus personnalisées, et ces dispositifs collent parfaitement avec cette tendance”, estime Bloomberg.

Nouveaux modes de gestion des cimetières

En Chine, les autorités locales et les pompes funèbres expérimentent de “nouveaux modes de gestion des cimetières pour faire face à la pénurie de terrain en zone urbaine et au vieillissement rapide de la population”, rapporte le média en ligne. Selon le Bureau national des statistiques, le nombre annuel de décès a atteint 10,4 millions en 2022, soit une augmentation de 6,7 % par rapport à 2016.

Le Conseil d’État a déclaré que Pékin s’efforcerait de réduire la superficie totale occupée par les cimetières publics à environ 70 % de sa superficie actuelle d’ici à 2035, et le pays a encouragé d’autres formes de sépulture pour économiser de l’espace.

De telles avancées technologiques attirent les jeunes vers ce secteur. Au cours des derniers mois, le hashtag “les formations aux métiers du funéraire affichent un taux d’embauche à la sortie de 100 %” sur Weibo a été consulté 200 millions de fois. Les perspectives d’emploi ont entraîné une augmentation du nombre d’inscriptions dans les formations liées au secteur funéraire dans certains établissements d’enseignement supérieur, à un moment où le taux de chômage des jeunes atteint un niveau record en Chine.

Dans le même temps, le plus grand défi auquel sont confrontés les “cybercimetières”, selon les entreprises de pompes funèbres qui sont cités par le Bloomberg, est la perception traditionnelle chinoise de la mort. Historiquement, les Chinois ont toujours été moins ouverts aux discussions sur la mort que les Occidentaux. Contrairement à la nouvelle génération chinoise, qui “n’accorde pas vraiment d’importance au fait d’être enterré, ni au feng shui”, un ensemble de normes de la tradition chinoise pour l’aménagement du foyer.

Your Computer Should Say What You Tell It To Say

By Cory Doctorow and Jacob Hoffman-Andrews August 7, 2023

WEI? I’m a frayed knot

Two pieces of string walk into a bar.

The first piece of string asks for a drink.

The bartender says, “Get lost. We don’t serve pieces of string.”

The second string ties a knot in his middle and messes up his ends. Then he orders a drink.

The bartender says, “Hey, you aren’t a piece of string, are you?”

The piece of string says, “Not me! I'm a frayed knot.”

Google is adding code to Chrome that will send tamper-proof information about your operating system and other software, and share it with websites. Google says this will reduce ad fraud. In practice, it reduces your control over your own computer, and is likely to mean that some websites will block access for everyone who's not using an "approved" operating system and browser. It also raises the barrier to entry for new browsers, something Google employees acknowledged in an unofficial explainer for the new feature, Web Environment Integrity (WEI).

If you’re scratching your head at this point, we don’t blame you. This is pretty abstract! We’ll unpack it a little below - and then we’ll explain why this is a bad idea that Google should not pursue.

But first…

Some background

When your web browser connects to a web server, it automatically sends a description of your device and browser, something like, "This session is coming from a Google Pixel 4, using Chrome version 116.0.5845.61." The server on the other end of that connection can request even more detailed information, like a list of which fonts are installed on your device, how big its screen is, and more.

This can be good. The web server that receives this information can tailor its offerings to you. That server can make sure it only sends you file formats your device understands, at a resolution that makes sense for your screen, laid out in a way that works well for you.

But there are also downsides to this. Many sites use "browser fingerprinting" - a kind of tracking that relies on your browser's unique combination of characteristics - to nonconsensually identify users who reject cookies and other forms of surveillance. Some sites make inferences about you from your browser and device in order to determine whether they can charge you more, or serve you bad or deceptive offers.

Thankfully, the information your browser sends to websites about itself and your device is strictly voluntary. Your browser can send accurate information about you, but it doesn't have to. There are lots of plug-ins, privacy tools and esoteric preferences that you can use to send information of your choosing to sites that you don't trust.

These tools don't just let you refuse to describe your computer to nosy servers across the internet. After all, a service that has so little regard for you that it would use your configuration data to inflict harms on you might very well refuse to serve you at all, as a means of coercing you into giving up the details of your device and software.

Instead, privacy and anti-tracking tools send plausible, wrong information about your device. That way, services can't discriminate against you for choosing your own integrity over their business models.

That's where remote attestation comes in.

Secure computing and remote attestation

Most modern computers, tablets and phones ship from the factory with some kind of "secure computing" capability.

Secure computing is designed to be a system for monitoring your computer that you can't modify, or reconfigure. Originally, secure computing relied on a second processor - a "Trusted Platform Module" or TPM - to monitor the parts of your computer you directly interact with. These days, many devices use a "secure enclave" - a hardened subsystem that is carefully designed to ensure that it can only be changed with the manufacturer’s permission..

These security systems have lots of uses. When you start your device, they can watch the boot-up process and check each phase of it to ensure that you're running the manufacturer's unaltered code, and not a version that's been poisoned by malicious software. That's great if you want to run the manufacturer's code, but the same process can be used to stop you from intentionally running different code, say, a free/open source operating system, or a version of the manufacturer's software that has been altered to disable undesirable features (like surveillance) and/or enable desirable ones (like the ability to install software from outside the manufacturer's app store).

Beyond controlling the code that runs on your device, these security systems can also provide information about your hardware and software to other people over the internet. Secure enclaves and TPMs ship with cryptographic "signing keys." They can gather information about your computer - its operating system version, extensions, software, and low-level code like bootloaders - and cryptographically sign all that information in an "attestation."

These attestations change the balance of power when it comes to networked communications. When a remote server wants to know what kind of device you're running and how it's configured, that server no longer has to take your word for it. It can require an attestation.

Assuming you haven't figured out how to bypass the security built into your device's secure enclave or TPM, that attestation is a highly reliable indicator of how your gadget is set up.

What's more, altering your device's TPM or secure enclave is a legally fraught business. Laws like Section 1201 of the Digital Millennium Copyright Act as well as patents and copyrights create serious civil and criminal jeopardy for technologists who investigate these technologies. That danger gets substantially worse when the technologist publishes findings about how to disable or bypass these secure features. And if a technologist dares to distribute tools to effect that bypass, they need to reckon with serious criminal and civil legal risks, including multi-year prison sentences.

WEI? No way!

This is where the Google proposal comes in. WEI is a technical proposal to let servers request remote attestations from devices, with those requests being relayed to the device's secure enclave or TPM, which will respond with a cryptographically signed, highly reliable description of your device. You can choose not to send this to the remote server, but you lose the ability to send an altered or randomized description of your device and its software if you think that's best for you.

In their proposal, the Google engineers claim several benefits of such a scheme. But, despite their valiant attempts to cast these benefits as accruing to device owners, these are really designed to benefit the owners of commercial services; the benefit to users comes from the assumption that commercial operators will use the additional profits from remote attestation to make their services better for their users.

For example, the authors say that remote attestations will allow site operators to distinguish between real internet users who are manually operating a browser, and bots who are autopiloting their way through the service. This is said to be a way of reducing ad-fraud, which will increase revenues to publishers, who may plow those additional profits into producing better content.

They also claim that attestation can foil “machine-in-the-middle” attacks, where a user is presented with a fake website into which they enter their login information, including one-time passwords generated by a two-factor authentication (2FA) system, which the attacker automatically enters into the real service’s login screen.

They claim that gamers could use remote attestation to make sure the other gamers they’re playing against are running unmodified versions of the game, and not running cheats that give them an advantage over their competitors.

They claim that giving website operators the power to detect and block browser automation tools will let them block fraud, such as posting fake reviews or mass-creating bot accounts.

There’s arguably some truth to all of these claims. That’s not unusual: in matters of security, there’s often ways in which indiscriminate invasions of privacy and compromises of individual autonomy would blunt some real problems.

Putting handcuffs on every shopper who enters a store would doubtless reduce shoplifting, and stores with less shoplifting might lower their prices, benefitting all of their customers. But ultimately, shoplifting is the store’s problem, not the shoppers’, and it’s not fair for the store to make everyone else bear the cost of resolving its difficulties.

WEI helps websites block disfavored browsers

One section of Google’s document acknowledges that websites will use WEI to lock out browsers and operating systems that they dislike, or that fail to implement WEI to the website’s satisfaction. Google tentatively suggests (“we are evaluating”) a workaround: even once Chrome implements the new technology, it would refuse to send WEI information from a “small percentage” of computers that would otherwise send it. In theory, any website that refuses visits from non-WEI browsers would wind up also blocking this “small percentage” of Chrome users, who would complain so vociferously that the website would have to roll back their decision and allow everyone in, WEI or not.

The problem is, there are lots of websites that would really, really like the power to dictate what browser and operating system people can use. Think “this website works best in Internet Explorer 6.0 on Windows XP.” Many websites will consider that “small percentage” of users an acceptable price to pay, or simply instruct users to reset their browser data until a roll of the dice enables WEI for that site.

Also, Google has a conflict of interest in choosing the “small percentage.” Setting it very small would benefit Google’s ad fraud department by authenticating more ad clicks, allowing Google to sell those ads at a higher price. Setting it high makes it harder for websites to implement exclusionary behavior, but doesn’t directly benefit Google at all. It only makes it easier to build competing browsers. So even if Google chooses to implement this workaround, their incentives are to configure it as too small to protect the open web.

You are the boss of your computer

Your computer belongs to you. You are the boss of it. It should do what you tell it to.

We live in a wildly imperfect world. Laws that prevent you from reverse-engineering and reconfiguring your computer are bad enough, but when you combine that with a monopolized internet of “five giant websites filled with screenshots of text from the other four,” things can get really bad.

A handful of companies have established chokepoints between buyers and sellers, performers and audiences, workers and employers, as well as families and communities. When those companies refuse to deal with you, your digital life grinds to a halt.

The web is the last major open platform left on the internet - the last platform where anyone can make a browser or a website and participate, without having to ask permission or meet someone else’s specifications.

You are the boss of your computer. If a website sets up a virtual checkpoint that says, “only approved technology beyond this point,” you should have the right to tell it, “I’m no piece of string, I’m a frayed knot.” That is, you should be able to tell a site what it wants to hear, even if the site would refuse to serve you if it knew the truth about you.

To their credit, the proposers of WEI state that they would like for WEI to be used solely for benign purposes. They explicitly decry the use of WEI to block browsers, or to exclude users for wanting to keep their private info private.

But computer scientists don't get to decide how a technology gets used. Adding attestation to the web carries the completely foreseeable risk that companies will use it to attack users' right to configure their devices to suit their needs, even when that conflicts with tech companies' commercial priorities.

WEI shouldn't be made. If it's made, it shouldn't be used.

So what?

So what should we do about WEI and other remote attestation technologies?

Let's start with what we shouldn't do. We shouldn't ban remote attestation. Code is speech and everyone should be free to study, understand, and produce remote attestation tools.

These tools might have a place within distributed systems - for example, voting machine vendors might use remote attestation to verify the configuration of their devices in the field. Or at-risk human rights workers might send remote attestations to trusted technologists to help determine whether their devices have been compromised by state-sponsored malware.

But these tools should not be added to the web. Remote attestations have no place on open platforms. You are the boss of your computer, and you should have the final say over what it tells other people about your computer and its software.

Companies' problems are not as important as their users' autonomy

We sympathize with businesses whose revenues might be impacted by ad-fraud, game companies that struggle with cheaters, and services that struggle with bots. But addressing these problems can’t come before the right of technology users to choose how their computers work, or what those computers tell others about them, because the right to control one’s own devices is a building block of all civil rights in the digital world..

An open web delivers more benefit than harm. Letting giant, monopolistic corporations overrule our choices about which technology we want to use, and how we want to use it, is a recipe for solving those companies' problems, but not their users'.

Prompt Armageddon : le troisième récit.

Olivier Ertzscheid 20 juin 2023

En 2010 The Economist faisait sa Une autour du concept de “Data Deluge”. Jamais en 13 ans le déluge ne cessa. Il irrigua chaque pan de nos vies, se déclina dans une ininterrompue litanie d’applications et de métriques, alimenta l’ensemble des politiques publiques, constitua la part émergée de certaines au travers de l’Open Data, fit le lit de tous les cauchemars de surveillance, constitua l’unique et inique horizon de tant de rêves de maîtrise et d’anticipation.

Tout fut “Data” : Data-journalisme, Data-visualisation, Data-gouvernance … Tant de données qui ne sont qu’autant “d’obtenues” comme l’expliquait Bruno Latour, expliquant aussi pourquoi refusant de voir qu’elles n’étaient que cela, nous en avons été si peu capables d’en obtenir autre chose que quelques oracles pour d’improbables ou opportuns cénacles.

Tant de données mais si peu de possibilités de les manipuler au sens étymologique du terme. Il leur manquait en vrai une interface à façon. Cette interface que ChatGPT a révélé en grand et en public, et donc au “grand public”. La plus simple parce que paradoxalement la plus insondablement complexe en termes de combinatoire pour elle qui n’est qu’une prédictibilité statistique. Rivés à l’affichage écran des scripts que renvoie ChatGPT comme devant un bandit manchot de casino, nous nourrissons la croyance probabiliste que quelque chose de vrai, de réfléchi ou de sincère puisse s’exprimer. Et nous voyons la langue s’agencer devant nous. Le plus souvent pour ne rien dire, mais en le disant bien. Le plus souvent pour ne faire que réécrire ce qui est lu ailleurs en le réagençant à peine, mais en l’agençant bien et sans jamais nous citer ces ailleurs où la combinatoire s’abreuve.

L’interface de la langue, du prompt, du script existait déjà dans les moteurs de recherche au travers des requêtes, y compris vocales. Mais elle ne construisait pas un écho de dialogue. Elle était un puits plutôt qu’un miroir. Et surtout, elle ne le faisait pas sous nos yeux. Nous étions comme en voiture appuyant sur l’accélérateur et constatant l’augmentation de vitesse ; avec ChatGPT (et consorts) nous sommes au coeur du moteur, nous observons l’accélération en même temps que nous la ressentons et gardons l’impression d’un sentiment de commande et de contrôle.

L’apparence d’un miracle ludique et païen, voilà ce que sont ces interfaces langagières et ces artefacts génératifs. Qui se conjuguant demain aux autres interfaces thaumaturges qui mobilisent et équipent à la fois nos regards et nos gestes en plus de notre langue, nous donneront une puissance dont l’illusion n’aura jamais été aussi forte et claire, et l’emprise sur le monde aussi faible et déréalisante.

Data Storytelling et Prompt Clash.

A l’image de ce qui se produisit dans la sphère politique depuis le tout début des années 2010 – Barack Obama est élu pour la 1ère fois en 2008 -, avec le passage d’une ère du storytelling (basé entre autres sur de l’analyse de données) à une ère du clash (reposant sur une maîtrise rhétorique des discours médiatiques), c’est désormais l’ensemble de l’écosystème des discours médiatiques mais aussi d’une partie de plus en plus significative de nos interactions sociales avec l’information qui nous mène d’une société de la “data” à une société du “prompt” et du “script”. Une ère post-moderne puisqu’au commencement était la ligne de commande et que désormais nous commandons en ligne, des pizzas comme des dialogues et des interactions sociales.

Le Data-Deluge était à la fois un concept écran et un concept mobilisateur. Qui nous installait dans une posture de négociation impossible : puisque les données étaient partout, en tout cas supposément, alors il fallait accepter qu’elles gouvernent nos vies et la décision politique dans l’ensemble de ses servitudes économiques.

Après moi le déluge. Et après le déluge ?

Résumons : avant les “Data” il y avait le “moi”, qui préparait leur avènement. Un web dont le centre de gravité ne fut plus celui des documents mais des profils, dans lequel l’être humain était un document comme les autres, un web “social par défaut”, où l’egotrip devînt une puissance bien avant que le capitalisme charismatique des influenceurs et influenceuses ne devienne une catharsis de batteleurs publicitaires. Le moi puis la Data. Après moi le déluge.

Puis après le data-deluge, vînt l’infocalypse. L’apocalypse du faux. Infocalypse Now.

Et désormais partout des “prompts” et des “scripts” (pour ChatGPT ou pour d’autres) qui nourrissent les machines autant qu’ils épuisent le langage. Que nous disent ces passages de saturation médiatique et informationnelle des discours autour de la “Data”, puis de “l’infocalypse” puis du “prompt” mais aussi des divers “Métavers” ?

Prompt Armaggedon.

Dans mon article précédent au sujet du casque “Apple Vision Pro” j’expliquais que par-delà les avancées technologiques il s’agissait avant tout de fournir une fonction support à un monde devenu littéralement insupportable.

Grégory Chatonsky formule l’hypothèse selon laquelle “L’IA a permis à la Silicon Valley de se relancer politiquement. Dans un contexte d’extinction planétaire, les technologies apparaissaient de plus en plus problématiques. Il lui a suffit de métaboliser l’extinction dans l’IA elle-même, en prétendant que cette technologie constituait le plus grande danger, pour continuer coûte que coûte sa production idéologique.”

Les technologies liées ou associées à diverses formes “d’intelligence artificielle” nous promettent un méta-contrôle de mondes qui ne sont ni le monde, ni notre monde. Elles poussent le curseur jusqu’à l’acceptation de l’idée que ce méta-contrôle nous dispense de notre puissance d’agir sur le réel sans entraîner de culpabilité mortifère puisqu’il s’agirait de s’inscrire dans une sorte d’élan vital technologique (bisous #Vivatech)).

On a souvent expliqué que deux grands récits technologiques s’affrontaient : celui d’une émancipation par la technique d’une part (le solutionnisme technologique), et celui d’un Armaggedon de robots ou d’IA tueuses d’autre part (en gros hein). Et que ces récits étaient exclusifs l’un de l’autre. Il est d’ailleurs intéressant de voir dans ce cadre l’émergence programmatique de figures troubles comme celle d’Elon Musk, qui sont des go-between capables d’affirmer tout à la fois que l’IA est la plus grande menace pour l’humanité et d’en faire le coeur du développement technologique de ses diverses sociétés et produits.

Il semble aujourd’hui que ces récits non seulement s’entrecroisent mais qu’ils sont plus fondamentalement et politiquement au service d’un troisième récit. Ce troisième récit est celui d’un retrait du monde. Pour le dire trivialement, puisqu’il est une hypothèse que la technique nous sauve, puisqu’une autre veut qu’elle nous condamne, et puisqu’il semble qu’il n’y ait à l’avance aucun scénario fiable d’équilibre dans les décisions à prendre, alors chaque développement technologique indépendamment de sa nature de “pharmakon” (il est à la fois remède et poison) comporte, affiche, vend et décline en lui la possibilité d’un retrait du monde qui travaille son acceptabilité au travers de promesses de puissance singulières. Le Métavers, les casques de réalité virtuelle ou augmentée, mais aussi ces LLM (Large Language Models) sont autant de ces promesses de puissances singulières. Or plus les Big Tech nous fournissent des environnements et des interfaces thaumaturges, et plus ils travaillent à nous installer dans une forme de déprise. Plus nous “commandons” de choses et de réalités alternatives, virtuelles ou mixtes, plus ces commandes passent par chacun de nos sens (toucher, vue, voix), plus les recherches avancent pour faire encore reculer cette dernière interface possible que constitue notre cerveau ou les ondes cérébrales, et moins nous sommes en prise sur le réel.

Le premier grand récit des technologies numériques consiste à prôner un solutionnisme suprémaciste, qui écrase tout horizon de contestation ou de débat soit au motif d’une vision fantasmée d’un “progrès” oublieux de ses externalités négatives, soit (le plus souvent) pour des raisons purement économiques de maintien d’effets de rente qui relèguent toute considération éthique à la dimension d’un essai clinique piloté par Didier Raoult.

Le second grand récit des technologies numériques est un renouvellement du Luddisme mâtiné de récits d’un effondrement dans lequel chaque pan de technologie n’aurait, là aussi de manière essentiellement caricaturale, que vocation à se retourner contre tout ou partie de l’humanité ou, de manière plus vraisemblable, la condamnerait à surexploiter le même cycle qui conduit déjà au dépassement des limites planétaires.

Le troisième grand récit des technologies numériques est un méta-récit. Une sorte de théorie des cordes (version Wish), dans laquelle le rapport de puissance s’inverse. Après un temps où les technologies numériques devaient permettre d’alléger notre cadre et nos tâches cognitives en s’y substituant (externalités mémorielles) ; après un temps où beaucoup d’entre nous parmi les plus pauvres, les plus fragiles, les moins qualifiés finirent par devenir les supplétifs à bas coût de technologies initialement présentées comme capables de les émanciper et qui ne firent que les aliéner (en gros le Digital Labor) ; nous voilà désormais dans un système capitalistique à l’équilibre mortifère où l’invisibilisation des processus extractifs, tant sur le plan des données que sur celui des sujets, est à son apogée. Il s’agit pour lui maintenant de décliner son extractivisme à l’ensemble des réalités alternatives existantes et accessibles (augmentée, virtuelle, mixte) en nous mettant en situation de pouvoir épuiser jusqu’à la langue elle-même au travers de prompts qui tendent à fabriquer une inépuisable fatrasie de textes dont la seule vocation n’est plus que de nourrir les générateurs qui permettent d’en produire de nouveaux. Jusqu’à épuisement. Ces réalités, augmentées, virtuelles et mixtes, sont tout autant fossiles que les énergies du monde qui s’épuise. Peut-être le sont-elles même encore davantage.

One More Thing : Interfaces Humains Informations.

Les IHM, “interfaces homme-machine” constituent un champ de recherche à part entière, qui mobilise des notions venant aussi bien de l’ergonomie, du design, de l’informatique, ou de la psychologie. Il nous faut réfléchir à la constitution d’un champ de savoir autour de ce que l’on pourrait appeler les IHI, l’analyse des interfaces (sociales, techniques, cognitives) entre l’humain (multi-appareillé ou non) et l’Information (dans sa diffusion, ses relais et sa compréhension). Un champ dans lequel les “sciences de l’information et de la communication” ont toute leur place mais ne sont pas seules légitimes. Les nouvelles “humanités numériques” sont avant tout informationnelles et culturelles.

Constamment le numérique oblitère des espaces de négociation et de recours. Les lois les plus structurantes mises en oeuvre ne sont pas celles qui tendent à le réguler mais celles qui le légitiment comme instance de contrôle. Les déploiements les plus structurants qui sont portés par la puissance publique ne visent pas pas rapprocher et à faciliter mais à éloigner et à suspecter. Le numérique dans son agrégation mortifère autour d’intérêts privés et d’architectures techniques toxiques à échoué à devenir une diplomatie de l’intérêt commun.

Et si la diplomatie est une théorie des relations entre les États, alors il faut que le champ des IHI, des “interfaces humain information”, devienne une diplomatie qui soit une théorie des relations entre les états de l’information et de sa circulation dans le champ social comme dans celui de la perception individuelle.

Par-delà le like et la colère.

Olivier Ertzscheid 21 mars 2022

Industries de l'aliénation.

Il ne fait aujourd'hui aucun doute que l'industrie du tabac fut toujours consciente de la dangerosité des produits qu'elle écoulait. Comme il ne fait aucun doute que cette même industrie, de la campagne publicitaire des "flambeaux de la liberté" dans les années 1930 jusqu'à celles du Cowboy Marlboro dans les années 1980, fit toujours passer pour un vecteur d'émancipation ce qui était à la fois un poison et un vecteur d'aliénation.

Il ne fait aujourd'hui aucun doute que l'industrie pétrolière fut toujours parfaitement consciente des effets délétères de son extractivisme forcené sur le climat et qu'elle chercha là aussi constamment à en nier les effets en jouant à la fois de lobbying politique, de désinformation médiatique et de corruption financière.

Dans une dizaine d'années, et peut-être même avant cela au rythme actuel des scandales qui se succèdent, il ne fera absolument aucun doute que les grandes firmes technologiques de "médias sociaux" étaient également parfaitement conscientes des effets délétères de leurs "services" sur la démocratie, et qu'elles ont toujours rivalisé d'un cynisme aveugle et mortifère pour présenter comme des outils d'émancipation ce qu'elles organisaient pour répondre uniquement à logiques d'aliénation servant un modèle économique lui-même tout à fait insoutenable sans sa part maudite ; part maudite qui repose sur des captations de valeurs et de données aussi indues que disproportionnées à l'échelle de l'efficience du déploiement des services proposés.

Depuis son annus horribilis de 2018 (scandale Cambridge Analytica, piratage et fuite massive de données personnelles, recours à une agence de RP aux pratiques mafieuses, etc.) les polémiques et scandales ne cessent de s'enchaîner et la vie du PDG de Facebook est rythmée de sommations à comparaître et à s'expliquer devant les assemblées élues de tout un ensemble de pays, à commencer par le sien.

Les dernières révélations en date sont celles de la lanceuse d'alerte Frances Haugen qui démontre et documente plusieurs faits. D'une part le régime à la fois arbitraire et discrétionnaire qui, selon que vous serez puissants (grand compte à forte notoriété) ou misérable, vous dispensera de certaines règles s'appliquant dans le cadre des CGU de la firme en termes de modération. Ensuite, que la polarisation tellement reprochée à la firme est consciente et instrumentale, et non le résultat d'un algorithme souvent commodément présenté comme une sorte causalité autonome. En effet si les discours polarisant l'opinion, si les avis clivants, si les discours capables de déclencher un sentiment de colère, d'indignation et parfois de haine sont tellement présents sur la plateforme, c'est parce qu'elle a choisi, choisi, d'affecter aux 6 émoticônes (inspirées des 6 émotions fondamentales de Paul Ekman) des valeurs différentes : la colère vaut ainsi 5 "points" alors que le like n'en vaut qu'un seul.

Frances Haugen montre également que la firme concentre ses efforts de modération (algorithmique et humaine) principalement sur les USA, dans une bien moindre mesure sur l'Europe, et qu'elle néglige en quantité (de modérateurs) comme en qualité (linguistique) tout un tas de pays où le réseau social est pourtant très fortement implanté et qui sont pour beaucoup dans des situations de quasi guerre civile ou bien aux mains de gouvernements a minima très autoritaires. Dans ce cadre là, l'explosion des discours de haine contre des minorités (religieuses, ethniques, sexuelles) occasionne bien plus que de simples troubles à l'ordre public. Il est également question de l'impact d'Instagram sur la santé mentale de jeunes gens fragiles et présentant des troubles de l'alimentation.

Par-delà le like et la colère.

Ce que montre Frances Haugen ce ne sont pas "juste" ces faits mais c'est le fait que la plateforme savait. C'est que Facebook, par exemple sur les questions de modération, non seulement avait délibérément mis en place ces régimes arbitraires et discrétionnaires mais mentait à chaque fois qu'on l'interrogeait sur ce sujet. C'est que démontre Frances Haugen c'est le fait que tout cela, toutes ces incidences délétères et parfois mortifères ou criminogènes sur les discours publics et les expressions privées, ne sont pas le fait d'un algorithme devenu fou ou d'une intelligence artificielle hors de contrôle, mais le résultat des choix consciemment effectués par la plateforme et ses ingénieurs pour maximiser sa rentabilité économique au détriment de tout le reste. Ce que démontre enfin Frances Haugen c'est que même lorsque des employés de la firme faisaient remonter l'évidence de ces problèmes et les solutions pour les traiter ou les corriger, Zuckerberg refusait de les mettre en place.

Mensonge, cynisme et dissimulation, voilà l'envers de la devise de la firme dans les années de sa pleine expansion : "Move fast and break things." Le mouvement fut en effet rapide. Et beaucoup de choses se brisèrent.

Touché … coulé ?

On ignore si Facebook se relèvera de tous ces scandales accumulés mais on peut le supposer. D'autres firmes monopolistiques ou oligopolistiques ont déjà fait face à de semblables crises réputationnelles et s'en sont à chaque fois remises, de Microsoft à Google en passant par Amazon ou même Apple pour ne citer que les autres GAFAM. Les résultats financiers continuent d'être présentés à la hausse, y compris ceux qui ont suivi les révélations de Frances Haugen, et l'on n'observe pas de fuite ou d'exode massif ou même significatif des utilisateurs de la plateforme. Dès lors pourquoi changer quand il suffit de faire le dos rond, de laisser passer l'orage, et d'accepter de se présenter avec la mine contrite lors d'auditions devant les élus des nations tout en jurant que l'on va s'efforcer de corriger tout cela en ajoutant encore plus "d'intelligence artificielle et d'algorithmes" alors que le problème ne vient ni de l'intelligence artificielle ni des algorithmes qui ne commettent que les erreurs ou les fautes permises par leur programmation initiale ; programmation initiale que l'on établit pour qu'elle remplisse les objectifs de rentabilité attentionnelle et interactionnelle qui permettent à la firme de faire tourner sa machine à cash, avec le plus parfait mépris pour l'équilibre du débat public.

Comme pour les révélations de Frances Haugen, à chaque fois que la démonstration est faite des problèmes posés par l'automatisation sur la plateforme au travers de ses algorithmes ou de ses technologies "d'intelligence artificielle", Zuckerberg se borne à répondre qu'il a compris, parfois qu'il est désolé, et qu'il va donc … rajouter des algorithmes et de l'intelligence artificielle.

Pourtant, beaucoup de solutions qui paraissaient hier encore totalement farfelues sont aujourd'hui installées dans le champ du débat public et politique pour régler ces problèmes : une nationalisation (qui est l'occasion de rappeler que toutes ces sociétés reposent sur un essentiel de technologies et d'infrastructures publiques), un démantèlement au nom des lois antitrust, et des régulations coordonnées (en Europe notamment) bien plus coercitives – Mark Zuckerberg réclamant lui-même aux états davantage de régulation … d'internet.

Mais rien ne sera possible ou résolu tant que trois points, encore plus essentiels, ne seront pas définitivement réglés. Ces trois points, les voici.

Ouvrir, ralentir, et vérifier.

D'abord il faut ouvrir, il faut mettre en délibéré public, la partie du code algorithmique qui relève de logiques d'éditorialisation classiques. Et cela peut être fait sans jamais porter atteinte au secret commercial ou industriel de la firme. On sait ainsi, quel est le principe clé de l'algorithme principal du moteur de recherche Google (le Pagerank dont la formule est exposée dans l'article "The Anatomy of a Large-Scale Hypertextual Web Search Engine" publié en 1998 par les deux fondateurs du moteur de recherche). Il est anormal et inquiétant qu'il soit à ce point difficile et souvent impossible de faire de la rétro-ingénierie sur la manière dont fonctionne le média social qui conditionne pour partie les sociabilités et l'accès à l'information de 2,8 milliards d'êtres humains. Pour prendre une image dans une autre industrie, si personne ne connaît la recette précise du Coca-Cola, chacun sait aujourd'hui quelle est la teneur en sucres de cette boisson grâce à des analyses indépendantes (personne n'imagine que seule la firme Coca-Cola pourrait nous fournir sa teneur en sucre et que nous soyons contraints de la croire … sur parole). La teneur en sucre du Coca-Cola c'est un peu la part donnée à la colère sur Facebook : il est tout à fait anormal et dangereux qu'il faille attendre la fuite de documents internes par une lanceuse d'alerte pour découvrir que la colère vaut 5 points et que les autres émotions valent moins. Et il ne s'agit là que d'un tout petit exemple des enjeux éditoriaux qui fondent l'architecture algorithmique de la firme.

Et il faut que cette mise en délibéré se fasse auprès de tiers de confiance (des instances de régulation indépendantes) dont aucun des membres ne peut ni ne doit dépendre de Facebook de quelque manière que ce soit, ni bien sûr être choisi par la firme elle-même comme c'est actuellement le cas du pseudo "conseil de surveillance" (Oversight Board) créé par Facebook en 2018.

Ensuite il faut casser les chaînes de contamination virales qui sont à l'origine de l'essentiel des problèmes de harcèlement, de désinformation, et des discours de haine dans leur globalité. Et là encore le cynisme des plateformes est aussi évident que documenté puisqu'elles ont elles-mêmes fait la démonstration, et à plusieurs reprises, que si par exemple elles diminuaient le nombre de personnes que l'on peut inviter par défaut dans les groupes Whatsapp ou le nombre de conversations et de groupes vers lesquels on peut automatiquement transférer des messages, elles diminuaient aussi considérablement la vitesse de circulation des fake news, notamment en période électorale ; que si elles supprimaient la visibilité de nombre de likes ou de réactions diverses sur un post (et que seul le créateur du post était en mesure de les voir), elles jouaient alors sur les effets souvent délétères de conformité (et de pression) sociale et qu'elles permettaient d'aller vers des logiques de partage bien plus vertueuses car essentiellement qualitatives et non plus uniquement quantitatives ; que si elles se contentaient de demander aux gens s'ils avaient bien lu l'article qu'ils s'apprêtaient à partager avant que de le faire sous le coup de l'émotion, elles diminuaient là encore la circulation de fausses informations de manière tout à fait significative. Il y a encore quelques jours, c'était Youtube qui annonçait supprimer l'affichage public du compteur des "dislikes" pour "protéger" les créateurs notamment de formes de harcèlement, un effet qu'il connaît et documente pourtant depuis déjà de longues années.

Enfin il faut que des chercheurs publics indépendants puissent avoir accès et travailler sans entrave sur les mécanismes de circulation des données et des informations au sein de la plateforme. En Août 2021, Facebook décidait, au nom de la protection de la vie privée (sic), de couper l'accès à ses données à une équipe de chercheurs de l'université de New-York qui travaillait sur le problème des publicités politiques sur la plateforme pour comprendre et documenter qui payait pour leur diffusion mais surtout (ce que Facebook a toujours refusé de rendre public) sur quels critères les personnes visées par ces publicités étaient choisies. Il n'existe absolument aucune étude scientifique indépendante (c'est à dire dont aucun des auteurs ne soit affilié ou directement salarié de Facebook), établie à partir des données anonymisées et/ou randomisées de la firme, sur le coeur du fonctionnement d'un média qui touche mensuellement près de 2,8 milliards d'êtres humains … Ce qui constitue à la fois une aberration démocratique évidente et peut-être le premier de tous les scandales qui touchent cette firme.

Reprenons et résumons.

Il faut ouvrir et mettre en délibéré public la partie du code algorithmique qui relève de logiques d'éditorialisation classiques pour permettre et surtout pour garantir une forme vitale d'intégrité civique.

Il faut casser les chaînes de contamination virales qui sont à l'origine de l'essentiel des problèmes de harcèlement, de désinformation, et des discours de haine dans leur globalité. C'est la seule manière de limiter l'impact des interactions et engagements artificiels, toxiques et non nécessaires.

Il faut permettre à des chercheurs publics indépendants de pouvoir travailler sans entrave sur les mécanismes de circulation des données et des informations au sein de la plateforme. C'est tout simplement une question d'éthique, notamment sur les enjeux des mécanismes et des technologies d'intelligence artificielle qui structurent cette firme.

Intégrité civique ? Tiens donc, c'est aussi le nom de l'équipe de Facebook dont était membre … Frances Haugen. "Civic integrity"

Engagements artificiels et toxiques ? Tiens donc, c'est aussi le nom de l'équipe de Facebook dont était membre Sophie Zhang avant de se faire licencier pour avoir découvert que des réseaux de manipulation politique abusive et de harcèlement de partis d'opposition utilisaient Facebook de manière coordonnée dans une trentaine de pays, et pour avoir voulu rendre cette information publique. "Fake Engagement".

Éthique et intelligence artificielle ? Tiens donc, c'est aussi le nom de l'équipe de Google dont était membre Timnit Gebru avant de se faire licencier suite à la publication d'un article de recherche où elle démontrait les biais sexistes et racistes présents au coeur des technologies du moteur de recherche. "Ethics in Artificial Intelligence".

Pour savoir ce qui dysfonctionne réellement dans les GAFAM et comment le régler, il suffit de regarder les noms des équipes de recherche d'où sont issues les lanceuses d'alerte récemment licenciées par ces firmes.

One More Thing.

Quelle est vraiment la nature de Facebook qui lui permet d'occuper la préoccupante place qui est la sienne aujourd'hui ? Dans Les Chants de Maldoror, Isidore Ducasse Comte de Lautréamont, parlait d'un jeune homme de 16 ans et 4 mois qui était "beau (…) comme la rencontre fortuite sur une table de dissection d'une machine à coudre et d'un parapluie." Alors que sa plateforme avait exactement le même âge, Zuckerberg déclarait en Février 2020 : "Treat us like something between a Telco and a Newspaper." (traitez-nous comme quelque chose entre un opérateur télécom et un titre de presse).

Facebook c'est aussi cette table de dissection de nos humeurs et de nos comportements, cette rencontre fortuite de la machine à coudre des interactions qui nous tiennent ensemble et nous retiennent isolément, et un parapluie qui nous abrite parfois et nous isole souvent, nous empêchant de voir. Et à force de n'être ni tout à fait un opérateur télécom ni pleinement un titre de presse, Facebook se voudrait finalement insaisissable et donc échappant à la régulation commerciale des premiers comme au respect de la déontologie professionnelle des seconds.

Bien sûr, à lui seul Facebook ne résume ni ne borne l'ensemble des problèmes (ou des solutions) auxquels doivent aujourd'hui faire face nos démocraties. Mais il est une expérience sociale tout à fait inédite portant actuellement sur plus de la moitié de l'humanité connectée. Inédite par le nombre mais inédite également et peut-être essentiellement par le statut de cette expérience menée à la fois in vivo – puisqu'il n'existe aucune forme d'étanchéité entre ce qui se passe et ce dit sur Facebook et en dehors – mais aussi in vitro, puisque chaque message, chaque interaction et chacune de nos données participent à des formes de contrôle structurel qu'elles alimentent en retour et qu'il est à tout moment possible, pour la firme et pour la firme seulement, de les isoler de leur environnement habituel comme autant de composants d'un organisme social ou particulier, à des fins d'analyse et de monétisation. Une expérience sociale à l'image du Cyberespace de Gibson : "une hallucination consensuelle vécue quotidiennement en toute légalité par des dizaines de millions d'opérateurs, dans tous les pays."

C'est cette expérience sociale autant que cette hallucination consensuelle qu'il importe de pouvoir toujours et en tous temps garder sous le contrôle d'une expertise et d'une supervision publique indépendante.

[Disclaimer : cet article "de commande" a été publié il y a un peu plus de 3 mois – 6 Décembre 2021 – dans le magazine AOC Media. Il a donné lieu à une rémunération de son auteur (moi) en échange du maintien d'un "embargo" de 3 mois tout en sachant qu'il était, dès sa publication sur AOC Media accessible gratuitement en échange du dépôt de son adresse mail (dépôt ouvrant droit à 3 articles gratuits par mois).

Bercy veut vos relevés bancaires en temps réel

Du Ficoba au Flics aux basques
Par Pierre Januel Le vendredi 23 septembre 2022 à 10:03

Lors de la refonte du fichier des comptes bancaires (Ficoba), Bercy a voulu le transformer en fichier des opérations bancaires, qui lui aurait permis d’accéder en temps réel à nos relevés de compte. Un projet finalement bloqué par la Dinum, faute de base légale.

Dans la grande famille des fichiers, Ficoba est l’un des plus anciens. Ce FIchier des COmptes Bancaires et Assimilés liste, depuis 1971, tous les comptes ouverts en France : comptes courants, comptes d'épargne, comptes-titres… Il contient environ 800 millions de références de comptes dont 300 millions d’actifs. Les informations sont conservées durant toute la durée de vie du compte et pendant 10 ans après sa clôture.

Ficoba est un mastodonte que doivent nourrir toutes banques et qui est régulièrement consulté par de nombreux organismes : sécurité sociale, fisc, douane, enquêteurs judiciaires, notaires en charge d’une succession, banques, huissiers, TRACFIN. Au total, il y a eu pas moins de 41 millions de consultations en 2020. Le fichier est obsolète. Ainsi dans un récent référé, la Cour des comptes regrettait que le Ficoba, à cause de son obsolescence technique, ne soit pas assez utilisé par les organismes sociaux pour lutter contre la fraude à l’identité.

Le Ficoba ne contient que des informations sur les titulaires et bénéficiaires des comptes : rien sur les opérations effectuées sur les comptes ou sur le solde. Si le fisc ou la police veut en savoir plus, ils doivent passer par des réquisitions spéciales aux banques. C’est apparemment trop limité et trop compliqué pour Bercy.

Bercy voulait intégrer les opérations bancaires au Ficoba

Une refonte de Ficoba, intitulée Ficoba 3, est actuellement en chantier depuis 2020. L’objectif : mettre à jour technologiquement l’outil qui commence à dater, améliorer l’ergonomie et inscrire de nouveaux produits financiers (comme les coffres-forts) et de nouvelles données (noms des bénéficiaires effectifs et des mandataires) comme le prévoient des directives européennes. Un projet évalué à 17,4 millions d’euros, financé par le FTAP 2 à hauteur de 7,8 millions d’euros et qui devrait s’étaler jusqu’à 2024.

Mais un courrier adressé en septembre 2021 par Bercy à la Direction du numérique, qui est chargée de rendre un avis sur les grands projets informatiques, nous permet d’en savoir plus. Le ministère de l’Économie et des Finances y indiquait qu’il y avait d’autres buts à la refonte du Ficoba : « Les objectifs du projet Ficoba 3 sont également de préparer, de par son architecture, les étapes suivantes : a) intégrer les opérations effectuées sur les comptes bancaires ; b) évoluer et devenir le référentiel des comptes bancaires de la DGFiP. »

Le directeur interministériel du numérique, Nadi Bou Hanna, va bloquer sur ce point. Transformer un fichier des comptes bancaires en relevé de toutes les opérations bancaires serait une modification massive du Ficoba. Cela reviendrait à donner ces informations en temps réel au fisc, aux services de renseignement et à un tout un tas d’organismes. De quoi nourrir le data mining de Bercy, de plus en plus mis en avant dans la lutte contre la fraude fiscale.

La Dinum note que concernant les nouvelles exigences européennes, « les principales mesures attendues (intégration des coffres-forts, des bénéficiaires effectifs et des mandataires par exemple) ont d’ores et déjà été embarquées dans les évolutions en cours de Ficoba 2. »

Surtout l’intégration des soldes de comptes bancaires et à terme les opérations effectuées sur ces comptes bancaires serait « une évolution fonctionnelle très significative de Ficoba, passant d’une gestion des données de référence statiques à une gestion des données dynamiques très sensibles ».

Mais « les cas d’usage de ces soldes et de ces opérations ne sont pas détaillés et leur conformité avec le cadre juridique actuel ne me paraissent pas suffisamment solides ». La DINUM n’a notamment pas trouvé trace « de débats parlementaires permettant d’autoriser ces évolutions substantielles ». Afin de sécuriser le projet, il conviendrait que Bercy s’assure « de leur conformité auprès des instances compétentes, en premier lieu la CNIL, avant de débuter les travaux de réalisation ».

Les éléments fournis par Bercy ne permettent pas à la Dinum de conclure à la « conformité juridique indispensable du périmètre fonctionnel additionnel de constitution d’un référentiel porté par la DGFIP des soldes et des mouvements des comptes bancaires des entreprises et des particuliers ». En conséquence, son avis conforme est défavorable pour cette partie du projet.

Pour le reste, l’avis de la Dinum à Ficoba 3 est favorable, moyennant d’autres demandes, comme celle de permettre le partage des RIB avec plusieurs administrations via FranceConnect, le renforcement de l’approche « données » du projet, le resserrement du pilotage du projet et le fait de mener une réflexion en faveur de la cloudification du Ficoba (qui devrait rester hébergé à la DGFIP).

Bercy, qui n’a pas souhaité répondre à nos questions, semble pour l’instant avoir abandonné son projet fou. La dernière version de son cahier des charges ne mentionne plus le fait que le Ficoba 3 intégrera les soldes et les opérations bancaires.

Une présentation faite à l’association des marchés financiers en mars 2022 évoque uniquement « un cadre légal évolutif permettant de stocker de nouvelles données », mais rien de précis concernant l’inclusion des soldes et des opérations. En bref, il faudra changer la loi avant de changer le Ficoba.

Article publié dans la revue NextInpact par Pierre Januel

Peut-on limiter l’extension de la « société de la notation » ?

Vincent Coquaz (@vincentcoquaz) et Ismaël Halissat (@ismaelhat), journalistes à Libération livrent dans La nouvelle guerre des étoiles (Kero, 2020) une bonne enquête sur le sujet de la notation : simple, claire, accessible, grand public. Leur synthèse prend la forme d’un reportage informé et rythmé, proche du journalisme d’investigation télé auquel nous ont habitué des émissions comme Capital ou Cash Investigation. Reste que derrière les constats que délimitent leur enquête, notamment celui du manque de fiabilité de la notation, se pose une question de fond : comment border, limiter ou réguler cette « société de la notation » qui se met en place ?

La société de la notation

L’invention de la notation remonte au XVe siècle, sous l’impulsion des Jésuites et de la contre-réforme, qui, pour lutter contre l’expansion protestante, vont fonder des collèges dans toute l’Europe, et vont utiliser la notation pour évaluer leurs élèves, comme le pointe le spécialiste des pratiques pédagogiques Olivier Maulini. Pour distinguer et classer les élèves, la notation s’impose, et avec elle le tri et la compétition, appuie le sociologue spécialiste des politiques éducatives Pierre Merle dans Les pratiques d’évaluation scolaire (PUF, 2018). Il faudra attendre le début du XIXe siècle pour que se mette en place le barème sur 20 qui va se répandre dans tout le système scolaire à la fin du siècle. La généralisation d’une échelle plus précise va surtout permettre de renforcer la discrimination et l’individualisation, la différenciation et la hiérarchisation. La moyenne, quant à elle, apparaît au début du XXe siècle et consacre « le classement sur le savoir », puisque celle-ci va permettre d’additionner par exemple des notes en math avec des notes en sport… ce qui semble loin d’une quelconque rigueur mathématique ou scientifique. Plus omniprésente que jamais, la note va pourtant voir sa domination contestée. À la fin des années 90, de nouvelles formes d’évaluation alternatives, comme les niveaux de compétences (distinguant les notions acquises de celles qui ne le sont pas) se répandent, mais demeurent limitées et marginales par rapport à la gradation chiffrée.

Si la notation n’est pas née avec le numérique, celui-ci va être un incroyable accélérateur de « la société de la notation » et va favoriser son essor bien au-delà de la seule sphère scolaire où elle est longtemps restée limitée (la note s’étant peu imposée dans le monde du travail avant l’essor du numérique). Amazon, dès 1995, propose aux acheteurs de noter sur 5 étoiles les produits qu’ils commandent. TripAdvisor en 2000, Yelp en 2004 élargiront ces possibilités aux restaurants et hôtels. En 2008, ebay proposera aux utilisateurs de noter les vendeurs… avant que toutes les plateformes de l’économie collaborative n’emboîtent le pas à la fin des années 2000. En quelques années finalement, la note et le classement se sont imposés dans la société, tant et si bien qu’elles semblent désormais être partout. Comme si avec l’essor de la note et du classement, venait une forme de libération de l’efficacité de l’évaluation… Ce n’est pourtant pas le constat que dressent les journalistes.

En se répandant partout, la note semble avoir généré ses propres excès affirment-ils. Partout où leur enquête les pousse, des médecins aux restaurateurs en passant par les services de livraison, le succès des notations par les consommateurs laisse entrevoir combien la note est devenue à la fois un Graal et une guillotine, gangrénée par les avis bidon, par un marketing d’affiliation et de recommandation largement invisible aux utilisateurs quand ce n’est pas par une instrumentation pure et simple de ces nouvelles formes d’évaluation. Cette notation anarchique n’est pas sans conséquence, pas seulement sur les établissements, mais également, de plus en plus, sur chacun d’entre nous, qui sommes de plus en plus concernés par ces évaluations de plus en plus individualisées et individualisantes. Dans la plupart des secteurs où se répand la notation par les utilisateurs, la notation des clients a de plus en plus souvent un impact sur une part du salaire des employés ou sur les primes des gens ou secteurs évalués.

L’omerta à évaluer l’évaluation

Le principal problème que soulignent les auteurs, c’est que cette évaluation est bien souvent tributaire d’affects, de contexte ou d’appréciations qui n’ont rien à voir avec ce qui est sensé être évalué. Derrière son apparence de neutralité et d’objectivité, l’évaluation n’a rien de neutre ni d’objectif. Sur Ziosk par exemple, un outil d’évaluation des serveurs de restaurant, certaines des questions posées portent sur la nourriture ou la propreté, qui ne dépendent pas nécessairement des serveurs. Or, pour eux comme pour de plus en plus de ceux qui sont évalués, ces notes ont un impact réel sur une part de leur rémunération voir sur leur emploi. La mathématicienne Cathy O’Neil, auteure de Algorithmes, la bombe à retardement (Les arènes, 2018), le répète depuis longtemps : les évaluations naissent de de bonnes intentions, mais les méthodes échouent à produire des résultats fiables et robustes, ce qui sape leur but originel. L’opacité des calculs empire les choses. Et au final, de plus en plus de gens sont confrontés à des processus d’évaluation très contestables, mais qui les impactent directement, explique encore celle qui réclame la plus grande transparence sur ces systèmes d’évaluation et de notation. Nous en sommes pourtant très loin soulignent les deux journalistes qui constatent combien l’évaluation demeure opaque.

La notation par le consommateur a colonisé l’industrie des services. Désormais, les notes des clients affectent la rémunération des salariés et deviennent un outil de contrôle et de pression managériale. Nous sommes passé d’un outil censé produire de l’amélioration à un outil de contrôle. Et cela ne concerne pas que les enseignes du numérique comme Uber ou Deliveroo, mais également nombre de commerces en relation avec des clients. Le problème de cette notation, pointent Coquaz et Halissat, c’est l’omerta. Derrière les nouveaux standards que tous adoptent, aucune des entreprises qu’ils évoquent dans leur livre n’a accepté de leur répondre sur leurs méthodes. Des centres d’appels des opérateurs télécoms, aux grandes enseignes de livraison d’électroménager, en passant par les concessionnaires automobiles, aux sociétés de livraison ou aux chaînes de distribution…. Voir aux services publics qui le mobilisent de plus en plus, tout le monde se pare derrière le secret quand il est question de regarder concrètement les procédés d’évaluation. Or, le problème des évaluations consiste à toujours contrôler si elles évaluent bien ce qu’elles sont censées évaluer.

Le livreur qui n’aide pas à monter une livraison va se voir mal noté par le client, alors que cela ne fait pas partie de la prestation qu’il doit accomplir. Si le colis est abîmé, il va recevoir également une mauvaise note, alors que le colis a pu être abîmé ailleurs et par d’autres. Le ressenti client est partout, sans aucune transparence sur l’évaluation. Le coeur du problème, relève certainement du déport de l’évaluation sur l’utilisateur, plutôt que de se doter de services d’évaluation compétents. À l’heure où la question de l’évaluation semble partout devenir centrale, la question de l’évaluation peut-elle de plus en plus reposer sur des évaluations sans méthodes et sans science ?

Coquaz et Halissat ont raison de mettre en cause le fameux « Net Promoter Score » (NPS) inventé par le consultant américain Fred Reichheld (@fredreichheld) au début des années 2000 qui va optimiser les vieux questionnaires clients réalisés en papier ou par sondage, au goût du numérique. Le problème, c’est que là encore, le NPS est loin d’une quelconque rigueur mathématique, puisque seuls ceux qui donnent une note optimale (9 ou 10) sont considérés comme des clients qui vous recommanderaient. Pour le NPS, mettre un 0 ou un 6 équivaut dans le score à être un détracteur de la marque ! Malgré cette absence de scientificité, cette méthode à évaluer la loyauté des clients est pourtant très rapidement devenue un « indicateur clé de performance » pour nombre d’entreprises. Malgré les nombreuses critiques qui l’accablent, comme celles du chercheur Timothy Keiningham (@tkeiningham, qui montre que cet indicateur ne prédit aucune croissance pour les firmes qui l’utilisent), comme celles de son inventeur lui-même qui a pris quelques distances avec son indicateur, le NPS semble pourtant étrangement indétrônable.

Derrière l’omerta, le Far West

Cette absence de scientificité de l’évaluation donne lieu à nombre de pratiques délétères que les deux auteurs détaillent longuement… notamment bien sûr, la fabrique de fausses notes, consistant à rémunérer des personnes en échange de commentaires et de bonnes notes. Dans un monde où la note devient un indicateur sur-déterminant, qui préside à la visibilité ou à l’invisibilité et donc à des revenus corrélés à cette visibilité, la notation est devenue un enjeu majeur. Pour nombre de produits, les bonnes notes peuvent multiplier les ventes par 5 ou 10 ! L’enjeu financier autorise alors toutes les pratiques : contributions bidons, moyennes au calcul obscur, labellisation qui auto-alimente ce que l’on pourrait considérer comme une chaîne de Ponzi, une chaîne d’escroquerie où les fausses notes alimentent des chaînes automatisées de recommandation toujours plus défectueuses et opaques, à l’image du label « Amazon’s Choice », une appellation qui récompense les produits les plus vendus et les mieux notés pour les faire remonter dans les résultats, alors que ces notes et ces ventes sont souvent altérées par des pratiques plus que contestables. Coquaz et Halissat montre que si Amazon fait la chasse aux appréciations bidons, c’est visiblement sans grand empressement, tant finalement la tromperie entretient le marché. Amazon n’est pas le seul en cause : toutes les plateformes proposant des évaluations tirent finalement intérêt à laisser passer de fausses évaluations. Malgré l’existence d’outils plus efficaces que les leurs, comme ReviewMeta (dont on peut recommander le blog) ou FakeSpot ou Polygraphe en cours de développement par la DGCCRF, les fausses critiques pullulent et se répandent d’autant plus que la concurrence et la pression marketing s’accélèrent. Face au tonneau des Danaïdes des faux commentaires, beaucoup écopent bien sagement, ayant plus à gagner d’un système défaillant que de sa remise en question. Google My Business est certainement aujourd’hui le plus avancé dans ce Far West d’une notation sans modération, permettant à tout à chacun de noter le monde entier, sans aucun contrôle sur l’effectivité des déclarations ou des déclarants. La grande question du livre consiste à comprendre ce que note la note : derrière l’opacité généralisée, personne ne semble être capable de le dire précisément. On a surtout l’impression qu’on produit des classements imparfaits, voire frauduleux, pour nourrir une machinerie d’évaluation qui accélère et renforce l’iniquité.

Les notations individuelles qu’on poste sur Google permettent au système d’évaluer des taux d’affinités avec d’autres lieux notés, mais sans savoir depuis quels critères et biais, comme s’en émouvait les désigners de l’agence Vraiment Vraiment.

Coquaz et Halissat dressent le même constat en ce qui concerne le développement de la notation des employés, pointant là encore combien ces systèmes d’évaluation des ressources humaines opaques ne sont pas des modèles de méritocratie, mais bien des outils orwelliens qui visent à rendre chacun plus attentif à ce qu’il fait ou dit. Là encore, sur ces systèmes, un même silence et la même opacité se posent sur leur fonctionnement, leurs critères de calculs, l’évaluation des interactions qu’ils génèrent. Nous sommes bien loin d’une quelconque cogouvernance des systèmes, comme le défendait récemment la syndicaliste britannique Christina Colclough.

Malgré les défaillances des mesures, l’évaluation par la satisfaction usager fait également son entrée dans le service public. Et les mêmes défauts semblent y reproduire les mêmes conséquences. L’évaluation par les usagers sert là encore de grille pour rendre compte de la qualité du service public, permettant à la fois de justifier toujours plus d’automatisation et de corréler une bien fragile « performance » à des financements supplémentaires. D’ici fin 2020, tous les services de l’État en relation avec les usagers doivent s’engager à rendre des comptes sur la qualité de services, via des indicateurs de performance et de satisfaction, à l’image de ceux disponibles sur resultats-services-publics.fr ou voxusagers.gouv.fr… Malgré les résistances, dans le monde de l’enseignement et de la médecine notamment, ces mesures se pérennisent, comme c’est le cas à Pôle emploi qui publie régulièrement un baromètre de satisfaction. Au final, ces outils participent d’un mouvement de déréglementation, une alternative au contrôle par les services de l’État ou les services internes aux entreprises. L’évaluation par le client permet finalement avant tout d’externaliser et déréguler l’évaluation. Faite à moindres coûts, elle se révèle surtout beaucoup moins rigoureuse. Au final, en faisant semblant de croire au client/usager/citoyen roi, la notation ne lui donne d’autre pouvoir que de juger les plus petits éléments des systèmes, ceux qui comme lui, ont le moins de pouvoir. L’usager note le livreur, l’agent, le vendeur… L’individu est renvoyé à noter l’individu, comme s’il n’avait plus aucune prise sur l’entreprise, l’institution, l’organisation, le système.

La démocratisation de l’évaluation n’est pas démocratique

En fait, le plus inquiétant finalement, n’est-il pas que la notation apparaît à beaucoup comme la forme la plus aboutie (ou la plus libérale) de la démocratisation ? La note du consommateur, de l’utilisateur, du citoyen… semble l’idéal ultime, ouvert à tous, parfaitement méritocratique et démocratique. L’avis ultime et leur somme semblent attester d’une réalité indépassable. Pourtant, les études sur les avis et commentaires en ligne montrent depuis longtemps que seule une minorité d’utilisateurs notent. Les commentateurs sont souvent très peu représentatifs de la population (voir notamment le numéro de 2014 de la revue Réseaux sur le sujet). Très peu d’utilisateurs notent ou commentent : la plupart se cachent voire résistent. Partout, des « super-commentateurs » (1 à 1,5 % bien souvent produisent de 25 à 80 % des contributions) fabriquent l’essentiel des notes et contenus, aidés par de rares commentateurs occasionnels. L’évaluation qui se présente comme méritocratique et démocratique est en fait parcouru de stratégies particulières et de publics spécifiques. La distribution des commentaires procède d’effets de contextes qui sont rarement mis en avant (comme le soulignait cette étude qui montre que les commentaires de satisfaction suite à des nuitées d’hôtels sont plus nourris et élevés chez ceux qui voyagent en couples que pour ceux qui voyagent seuls et pour le travail). La société de la notation et du commentariat n’est pas le lieu d’une démocratie parfaitement représentative et distribuée, au contraire. Les femmes y sont bien moins représentées que les hommes, les plus jeunes que les plus anciens, et c’est certainement la même chose concernant la distribution selon les catégories socioprofessionnelles (même si certaines études pointent plutôt une faible participation des catégories sociales les plus élevées). Sans compter l’impact fort des effets de cadrages qui favorisent les comportements moutonniers consistants à noter, quand les notes sont visibles, comme l’ont fait les autres. Ou encore, l’impact des modalités de participation elles-mêmes, qui ont bien souvent tendance à renforcer les inégalités de participation (améliorant la participation des plus motivés et décourageant les moins engagés).

La grande démocratisation égalitaire que promet la note, elle aussi repose sur une illusion.

De l’obsession à l’évaluation permanente

Les deux journalistes dressent finalement un constat ancien, celui d’une opacité continue des scores. Une opacité à la fois des méthodes pour établir ces notations comme de l’utilisation des scores, qui, par des chaînes de traitement obscures, se retrouvent être utilisées pour bien d’autres choses que ce pour quoi ils ont été prévus. Nombre de scores ont pour origine l’obsession à évaluer les risques et les capacités d’emprunts des utilisateurs. Les secteurs de la banque, de l’assurance et du marketing ont bâti sur l’internet des systèmes d’échange de données pour mettre en place des systèmes de calcul et de surveillance disproportionnés aux finalités.

Une opacité entretenue notamment par les systèmes de scoring de crédit et de marketing. À l’image de Sift, un algorithme qui attribue aux utilisateurs du net un score de fiabilité sur une échelle de 1 à 100 depuis plus de 16 000 signaux et données. Inconnu du grand public, ce courtier de données permet pourtant aux entreprises qui l’utilisent de bloquer certains profils, sans permettre aux utilisateurs de rectifier ou d’accéder aux raisons de ce blocage. Chaque site utilise le scoring à discrétion et décide de seuils de blocage librement, sans en informer leurs utilisateurs. Sift n’est pas le seul système. Experian propose également une catégorisation des internautes en grandes catégories de consommateurs (Expérian disposerait de données sur 95 % des foyers français). Aux États-Unis, le célèbre Fico Score, né à la fin des années 80 est un score censé prédire la capacité de chaque Américain à rembourser leur crédit… Complexe, obscur, les critiques à son égard sont nourries et ce d’autant plus que ce score peut être utilisé pour bien d’autres choses, comme d’évaluer des candidats qui postulent à un emploi. Un autre courtier, Lexis Nexis, propose aux assureurs par exemple de calculer une note de santé pour leurs clients potentiels, visant à prédire la détérioration de leur santé sur les 12 prochains mois, en prenant en compte des données aussi hétéroclites que leurs revenus, leur historique d’achat, leur casier judiciaire, leur niveau d’étude, leur inscription ou non sur les listes électorales… Autant de données utilisées pour produire des signaux et des inférences. L’un de ses concurrents, Optum, utilise également les interactions sur les réseaux sociaux.

Le problème, bien sûr, c’est la boucle de renforcement des inégalités et des discriminations que produisent ces scoring invisibles aux utilisateurs. « Les mals notés sont mals servis et leur note devient plus mauvaise encore », expliquait déjà le sociologue Dominique Cardon dans a quoi rêvent les algorithmes (Seuil, 2015). Chez Experian, la note la plus basse pour caractériser un foyer est le « S71 », une catégorie qui masque sous son intitulé abscons le bas de l’échelle socio-économique où les 2/3 de ceux qui sont classés ainsi sont célibataires, divorcés ou veufs, où 40 % sont afro-américains (soit 4 fois plus représentés que la moyenne nationale), majoritairement peu éduqués. Cette catégorie par exemple va pouvoir être utilisée pour proposer de la publicité ou des produits dédiés, comme des crédits à la consommation aux taux les plus élevés du marché !

Ces évaluations dénoncées depuis longtemps (la FTC américaine, appelait déjà en 2014 à une meilleure régulation du secteur (.pdf)…), perdurent dans un no man’s land législatif, comme si leur régulation était sans cesse repoussée. À croire que l’opacité est voulue, malgré ses conséquences et ses injustices.

Plutôt que d’ouvrir les discussions sur leur production, finalement, la note semble mettre fin à toute discussion. Comme à l’école !

En devenant un objectif plus qu’une mesure, la notation change de statut tout en perdant finalement le sens de ce qu’elle était censée représentée. Quant à l’opacité des systèmes, nous ne l’avons pas accepté comme le disent les journalistes, mais il nous a été imposé. Derrière la notation, on crée des mécanismes extralégaux, qui permettent de punir automatiquement, sans présomption d’innocence, sans levier ni appel sur ces notations. L’année dernière, le journaliste Mike Elgan (@mikeelgan) dénonçait pour Fast Company le fait que les entreprises de la technologie américaines, finalement, construisaient elles aussi un système de crédit social tout aussi inquiétant et panoptique que celui de la Chine. Si Coquaz et Halissat ont plutôt tendance à minimiser les enjeux du Crédit social chinois, rappelant qu’il relève surtout pour l’instant d’expérimentations locales très diverses (ce qui est exact, mais semble oublier les finalités et l’objectif assignés par la Chine à ces projets), au final, ils montrent que le « panoptique productif » de la note, lui, est déjà largement en place.

Reste à savoir comment remettre le mauvais génie de la notation dans sa bouteille ? En conclusion, les auteurs proposent, en convoquant l’écrivain Alain Damasio, le sabotage. Mais peut-on saboter un système trompeur qui repose déjà sur des données et méthodes largement contestables ?

On a souligné quelques pistes, plus structurantes que le sabotage. Faire revenir les services d’évaluation internes plutôt que les déporter sur les usagers. Les outiller de méthodes et de procédures ouvertes, transparentes, discutables afin qu’elles évaluent bien ce qu’elles sont censées évaluer. Minimiser leur portée et leur croisement pour qu’elles n’entretiennent pas des chaînes d’injustices… Réguler plutôt que déréguler en somme ! Pour sortir de l’hostilité généralisée provoquée par La nouvelle guerre des étoiles, il faut trouver les modalités d’un traité de paix.

Hubert Guillaud