Les chatbots peuvent-ils vraiment nous influencer ?

Publié: 27 novembre 2022, 17:01 CET

Depuis Eliza (1966), le premier chatbot de l’histoire, jusqu’à nos jours, les machines conversationnelles issues de l’intelligence artificielle se voient souvent attribuer des attitudes et des comportements humains : joie, étonnement, écoute, empathie…

Sur le plan psychologique, ces attributions correspondent à des « projections anthropomorphiques ». Ainsi, le risque existe d’identifier pleinement les chatbots à ce que nous leur attribuons de nous-mêmes, au point de susciter la croyance d’avoir affaire à quelqu’un plutôt que de garder à l’esprit qu’il s’agit d’un programme informatique disposant d’une interface de communication.

Par ailleurs, le risque existe que les concepteurs issus des « technologies persuasives » (technologies visant à persuader les humains d’adopter des attitudes et des comportements cibles), conscients d’un tel phénomène, utilisent les chatbots pour influencer nos comportements à l’aide du langage naturel, exactement comme le ferait un humain.

Pour circonscrire les mécanismes projectifs dont les technologies persuasives pourraient faire usage, nous avons conduit une étude à grande échelle auprès d’un échantillon représentatif de Français (soit 1 019 personnes) placés en position d’envisager ou de se remémorer une relation interactive dialoguée avec un chatbot qu’il soit, au choix, un·e ami·e confident·e, un·e partenaire amoureux·se, un·e coach·e de vie professionnelle ou un·e conseiller.ère clientèle.

Pour interpréter nos résultats, nous avons retenu des projections anthropomorphiques quatre modalités essentielles :

• Anthropomorphisme perceptuel : consiste à projeter sur un objet des caractéristiques humaines, ce qui relève de l’imagination.
• Animisme : consiste à donner vie aux caractéristiques attribuées à un objet en projetant « sur » lui des intentions simples généralement humaines.
• Anthropomorphisme intentionnel : est une forme d’animisme consistant à projeter « dans » l’objet des intentions humaines complexes sans pour autant identifier totalement cet objet à ce qu’on y a projeté.
• Identification projective : consiste à projeter « dans » l’objet des caractéristiques de soi et à l’identifier totalement à ce qu’on y a projeté au point de modifier radicalement la perception même de cet objet.

Un résultat intriguant : mon chatbot est plutôt féminin

Quel que soit le chatbot choisi, 53 % des répondants le considèrent comme vivant autant qu’humain et parmi eux 28 % projettent sur lui les caractéristiques d’un homme adulte et 53 % celles d’une femme adulte (anthropomorphisme perceptuel).

Ensemble, ils lui donnent vie en lui attribuant des intentions simples (animisme). Lorsque les répondants ne considèrent pas le chatbot choisi comme vivant (40 %), certains projettent paradoxalement sur lui des caractéristiques humaines comme une voix (27 %), un visage (18 %) et un corps (8 %) tendanciellement féminins. Dans l’ensemble, seuls 38 % des répondants projettent dans leur chatbot une agentivité c’est-à-dire des états intérieurs complexes, cognitifs et émotionnels, constitutifs d’un pouvoir et d’une autonomie d’action (anthropomorphisme intentionnel).

Ainsi, tout se passe comme si la tendance était d’attribuer au chatbot les caractéristiques d’un sujet humain, mais avec une certaine hésitation sur l’attribution d’une intériorité : il serait ainsi considéré comme un sujet sans subjectivité. Ces résultats tendraient à montrer que les répondants n’identifient pas totalement le chatbot à ce qu’ils imaginent d’humain en lui et, ainsi, qu’ils ne le prennent pas pour un semblable. Il n’y aurait donc pas de processus avéré d’identification projective.

[Près de 80 000 lecteurs font confiance à la newsletter de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Face à ces résultats, deux questions nous ont semblé essentielles. La première consiste à se demander si la tendance des répondants à projeter du féminin dans leur chatbot, qu’il soit ou non considéré comme vivant – et notamment une femme plus qu’un homme adulte –, relève d’un stéréotype ou d’un archétype. Rappelons ici qu’un stéréotype est une opinion toute faite, forgée sans examen critique qui véhicule des représentations sociales standardisées et appauvrissantes visant à catégoriser voire caricaturer tel ou tel groupe humain.

Un archétype, quant à lui, est un schéma d’organisation inné de notre vie psychique, présent à l’état « virtuel » dans notre esprit et que seules certaines circonstances peuvent activer et actualiser. La seconde question consiste à se demander pourquoi les répondants n’identifient-ils pas pleinement leur chatbot à ce qu’il projette d’humain en eux ?

Afin de répondre à ces questions et de mieux comprendre nos relations aux chatbots, certains des concepts majeurs de la psychanalyse nous ont éclairés.

La psychanalyse pour comprendre nos relations aux chatbots

Tentons une réponse à la première de nos deux questions. Selon la littérature scientifique, des stéréotypes sociaux de genre sont souvent projetés sur les machines. Alors que la vocation des chatbots est d’assister l’humain, il serait en effet naturel, selon certains, que, dans l’imaginaire social, cet assistanat soit situé du côté du « care » et ainsi associé aux femmes.

Mais sommes-nous vraiment en présence d’un tel stéréotype dans notre enquête ? Nos investigations montrent en effet que 58 % des femmes qui considèrent leur chatbot comme vivant et humain l’envisagent comme une personne de genre féminin contre seulement 48 % des hommes. Ainsi, soit elles sont victimes d’un stéréotype de genre par contagion sociale, soit cette projection d’une figure féminine exprimerait un invariant collectif qui serait l’expression d’un archétype plus que d’un stéréotype.

Un archétype, tel que nous l’avons défini, est par exemple à l’œuvre dans les processus d’attachement pulsionnel à la mère. En effet, il a été démontré que le nouveau-né, dès le premier contact avec sa génitrice, dirige instinctivement son regard vers elle avant de migrer vers le sein pour sa première tétée. Ce comportement inné relève de l’archétype de la Mère.

Plus généralement, certaines recherches montrent que la première forme vivante que les nouveau-nés rencontrent à leur naissance fait « empreinte » en eux sous la forme d’une image et les conduit à se lier immédiatement à elle pour recevoir les soins dont ils ont besoin. Peu importe si cette forme appartient à une autre espèce. Certains en concluent que l’archétype, en tant que schéma inné de comportement, conduit un être vivant à rechercher une fonction de soin plus qu’un individu spécifique à son espèce d’appartenance.

Le concept d’archétype nous permet donc d’envisager que la figure projective féminine propre à notre enquête ne résulterait pas forcément d’un stéréotype de genre. Elle pourrait attester l’activation et l’actualisation de l’archétype de la Mère poussant ainsi l’utilisateur « humain » à projeter une figure féminine archétypale dans le chatbot, preuve qu’il cherche, dans l’interaction avec lui, une fonction de soin telle qu’il l’a déjà expérimentée.

Peu importe qu’il soit un programme informatique, un « individu technique », s’il donne le sentiment de « prendre soin » en aidant à choisir un produit, en conseillant une attitude juste ou en offrant des signes de reconnaissance amicaux autant qu’amoureux.

Un différentiel homme-machine auto-protecteur ?

Abordons maintenant notre seconde question. Dans notre enquête, le chatbot est généralement imaginé comme un sujet paré de caractéristiques humaines, mais sans subjectivité. Ce qui signifie que les répondants n’identifient pas pleinement leur chatbot à ce qu’ils projettent de leur propre humanité en eux. Les recherches dans le domaine de l’attachement en fournissent peut-être l’explication.

Elles indiquent en effet que les relations avec un premier pourvoyeur de soins, donne les moyens à celui qui s’attache, de pouvoir faire ultérieurement la différence entre ses congénères et les autres. C’est probablement la raison pour laquelle les répondants montrent qu’ils pourraient être en mesure de s’attacher à un chatbot qui leur fait la conversation sans pour autant le considérer comme un de leurs semblables : la conscience d’un différentiel de génération et d’existence entre l’humain et la machine – différentiel dit ontologique – limiterait ainsi voire interdirait toute identification projective.

Un tel « rempart naturel », face à l’ambition persuasive de la captologie pour laquelle la fin peut parfois justifier les moyens, pourrait rendre les utilisateurs beaucoup moins influençables voire moins dupes que ne l’envisagent les professionnels du marketing et du design conversationnel : ils jouent le jeu probablement en conscience.

Reste cette question : que faire pour protéger les plus fragiles et les plus influençables d’entre nous qui pourraient se prendre à un tel jeu et courir le risque de s’y perdre ?

Pour aller plus loin : « L’anthropomorphisme, enjeu de performance pour les chatbots », du même auteur.

Les adresses Telegram bloquées en France par erreur

La police a reconnu une « erreur humaine » ayant mené au blocage, pendant plusieurs heures, des adresses menant à la messagerie Telegram. Un couac, alors que le gouvernement entend étendre la possibilité de bloquer les sites Web grâce à un nouveau projet de loi.

Par Martin Untersinger et Florian Reynaud Publié le 13 mai 2023 à 13h46, modifié le 13 mai 2023 à 20h05

C’est un sacré couac : alors que le gouvernement a présenté cette semaine un projet de loi prévoyant la possibilité de bloquer massivement des sites, les adresses « t.me » (qui appartiennent à la messagerie Telegram), ont été inaccessibles pendant plusieurs heures, samedi 13 mai au matin, depuis la plupart des fournisseurs d’accès à Internet (FAI) français en raison d’une erreur de la police.

En milieu de journée, la situation semblait revenir à la normale. Le fonctionnement général de l’application, lui, n’a pas été affecté et il restait possible d’envoyer et de recevoir des messages normalement.

Les URL en « t.me » sont utilisées pour renvoyer vers un compte, une chaîne ou un contenu spécifique à l’intérieur d’une chaîne au sein de Telegram, réseau social utilisé par 700 millions de personnes dans le monde. Les saisir dans un navigateur Web sur ordinateur ou smartphone permet d’ouvrir le contenu Telegram concerné.

Selon les informations du Monde, c’est la police qui a transmis aux FAI français une demande de blocage. Cette dernière, par l’intermédiaire de sa cellule Pharos, peut, en effet, demander aux FAI de bloquer certains sites, notamment pédopornographiques, et de rediriger les internautes voulant s’y connecter vers une page d’information du ministère de l’intérieur.

Bourde

Sauf que le blocage demandé ici s’est appliqué à l’intégralité des adresses « t.me » et concernait donc l’ensemble des liens vers le réseau social Telegram, y compris tous ceux qui n’ont rien à voir avec des contenus pédopornographiques. Certains utilisateurs voulant utiliser une URL « t.me » samedi matin étaient ainsi dirigés vers la page du ministère censée s’afficher en cas de tentative d’accès à un contenu pédocriminel bloqué. D’autres voyaient leur requête ne jamais aboutir.

Sollicitée, la police confirme avoir voulu bloquer des sites pédopornographiques relayés dans des messages sur le réseau social Telegram. Après avoir enjoint l’hébergeur des sites de retirer les contenus, ce qu’il n’a pas fait entièrement, la police a, comme le prévoient les textes, voulu procéder au blocage. Mais une « erreur individuelle a conduit à une demande de blocage plus large que nécessaire », qui a touché Telegram, fait savoir au Monde un porte-parole de la police nationale. La police a ensuite contacté les FAI pour faire lever le blocage.

Une bourde qui fait tache, alors que le projet de loi pour sécuriser l’espace numérique, présenté cette semaine par le secrétaire d’Etat au numérique, Jean-Noël Barrot, contient justement plusieurs dispositions visant à étendre ce mécanisme.

Le gouvernement espère ainsi qu’il puisse s’appliquer aux sites pornographiques ne vérifiant pas suffisamment l’âge de leurs visiteurs, aux sites permettant de réaliser des arnaques et à ceux diffusant des médias soumis à des mesures d’interdiction d’émettre.

La police dispose depuis 2014 du pouvoir de bloquer des sites Web pour des faits de pédopornographie et d’apologie du terrorisme. Elle doit d’abord faire parvenir une demande de suppression du contenu à l’éditeur du site. S’il ne donne pas suite, la police peut alors ordonner le blocage aux FAI. En 2022, la police avait demandé le blocage de 381 sites à caractère pédopornographique.

Martin Untersinger et Florian Reynaud

Veesion, la start-up illégale qui surveille les supermarchés

Posted on4 juillet 2023

Nous en parlions déjà il y a deux ans : au-delà de la surveillance de nos rues, la surveillance biométrique se déploie aussi dans nos supermarchés pour tenter de détecter les vols en rayons des magasins. À la tête de ce business, la start-up française Veesion dont tout le monde, même le gouvernement, s’accorde sur l’illégalité du logiciel mais qui continue à récolter des fonds et des clients en profitant de la détresse sociale

La surveillance biométrique de l’espace public ne cesse de s’accroître. Dernier exemple en date : la loi sur les Jeux Olympiques de 2024 qui vient légaliser officiellement la surveillance algorithmique dans l’espace public pour certains événements sportifs, récréatifs et culturels (on en parlait ici). En parallèle, des start-up cherchent à se faire de l’argent sur la surveillance d’autres espaces, notamment les supermarchés. L’idée est la suivante : utiliser des algorithmiques de surveillance biométrique sur les caméras déjà déployées pour détecter des vols dans les grandes surfaces et alerter directement les agents de sécurité.

L’une des entreprises les plus en vue sur le sujet, c’est Veesion, une start-up française dont on parlait déjà il y a deux ans (ici) et qui vient de faire l’objet d’un article de Streetpress. L’article vient rappeler ce que LQDN dénonce depuis plusieurs années : le logiciel déjà déployé dans des centaines de magasins est illégal, non seulement selon l’avis de la CNIL, mais aussi, selon nos informations, pour le gouvernement.

Le business illégal de la détresse sociale

Nous avions déjà souligné plusieurs aspects hautement problématiques de l’entreprise. En premier lieu, un billet publié par son créateur, soulignant que la crise économique créée par la pandémie allait provoquer une augmentation des vols, ce qui rendait nécessaire pour les magasins de s’équiper de son logiciel. Ce billet avait été retiré aussitôt notre premier article publié.

D’autres déclarations de Veesion continuent pourtant de soutenir cette idée. Ici, c’est pour rappeler que l’inflation des prix, en particulier sur les prix des aliments, alimenteraient le vol à l’étalage, ce qui rend encore une fois nécessaire l’achat de son logiciel de surveillance. Un business s’affichant donc sans gêne comme fondé sur la détresse sociale.

Au-delà du discours marketing sordide, le dispositif est clairement illégal. Il s’agit bien ici de données biométriques, c’est-à-dire de données personnelles relatives notamment à des caractéristiques « physiques ou « comportementales » (au sens de l’article 4, par. 14 du RGPD) traitées pour « identifier une personne physique de manière unique » (ici, repérer une personne en train de voler à cause de gestes « suspects » afin de l’appréhender individuellement, et pour cela analyser le comportement de l’ensemble des client·es d’un magasin).

Un tel traitement est par principe interdit par l’article 9 du RGPD, et légal seulement de manière exceptionnelle et sous conditions strictes. Aucune de ces conditions n’est applicable au dispositif de Veesion.

La Quadrature du Net n’est d’ailleurs pas la seule à souligner l’illégalité du système. La CNIL le redit clairement (à sa façon) dans l’article de Streetpress quand elle souligne que les caméras de Veesion « devraient être encadrées par un texte » . Or ce texte n’existe pas. Elle avait exprimé le même malaise au Monde il y a quelques mois, quand son directeur technique reconnaissait que cette technologie était dans un « flou juridique » .

Veesion est d’ailleurs tout à fait au courant de cette illégalité. Cela ressort explicitement de sa réponse à une consultation de la CNIL obtenu par LQDN où Veesion s’alarme de l’interprétation du RGPD par la CNIL qui pourrait menacer « 500 emplois en France » .

Plus surprenant, le gouvernement a lui aussi reconnu l’illégalité du dispositif. Selon nos informations, dans le cadre d’une réunion avec des professionnels du secteur, une personne représentant le ministère de l’Intérieur a explicitement reconnu que la vidéosurveillance algorithmique dans les supermarchés était interdite.

La Technopolice rapporte toujours autant d’argent

Tout cela ne semble pas gêner l’entreprise. Sur leur site , ils annoncent équiper plus de 2500 commerçants, dans 25 pays. Et selon les informations de Streetpress, les clients en France sont notamment Leclerc, Carrefour, G20, Système U, Biocoop, Kiabi ou encore la Fnac. Des enseignes régulièrement fréquentées donc par plusieurs milliers de personnes chaque jour.

Autre point : les financements affluent. En mars, la start-up a levé plus de 10 millions d’euros auprès de multiples fonds d’investissement. Sur le site Welcome to the Jungle, la start-up annonce plus de 100 salariés et plus de 5 millions de chiffre d’affaires.

La question que cela pose est la même que celle que nous rappelons sur ce type de sujets depuis 3 ans : que fait la CNIL ? Pourquoi n’a-t-elle pas fait la moindre communication explicite sur ce sujet ? Nous avions fait il y a deux ans une demande de documents administratifs à cette dernière, elle nous avait répondu qu’il s’agissait d’un dossier en cours d’analyse et qu’elle ne pouvait donc pas nous transmettre les documents demandés. Rien depuis.

Une telle inaction a des conséquences lourdes : outre la surveillance illégale imposée sur plusieurs milliers de personnes, la CNIL vient ici normaliser le non-respect du RGPD et faciliter la création d’une industrie de la Technopolice en laissant les investissements affluer.

Comment encore considérer la CNIL comme une autorité de « protection » de nos libertés quand la communication qui en émane sur ce sujet est qu’elle veut « fédérer et accompagner les acteurs innovants de l’écosystème IA en France et en Europe » ?

Surveillance illégale, détresse sociale, financement massif… Toutes les Technopolices se ressemblent, qu’elles soient en supermarché ou sur notre espace public. Mais pour une fois que tout le monde est d’accord sur l’illégalité d’une de ses représentantes, espérons que Veesion soit arrêtée au plus vite.

« La France est l’un des pays les plus envoûtés par le mysticisme technosécuritaire »

Entretien avec Olivier Tesquet

Activation des objets connectés à distance, surveillance des journalistes, expérimentation de la reconnaissance faciale… Depuis quelques mois, les projets de lois liberticides se multiplient. Et même si tous n’aboutissent pas, le discours technosécuritaire est de plus en plus hégémonique. Entretien.

Début juin, le Sénat adoptait l’article 3 de la loi Justice, qui prévoit la possibilité d’activer à distance des objets connectés (téléphone, ordinateur…) pour récupérer des informations dans le cadre d’enquêtes1. Dans la foulée, il tentait de repêcher des dispositions sécuritaires écartées de la loi JO 20242 en validant, le 12 juin, l’expérimentation sur trois ans de la reconnaissance faciale en temps réel dans l’espace public. Au niveau européen, le Media Freedom Act, officiellement en faveur de la liberté de la presse, permettra de piéger les téléphones des journalistes au moyen de logiciels espions afin de les surveiller3. On fait le point avec Olivier Tesquet, journaliste à Télérama spécialisé dans les technologies numériques et la surveillance, auteur de plusieurs ouvrages sur le sujet4.

On pensait avoir échappé à la reconnaissance faciale, écartée de la loi JO 2024. Elle revient par une autre porte ?

« Dans le cadre de la loi JO 2024, la ligne rouge concernant la reconnaissance faciale s’était révélée plus difficile à franchir que prévu pour le gouvernement. En adoptant cette proposition de loi visant à créer un cadre d’expérimentation pour la reconnaissance faciale, le Sénat prépare le terrain en fabriquant de l’acceptabilité. Et même si cette proposition de loi a peu de chance d’être votée par l’Assemblée, c’est un calcul stratégique : on banalise les discours, les arguments et les technologies en question, on fabrique du consentement et l’on prépare les esprits au déploiement de ces technologies comme s’il était inéluctable.

« Quand les technologies sont sorties de la boîte, c’est extrêmement difficile de les y remettre »

C’était la même histoire avec l’usage des drones dans le cadre du maintien de l’ordre. L’ancien préfet de police Didier Lallement les utilisait sur le terrain, le Conseil d’État a d’abord dit “non”, suivi par le Conseil constitutionnel qui a censuré ces dispositions dans la loi Sécurité globale. Mais ils ont finalement réussi à en légaliser l’usage par le biais d’un autre véhicule législatif, la loi sur la responsabilité pénale. Il y a un “effet cliquet” : quand les technologies sont sorties de la boîte, c’est extrêmement difficile de les y remettre. »

Les arguments semblent toujours les mêmes : la lutte antiterroriste, et la nécessité d’encadrer des technologies « déjà-là ».

« Ce sont deux éléments assez stables de l’obsession technosécuritaire : la légalisation a posteriori, où on légifère à l’envers afin d’autoriser des technologies déjà en usage ; et la lutte contre le terrorisme. Ce sont deux arguments-massues auxquels il est très difficile de s’opposer, et qui sont utilisés quasi systématiquement lorsqu’il s’agit du déploiement de technologies sécuritaires, alors même que rien ne prouve qu’elles soient efficaces par rapport à leurs objectifs.

« On prépare les esprits au déploiement de ces technologies comme s’il était inéluctable »

Ce qui est encore plus curieux, c’est que moins une technologie fonctionne, plus on va tenter de la perfectionner et plus on va la déployer dans des versions encore plus intrusives : on impose la vidéosurveillance partout et, face aux doutes et critiques, on passe à la vidéosurveillance algorithmique puis à la reconnaissance faciale, sans savoir si elles sont efficaces. On est sortis du domaine de la rationalité scientifique pour rentrer dans celui de l’irrationalité quasi religieuse. »

À qui profite cette croyance dans le pouvoir magique de la technologie ?

« Elle profite évidemment aux industriels qui fabriquent ces technologies, qui en tirent d’importants bénéfices5. Ensuite, pour les politiques, le discours sécuritaire est devenu un rituel d’accession au pouvoir, un élément stable de leurs programmes, car c’est un discours rémunérateur. L’actuel maire de Nice, Christian Estrosi, en est un exemple chimiquement pur : il a fait campagne sur la sécurité, a fait de Nice une ville pionnière dans la vidéosurveillance, et entretient ce discours comme une forme de rente lui garantissant une longévité politique. C’est le genre de programme qui permet de prétendre agir, avec des installations visibles et valorisables, et qu’importe si la technologie n’a pas fait la preuve de son efficacité, voire a fait la démonstration de son inefficacité. »

Dans l’émission *C Ce soir* à laquelle tu as participé, la spécialiste des enjeux géopolitiques des technologies Asma Mallah expliquait qu’on est passé d’un droit à la sûreté à un droit à la sécurité6. Quelle est la différence ?

« La Déclaration des droits de l’homme et du citoyen de 1789 affirme le droit à la sûreté, c’est-à-dire le droit d’être protégé contre l’arbitraire de l’État. Depuis une quarantaine d’années, celui-ci a été travesti par les gouvernements successifs, droite et gauche confondues, en “droit à la sécurité”, qui est la possibilité pour l’État de violer de manière arbitraire les libertés des citoyens. »

Dans les considérants de la dissolution des Soulèvements de la Terre, on retrouve notamment pour argument le fait de laisser son téléphone mobile chez soi ou de le mettre en « mode avion » afin d’éviter le bornage. Est-il devenu interdit de se protéger ?

« C’est un exemple supplémentaire de la manière dont l’État utilise la notion floue de terrorisme à des fins politiques ; ici, la répression contre les mouvements écologistes qui, même si elle n’est pas nouvelle (rappelons-nous la débauche de moyens technologiques pour pas grand-chose à Bure), s’aggrave. On va vers une criminalisation de la furtivité : l’utilisation de certains outils, comme Tails ou une messagerie chiffrée, est considérée comme suspecte. C’est comme quand, en manifestation, apporter du sérum physiologique ou se protéger physiquement deviennent des éléments incriminants. D’un côté, le pouvoir se raidit, devient de plus en plus violent, se dote d’outils de plus en plus intrusifs ; de l’autre, on dénie aux citoyens la possibilité de se protéger contre l’arbitraire de ce pouvoir. »

Au niveau européen, le contrôle technologique des frontières semble faire exception à toute réglementation…

« Historiquement, les stratégies de surveillance de la police, même avant l’irruption de la technologie, ont toujours ciblé les catégories de population considérées comme “dangereuses” : les pauvres, les nomades, les ouvriers, les vagabonds… et aujourd’hui, les personnes exilées. Et l’Union européenne se comporte comme un laboratoire de recherche et de développement technosécuritaire, qui installe et teste littéralement in vivo ces dispositifs7 sur des personnes auxquelles on dénie déjà un certain nombre de droits fondamentaux. L’AI Act (règlement sur l’intelligence artificielle) en est un bon exemple. Adopté par le Parlement européen mi-juin afin de réglementer les systèmes de surveillance algorithmique, notamment en les classant en fonction des “risques” qu’ils posent, il renonce à agir sur les technologies sécuritaires déjà utilisées aux frontières.8 »

Mis bout à bout, tout cela dessine un contexte inquiétant. C’est comme si rien ne pouvait contrer la logique technosécuritaire à l’œuvre.

« En 2008, des personnalités de tous bords politiques s’étaient indignées du projet Edvige, qui visait à ficher les opinions politiques, syndicales et religieuses des Français à partir de l’âge de 13 ans. Aujourd’hui, même si certains tirent la sonnette d’alarme9, plus grand monde ne prend position. La digue est en train de céder, et la France fait partie des pays les plus envoûtés par cette espèce de mysticisme technosécuritaire, comme le chef de file de cette course en avant. C’est pour cela qu’il faut poser collectivement des diagnostics et imposer un débat politique – et non technique – sur ce sujet. Il faut s’organiser, faire du bruit et, comme disait Günther Anders, inquiéter son voisin comme soi-même. »

1 Le projet de loi d'orientation et de programmation de la justice (LOPJ), actuellement en discussion à l'Assemblée, prévoit notamment l'activation à distance des caméras, des micros et de la géolocalisation d'objets connectés, pour toute personne impliquée dans un crime ou délit puni d'au moins 10 ans de prison.

2 Voir « Olympiades du cyberflicage », CQFD n° 218 (mars 2023).

3 . Voir l'article d'Olivier Tesquet « L'espionnage des journalistes bientôt autorisé par une loi européenne ? », Télérama (21/06/2023).

4 Notamment À la trace (2020) et État d'urgence technologique (2021), aux éditions Premier Parallèle.

5 Voir l'article « Vidéosurveillance biométrique : derrière l'adoption du texte, la victoire d'un lobby », site La Quadrature du Net (05/04/2023).

6 . « I.A. : vers une société de surveillance ? », C Ce soir (France 5, 15/06/23).

7 Citons ItFlows (prédiction des flux migratoires) et iBorderCtrl (reconnaissance des émotions humaines lors des contrôles).

8 « “AI Act” : comment l'UE investit déjà dans des intelligences artificielles à “haut risque” pour contrôler ses frontières », Le Monde (22/06/2023).

9 Dans son rapport annuel publié mi-juin, la Commission nationale de contrôle des techniques de renseignement (CNCTR) s'inquiète des progrès de l'espionnage des milieux politiques et syndicaux. Voir l'article « Les services de renseignement s'intéressent de plus en plus aux militants », Politis (16/06/2023).

À propos du « blocage de Telegram en France »

Première rédaction de cet article le 13 mai 2023

Ce matin, bien des gens signalent un « blocage de Telegram en France ». Qu'en est-il ? Ce service de communication est-il vraiment censuré ?

En effet, la censure ne fait aucun doute. Si on teste avec les sondes RIPE Atlas, on voit (t.me est le raccourcisseur d'URL de Telegram) :

% blaeu-resolve --country FR --requested 200 --type A t.me
[149.154.167.99] : 98 occurrences 
[77.159.252.152] : 100 occurrences 
[0.0.0.0] : 2 occurrences 
Test #53643562 done at 2023-05-13T08:42:36Z

Un coup de whois nous montre que la première adresse IP, 149.154.167.99, est bien attribuée à Telegram (« Nikolai Durov, P.O. Box 146, Road Town, Tortola, British Virgin Islands ») mais que la seconde, 77.159.252.152, est chez SFR. Non seulement Telegram n'a pas de serveurs chez SFR, mais si on se connecte au site Web ayant cette adresse, on voit :

Cela ne marche pas en HTTPS (de toute façon, il y aurait eu un problème de certificat) car le serveur en question n'écoute apparemment qu'en HTTP classique.

Ce site Web est donc géré par le ministère de l'Intérieur, qui peut en effet enjoindre certains FAI de bloquer les sites pédopornographiques (depuis plusieurs années, rien de nouveau). Ici, il s'agit évidemment d'un mensonge grossier puisque Telegram n'est pas un site pédopornographique, mais un service de messagerie instantanée (qui, comme tout service de communication en ligne, peut parfois être utilisé pour des activités illégales).

La technique de censure est le résolveur DNS menteur : au lieu de relayer fidèlement les réponses des serveurs DNS faisant autorité, le résolveur ment et envoie l'adresse du serveur Web du ministère. Pourquoi est-ce que toutes les sondes RIPE Atlas ne voient pas le mensonge ? Parce que la liste des sites censurés est secrète, et que beaucoup de FAI, de réseaux locaux, de résolveurs DNS publics (comme celui de FDN mais attention, certains ont des défauts) ne reçoivent pas cette liste et ne censurent donc pas. Parmi ceux qui mettent en œuvre le blocage, il y a par exemple Orange (AS 3215) :

% blaeu-resolve  --requested 200 --as 3215 --type A t.me 
[149.154.167.99] : 35 occurrences 
[77.159.252.152] : 151 occurrences 
Test #53644573 done at 2023-05-13T09:04:06Z    

Même chez ce FAI, on notera que certaines sondes utilisent un résolveur non-menteur, par exemple un résolveur local. On trouve aussi le blocage chez des fournisseurs plus petits comme Adista :

% blaeu-resolve  --requested 200 --as 16347  --type A t.me
[149.154.167.99] : 3 occurrences 
[77.159.252.152] : 1 occurrences 
Test #53644745 done at 2023-05-13T09:08:42Z

Pourquoi ce blocage alors que, on l'a vu, Telegram n'est pas, contrairement à l'accusation diffamatoire du ministère, un service de distribution d'images pédopornographiques ? Notons d'abord que le domaine principal, vers lequel redirige https://t.me/ n'est pas touché :

% blaeu-resolve --country FR --requested 200 --type A telegram.org
[149.154.167.99] : 197 occurrences 
[0.0.0.0] : 2 occurrences 
Test #53644470 done at 2023-05-13T09:02:00Z

Il s'agit d'une bavure, comme ça s'est déjà produit, et comme confirmé par « un porte-parole de la police nationale » cité par Le Monde. Gageons que le ministère ou les FAI ne communiqueront jamais et n'expliqueront rien.

Le service a été rétabli quelques heures après :

% blaeu-resolve --country FR --requested 200 --type A t.me
[149.154.167.99] : 199 occurrences 
[ERROR: SERVFAIL] : 1 occurrences 
Test #53674858 done at 2023-05-13T20:18:14Z

Un point important est la gestion des données personnelles. Le code de la page du site Web du ministère contient :

<script type="text/javascript">

    var tag = new ATInternet.Tracker.Tag();

tag.page.set({
        name:'pedo-pornographie',
        level2:'27'
    });
    tag.dispatch();

</script>

Ce petit programme en JavaScript enregistre donc les visites, auprès du service « ATInternet », en étiquetant tout visiteur, pourtant bien involontaire, comme pédo-pornographe. (Ceci, en plus de l'enregistrement habituel de l'adresse IP du visiteur dans le journal du serveur HTTP.)

Un petit point technique amusant pour finir : le serveur du ministère (celui hébergé chez SFR) n'a pas IPv6 (on est en 2023, pourtant) donc les résolveurs menteurs ne savent pas trop quoi renvoyer :

% blaeu-resolve --country FR --requested 200 --type AAAA t.me       
[2001:67c:4e8:f004::9] : 104 occurrences 
[::1] : 78 occurrences 
[] : 16 occurrences 
[::] : 1 occurrences 
[ERROR: SERVFAIL] : 1 occurrences 
Test #53646044 done at 2023-05-13T09:34:15Z 

(2001:67c:4e8:f004::9 est la vraie adresse IP de Telegram, ::1 est l'adresse de la machine locale.)

Articles dans les médias :    

• Article du Monde (derrière un cookie wall),
• Article de BFM TV,
• Article de NextInpact.

Prompt Armageddon : le troisième récit.

Olivier Ertzscheid 20 juin 2023

En 2010 The Economist faisait sa Une autour du concept de “Data Deluge”. Jamais en 13 ans le déluge ne cessa. Il irrigua chaque pan de nos vies, se déclina dans une ininterrompue litanie d’applications et de métriques, alimenta l’ensemble des politiques publiques, constitua la part émergée de certaines au travers de l’Open Data, fit le lit de tous les cauchemars de surveillance, constitua l’unique et inique horizon de tant de rêves de maîtrise et d’anticipation.

Tout fut “Data” : Data-journalisme, Data-visualisation, Data-gouvernance … Tant de données qui ne sont qu’autant “d’obtenues” comme l’expliquait Bruno Latour, expliquant aussi pourquoi refusant de voir qu’elles n’étaient que cela, nous en avons été si peu capables d’en obtenir autre chose que quelques oracles pour d’improbables ou opportuns cénacles.

Tant de données mais si peu de possibilités de les manipuler au sens étymologique du terme. Il leur manquait en vrai une interface à façon. Cette interface que ChatGPT a révélé en grand et en public, et donc au “grand public”. La plus simple parce que paradoxalement la plus insondablement complexe en termes de combinatoire pour elle qui n’est qu’une prédictibilité statistique. Rivés à l’affichage écran des scripts que renvoie ChatGPT comme devant un bandit manchot de casino, nous nourrissons la croyance probabiliste que quelque chose de vrai, de réfléchi ou de sincère puisse s’exprimer. Et nous voyons la langue s’agencer devant nous. Le plus souvent pour ne rien dire, mais en le disant bien. Le plus souvent pour ne faire que réécrire ce qui est lu ailleurs en le réagençant à peine, mais en l’agençant bien et sans jamais nous citer ces ailleurs où la combinatoire s’abreuve.

L’interface de la langue, du prompt, du script existait déjà dans les moteurs de recherche au travers des requêtes, y compris vocales. Mais elle ne construisait pas un écho de dialogue. Elle était un puits plutôt qu’un miroir. Et surtout, elle ne le faisait pas sous nos yeux. Nous étions comme en voiture appuyant sur l’accélérateur et constatant l’augmentation de vitesse ; avec ChatGPT (et consorts) nous sommes au coeur du moteur, nous observons l’accélération en même temps que nous la ressentons et gardons l’impression d’un sentiment de commande et de contrôle.

L’apparence d’un miracle ludique et païen, voilà ce que sont ces interfaces langagières et ces artefacts génératifs. Qui se conjuguant demain aux autres interfaces thaumaturges qui mobilisent et équipent à la fois nos regards et nos gestes en plus de notre langue, nous donneront une puissance dont l’illusion n’aura jamais été aussi forte et claire, et l’emprise sur le monde aussi faible et déréalisante.

Data Storytelling et Prompt Clash.

A l’image de ce qui se produisit dans la sphère politique depuis le tout début des années 2010 – Barack Obama est élu pour la 1ère fois en 2008 -, avec le passage d’une ère du storytelling (basé entre autres sur de l’analyse de données) à une ère du clash (reposant sur une maîtrise rhétorique des discours médiatiques), c’est désormais l’ensemble de l’écosystème des discours médiatiques mais aussi d’une partie de plus en plus significative de nos interactions sociales avec l’information qui nous mène d’une société de la “data” à une société du “prompt” et du “script”. Une ère post-moderne puisqu’au commencement était la ligne de commande et que désormais nous commandons en ligne, des pizzas comme des dialogues et des interactions sociales.

Le Data-Deluge était à la fois un concept écran et un concept mobilisateur. Qui nous installait dans une posture de négociation impossible : puisque les données étaient partout, en tout cas supposément, alors il fallait accepter qu’elles gouvernent nos vies et la décision politique dans l’ensemble de ses servitudes économiques.

Après moi le déluge. Et après le déluge ?

Résumons : avant les “Data” il y avait le “moi”, qui préparait leur avènement. Un web dont le centre de gravité ne fut plus celui des documents mais des profils, dans lequel l’être humain était un document comme les autres, un web “social par défaut”, où l’egotrip devînt une puissance bien avant que le capitalisme charismatique des influenceurs et influenceuses ne devienne une catharsis de batteleurs publicitaires. Le moi puis la Data. Après moi le déluge.

Puis après le data-deluge, vînt l’infocalypse. L’apocalypse du faux. Infocalypse Now.

Et désormais partout des “prompts” et des “scripts” (pour ChatGPT ou pour d’autres) qui nourrissent les machines autant qu’ils épuisent le langage. Que nous disent ces passages de saturation médiatique et informationnelle des discours autour de la “Data”, puis de “l’infocalypse” puis du “prompt” mais aussi des divers “Métavers” ?

Prompt Armaggedon.

Dans mon article précédent au sujet du casque “Apple Vision Pro” j’expliquais que par-delà les avancées technologiques il s’agissait avant tout de fournir une fonction support à un monde devenu littéralement insupportable.

Grégory Chatonsky formule l’hypothèse selon laquelle “L’IA a permis à la Silicon Valley de se relancer politiquement. Dans un contexte d’extinction planétaire, les technologies apparaissaient de plus en plus problématiques. Il lui a suffit de métaboliser l’extinction dans l’IA elle-même, en prétendant que cette technologie constituait le plus grande danger, pour continuer coûte que coûte sa production idéologique.”

Les technologies liées ou associées à diverses formes “d’intelligence artificielle” nous promettent un méta-contrôle de mondes qui ne sont ni le monde, ni notre monde. Elles poussent le curseur jusqu’à l’acceptation de l’idée que ce méta-contrôle nous dispense de notre puissance d’agir sur le réel sans entraîner de culpabilité mortifère puisqu’il s’agirait de s’inscrire dans une sorte d’élan vital technologique (bisous #Vivatech)).

On a souvent expliqué que deux grands récits technologiques s’affrontaient : celui d’une émancipation par la technique d’une part (le solutionnisme technologique), et celui d’un Armaggedon de robots ou d’IA tueuses d’autre part (en gros hein). Et que ces récits étaient exclusifs l’un de l’autre. Il est d’ailleurs intéressant de voir dans ce cadre l’émergence programmatique de figures troubles comme celle d’Elon Musk, qui sont des go-between capables d’affirmer tout à la fois que l’IA est la plus grande menace pour l’humanité et d’en faire le coeur du développement technologique de ses diverses sociétés et produits.

Il semble aujourd’hui que ces récits non seulement s’entrecroisent mais qu’ils sont plus fondamentalement et politiquement au service d’un troisième récit. Ce troisième récit est celui d’un retrait du monde. Pour le dire trivialement, puisqu’il est une hypothèse que la technique nous sauve, puisqu’une autre veut qu’elle nous condamne, et puisqu’il semble qu’il n’y ait à l’avance aucun scénario fiable d’équilibre dans les décisions à prendre, alors chaque développement technologique indépendamment de sa nature de “pharmakon” (il est à la fois remède et poison) comporte, affiche, vend et décline en lui la possibilité d’un retrait du monde qui travaille son acceptabilité au travers de promesses de puissance singulières. Le Métavers, les casques de réalité virtuelle ou augmentée, mais aussi ces LLM (Large Language Models) sont autant de ces promesses de puissances singulières. Or plus les Big Tech nous fournissent des environnements et des interfaces thaumaturges, et plus ils travaillent à nous installer dans une forme de déprise. Plus nous “commandons” de choses et de réalités alternatives, virtuelles ou mixtes, plus ces commandes passent par chacun de nos sens (toucher, vue, voix), plus les recherches avancent pour faire encore reculer cette dernière interface possible que constitue notre cerveau ou les ondes cérébrales, et moins nous sommes en prise sur le réel.

Le premier grand récit des technologies numériques consiste à prôner un solutionnisme suprémaciste, qui écrase tout horizon de contestation ou de débat soit au motif d’une vision fantasmée d’un “progrès” oublieux de ses externalités négatives, soit (le plus souvent) pour des raisons purement économiques de maintien d’effets de rente qui relèguent toute considération éthique à la dimension d’un essai clinique piloté par Didier Raoult.

Le second grand récit des technologies numériques est un renouvellement du Luddisme mâtiné de récits d’un effondrement dans lequel chaque pan de technologie n’aurait, là aussi de manière essentiellement caricaturale, que vocation à se retourner contre tout ou partie de l’humanité ou, de manière plus vraisemblable, la condamnerait à surexploiter le même cycle qui conduit déjà au dépassement des limites planétaires.

Le troisième grand récit des technologies numériques est un méta-récit. Une sorte de théorie des cordes (version Wish), dans laquelle le rapport de puissance s’inverse. Après un temps où les technologies numériques devaient permettre d’alléger notre cadre et nos tâches cognitives en s’y substituant (externalités mémorielles) ; après un temps où beaucoup d’entre nous parmi les plus pauvres, les plus fragiles, les moins qualifiés finirent par devenir les supplétifs à bas coût de technologies initialement présentées comme capables de les émanciper et qui ne firent que les aliéner (en gros le Digital Labor) ; nous voilà désormais dans un système capitalistique à l’équilibre mortifère où l’invisibilisation des processus extractifs, tant sur le plan des données que sur celui des sujets, est à son apogée. Il s’agit pour lui maintenant de décliner son extractivisme à l’ensemble des réalités alternatives existantes et accessibles (augmentée, virtuelle, mixte) en nous mettant en situation de pouvoir épuiser jusqu’à la langue elle-même au travers de prompts qui tendent à fabriquer une inépuisable fatrasie de textes dont la seule vocation n’est plus que de nourrir les générateurs qui permettent d’en produire de nouveaux. Jusqu’à épuisement. Ces réalités, augmentées, virtuelles et mixtes, sont tout autant fossiles que les énergies du monde qui s’épuise. Peut-être le sont-elles même encore davantage.

One More Thing : Interfaces Humains Informations.

Les IHM, “interfaces homme-machine” constituent un champ de recherche à part entière, qui mobilise des notions venant aussi bien de l’ergonomie, du design, de l’informatique, ou de la psychologie. Il nous faut réfléchir à la constitution d’un champ de savoir autour de ce que l’on pourrait appeler les IHI, l’analyse des interfaces (sociales, techniques, cognitives) entre l’humain (multi-appareillé ou non) et l’Information (dans sa diffusion, ses relais et sa compréhension). Un champ dans lequel les “sciences de l’information et de la communication” ont toute leur place mais ne sont pas seules légitimes. Les nouvelles “humanités numériques” sont avant tout informationnelles et culturelles.

Constamment le numérique oblitère des espaces de négociation et de recours. Les lois les plus structurantes mises en oeuvre ne sont pas celles qui tendent à le réguler mais celles qui le légitiment comme instance de contrôle. Les déploiements les plus structurants qui sont portés par la puissance publique ne visent pas pas rapprocher et à faciliter mais à éloigner et à suspecter. Le numérique dans son agrégation mortifère autour d’intérêts privés et d’architectures techniques toxiques à échoué à devenir une diplomatie de l’intérêt commun.

Et si la diplomatie est une théorie des relations entre les États, alors il faut que le champ des IHI, des “interfaces humain information”, devienne une diplomatie qui soit une théorie des relations entre les états de l’information et de sa circulation dans le champ social comme dans celui de la perception individuelle.

California man's business is frustrating telemarketing scammers with chatbots

Will you choose Salty Sally or Whitey Whitebeard? It doesn't matter; they're both intolerable

Richard Currie Mon 3 Jul 2023 16:23 UTC

Every week there seems to be another cynical implementation of AI that devalues the human experience so it is with a breath of fresh air that we report on a bedroom venture that uses GPT-4 technology to frustrate telemarketers.

"Fight back against annoying telemarketers and evil scammers!" the Jolly Roger Telephone Company rails on its website. "Our robots talk to telemarketers so humans don't have to!"

While no one can put a price on slamming the phone down on a call center worker, some among us might get a perverse joy out of listening to them squirm under the non sequiturs of AI. And it seems to be working for Jolly Roger, which has thousands of customers subscribed for $23.80 a year.

The company has a number of bots at its disposal all with unique voices and quirks that makes them utterly infuriating to speak to from the original Jolly Roger, based on the voice of Californian founder Roger Anderson, to distracted mother Salty Sally, who keeps wanting to talk about a talent show she won, to feisty senior citizen Whitey Whitebeard and more. Samples of toe-curling conversations are all over Jolly Roger's website.

"Oh jeez, hang on, there's a bee on me, hang on," Jolly Roger tells one scammer. "There's a bee on my arm. OK, you know what? You keep talking, I'm not gonna talk, though. You keep talking, say that part again, and I'm just gonna stay quiet because of the bee."

Sprinkle in gratuitous salvos of "Suuuure" and "Mhm" and "Sorry, I was having trouble concentrating because you're EXACTLY like somebody I went to high school with so, sorry, say that part again." Five minutes later you have a cold caller pulling their hair out and hanging up.

Customers provide the phone numbers they want to protect and the subscription activates immediately. Users login to the website where they can set up whichever bot or bots they want to employ. Then, when a telemarketer calls, the user is able to merge the call with a specified or random bot. The customer can then listen to the fruits of their labor in Jolly Roger's "Pirate Porthole."

YouTubers like Kitboga have made a name for themselves by infuriating and hacking computer-based scammers in real time while they try to swindle him over the telephone, but now regular folk can do similar without having to lift a finger.

At a time when AI grifters are trying to convince the gullible to flood the ebook market with ChatGPT-generated joke books, it is heartening to see something related that is both funny and actually effective.

Reddit: Killing a Giant

Profile picture. Bill | living life in SF • Jun 16

It's understandable to be defeatist about the recent Reddit protests. The recent subreddit blackouts weren't 100% popular and similar attempts to migrate away from Twitter have hit road bumps. The network effect of giant platforms seem insurmountable, but giants have fallen before and will continue to do so. Having some recent experience in the industry, I wanted to give a fact-based analysis and answer to: how do you kill a giant and what does it look like when it falls?

If you're confused about what's happening on Reddit, check out this link.

To start, I want to talk about "migrations" from platforms, and how they often aren't what they seem. It's easy to think of these giants dying overnight, because to us they essentially do. One day, we visited MySpace or Digg for the last time, and then never looked back. However, the data says otherwise: killing a giant takes time.

In 2010, Digg introduced v4 which completely changed the UI and added a lot of features that users hated. In hindsight, this was the downturn for Digg, but at the time, the story was a bit more complicated.

After the launch of v4, Digg traffic did drop dramatically. However, one year after launch, Digg still had 8.5 million monthly US visitors compared to Reddit's 13.7 million monthly US vistors. According to traffic estimates, Reddit traffic didn't surpass Digg traffic until December 2011 over one year later after v4's launch.

Similarly, Facebook surpassed MySpace in unique visitors from the US in 2009, but MySpace still had 36 million users in 2013. The data says the same thing: giants take time to fall.

At the time, it's very likely that people visited both Reddit and Digg at the same time. At the end of the day, the people that continued to visit Digg did not end up saving Digg. If and when Reddit begins falling, checking it out a few times a day won't save it either.

Also, when Digg's traffic fell, Reddit traffic did not rise the same amount. A lot of people who disliked Digg's change simply moved on altogether, they didn't move to Reddit (it was a bit of a hard sell for some). Ultimately, Reddit didn't succeed Digg by attracting all the old Digg users, but by building their own community with their own users.

So how do you attract your own users? Successful platforms build a beachhead with a niche. Reddit was the underdog focused on tech, and Facebook was the underdog for college students. The competitor needs to be "the" place for some community. A great example of this is Discord, where for certain niches "the" community exists only on Discord.

Eventually, once a large enough network effect is established and Reddit continues to implement habit-breaking changes on their platform, people will start to choose and recommend the alternative option over Reddit. Thus the giant dies.

One corollary to building a niche, is that cargo-culting Reddit will likely not work. That is to say, simply creating the same communities from Reddit in your new alternative and hoping the content creators come is not a winning strategy. Community needs to be grown organically, and simply copying Reddit will not work.

Similarly, I don't think you need to have an exact feature match to kill Reddit. You see this a lot when discussing the Reddit alternatives: "Oh I'd use it if it has a mobile app," "oh I'd use it if it looks more like Reddit." If you have the community people will come, and they will get over the fact that you don't have a mobile app. If you don't have the community, no amount of cool features will get people to come over and stay.