The A.I. Surveillance Tool DHS Uses to Detect ‘Sentiment and Emotion’

Joseph Cox Joseph Cox Aug 24, 2023

Internal DHS and corporate documents detail the agency’s relationship with Fivecast, a company that promises to scan for “risk terms and phrases” online.

Customs and Border Protection (CBP), part of the Department of Homeland Security, has bought millions of dollars worth of software from a company that uses artificial intelligence to detect “sentiment and emotion” in online posts, according to a cache of documents obtained by 404 Media.

CBP told 404 Media it is using technology to analyze open source information related to inbound and outbound travelers who the agency believes may threaten public safety, national security, or lawful trade and travel. In this case, the specific company called Fivecast also offers “AI-enabled” object recognition in images and video, and detection of “risk terms and phrases” across multiple languages, according to one of the documents.

Marketing materials promote the software’s ability to provide targeted data collection from big social platforms like Facebook and Reddit, but also specifically names smaller communities like 4chan, 8kun, and Gab. To demonstrate its functionality, Fivecast promotional materials explain how the software was able to track social media posts and related Persons-of-Interest starting with just “basic bio details” from a New York Times Magazine article about members of the far-right paramilitary Boogaloo movement. 404 Media also obtained leaked audio of a Fivecast employee explaining how the tool could be used against trafficking networks or propaganda operations.

The news signals CBP’s continued use of artificial intelligence in its monitoring of travelers and targets, which can include U.S. citizens. In May, I revealed CBP’s use of another AI tool to screen travelers which could link peoples’ social media posts to their Social Security number and location data. This latest news shows that CBP has deployed multiple AI-powered systems, and provides insight into what exactly these tools claim to be capable of while raising questions about their accuracy and utility.

“CBP should not be secretly buying and deploying tools that rely on junk science to scrutinize people's social media posts, claim to analyze their emotions, and identify purported 'risks,'” Patrick Toomey, deputy director of the ACLU's National Security Project, told 404 Media in an email.

404 Media obtained the documents through Freedom of Information Act requests with CBP and other U.S. law enforcement agencies.

One document obtained by 404 Media marked “commercial in confidence” is an overview of Fivecast’s “ONYX” product. In it Fivecast says its product can be used to target individuals or groups, single posts, or events. As well as collecting from social media platforms big and small, Fivecast users can also upload their own “bulk” data, the document says. Fivecast says its tool has been built “in consultation” with Five Eyes law enforcement and intelligence agencies, those being agencies from the U.S., United Kingdom, Canada, Australia, and New Zealand. Specifically on building “person-of-interest” networks, the tool “is optimized for this exact requirement.”

Related to the emotion and sentiment detection, charts contained in the Fivecast document include emotions such as “anger,” “disgust,” “fear,” “joy,” “sadness,” and “surprise” over time. One chart shows peaks of anger and disgust throughout an early 2020 timeframe of a target, for example.

The document also includes a case study of how ONYX could be used against a specific network. In the example, Fivecast examined the Boogaloo movement, but Fivecast stresses that “our intent here is not to focus on a specific issue but to demonstrate how quickly Fivecast ONYX can discover, collect and analyze Risks from a single online starting point.”

That process starts with the user inputting Boogaloo phrases such as “civil war 2.” The user then selects a discovered social media account and deployed what Fivecast calls its “‘Full’ collection capability,” which “collects all available content on a social media platform for a given account.” From there, the tool also maps out the target’s network of connections, according to the document.

Lawson Ferguson, a tradecraft advisor at Fivecast, previously showed an audience at a summit how the tool could be used against trafficking networks or propaganda operations. “These are just examples of the kind of data that one can gather with an OSINT tool like ours,” he said. Jack Poulson, from transparency organization Tech Inquiry, shared audio of the talk with 404 Media.

Ferguson said users “can train the system to recognize certain concepts and types of images.” In one example, Ferguson said a coworker spent “a huge amount of time” training Fivecast's system to recognize the concept of the drug oxycontin. This included analyzing “pictures of pills; pictures of pills in hands.”

Fivecast did not respond to a request for comment.

CBP’s contracts for Fivecast software have stretched into the millions of dollars, according to public procurement records and internal CBP documents obtained by 404 Media. CBP spent nearly $350,000 in August 2019; more than $650,000 in September 2020; $260,000 in August 2021; close to $950,000 in September 2021; and finally almost $1.17 million in September 2022.

CBP told 404 Media in a statement that “The Department of Homeland Security is committed to protecting individuals’ privacy, civil rights, and civil liberties. DHS uses various forms of technology to execute its mission, including tools to support investigations related to threats to infrastructure, illegal trafficking on the dark web, cross-border transnational crime, and terrorism. DHS leverages this technology in ways that are consistent with its authorities and the law.”

In the context of why CBP needs to buy Fivecast’s software, the internal CBP documents point to several specific parts of the agency. They are the Office of Field Operations (OFO), the main bulk of CBP which enforces border security; the National Targeting Center (NTC) based out of Virginia which aims to catch travelers and cargo that the agency believes threaten the country’s security; the Counter Network Division (CND) which is part of the NTC; and finally the Publicly Available Information Group (PAIG), which focuses on data such as location information according to other documents I’ve obtained previously.

Yahoo News reported in 2021 that the CND has gathered information on a range of journalists. The Office of the Inspector General made a criminal referral for an official who worked with CND for their role in the monitoring, but they were not charged. A supervisor of that division previously told investigators that at CND “We are pushing the limits and so there is no norm, there is no guidelines, we are the ones making the guidelines.”

“The public knows far too little about CBP's Counter Network Division, but what we do know paints a disturbing picture of an agency with few rules and access to an ocean of sensitive personal data about Americans,” Toomey from ACLU added. “The potential for abuse is immense.”

La Cnil saisie d’un recours collectif contre la « technopolice »

La Quadrature du Net a recueilli les mandats de 15 248 personnes pour déposer trois plaintes contre les principaux outils de surveillance policière déployés un peu partout en France. Elle demande notamment le démantèlement de la vidéosurveillance et l’interdiction de la reconnaissance faciale.
Jérôme Hourdeaux 25 septembre 2022 à 10h23

C’est un recours d’une ampleur inédite qui a été déposé samedi 24 septembre auprès de la Cnil (Commission nationale de l’informatique et des libertés) : plus de 15 248 personnes regroupées pour contester peu ou prou l’intégralité du dispositif techno-sécuritaire déployé par le gouvernement ces 20 dernières années.

Pendant presque six mois, l’association La Quadrature du Net a battu le rappel pour récolter les mandats de citoyens et citoyennes souhaitant s’opposer à ce qu’elle a baptisé la « technopolice », terme désignant la vidéosurveillance, les dispositifs algorithmiques de surveillance ou encore la reconnaissance faciale.

Au total, trois plaintes ont été préparées par La Quadrature du Net et déposées symboliquement samedi soir en clôture de son festival « Technopolice », qui se tenait à Marseille. La démarche est de fait particulièrement ambitieuse. Les plaintes s’attaquent en effet à plusieurs des piliers de la surveillance numérique ayant envahi nos villes ces dernières décennies.

La première a tout simplement pour ambition de faire « retirer l’ensemble de caméras déployées en France », et ainsi de mettre un terme à la vidéosurveillance. Pour cela, la réclamation devant la Cnil se fonde sur le règlement général sur la protection des données (RGPD), qui impose à tout traitement de données un certain nombre de bases légales. Toute collecte de données doit ainsi répondre à un intérêt légitime ou encore remplir une mission d’intérêt public.

Or, comme le rappelle la plainte, l’efficacité de la vidéosurveillance dans la lutte contre l’insécurité n’a jamais été démontrée. Elle a même été démentie par plusieurs études universitaires. La Cour des comptes elle-même, dans une étude de 2020 sur les polices municipales, n’avait trouvé « aucune corrélation globale […] entre l’existence de dispositifs de vidéoprotection et le niveau de la délinquance commise sur la voie publique, ou encore les taux d’élucidation ». En 2021, une autre étude, cette fois commandée par la gendarmerie, concluait que « l’exploitation des enregistrements de vidéoprotection constitue une ressource de preuves et d’indices peu rentable pour les enquêteurs ».

« Or, en droit, il est interdit d’utiliser des caméras de surveillance sans démontrer leur utilité, plaide La Quadrature sur le site de son projet Technopolice lancé il y a trois ans. En conséquence, l’ensemble des caméras autorisées par l’État en France semblent donc être illégales. »

« Dans notre argumentaire, nous nous appuyons sur une décision rendue il y a quatre ans par la cour administrative d’appel de Nantes qui concernait la commune de Ploërmel, explique à Mediapart Noémie Levain, juriste et membre de La Quadrature. Elle avait confirmé l’annulation d’une autorisation préfectorale d’installation de la vidéosurveillance dans la ville au motif, notamment, qu’aucun lien n’était établi entre celle-ci et la baisse de la délinquance. Elle n’était ni nécessaire ni légitime et donc illégale. Nous reprenons ce raisonnement pour l’étendre à toute la France. »

« Pour installer un système de vidéosurveillance, la ville doit demander une autorisation au préfet, qui doit normalement décider de la finalité, du lieu, de la durée…, détaille encore la juriste. Mais, dans les faits, cette autorisation préfectorale est juste formelle. Elle est toujours accordée. Ce qui, pour nous, rend ces actes illégaux. »

« Pour ramener ça au niveau national – la décision de la cour administrative d’appel de Nantes étant locale –, nous soulignons que le ministre de l’intérieur est co-responsable du traitement des données avec les communes, via les préfets qui dépendent de lui, explique encore Noémie Levain. De plus, il y a une très forte incitation de la part du gouvernement visant à pousser les communes à s’équiper via des aides financières. Celles-ci représentent généralement 60-70 % du financement, souvent versé par le Fonds interministériel de prévention de la délinquance (FIPD). »

Un éventuel démantèlement du réseau de caméras de vidéosurveillance, même partiel, aurait pour conséquence de rendre inopérant un autre des aspects de la « technopolice » : la vidéosurveillance algorithmique. Celle-ci consiste en l’utilisation de « caméras intelligentes » et de logiciels capables d’analyser les images pour repérer les comportements suspects. En l’absence de caméras, « qui en sont le support matériel », souligne La Quadrature, ces logiciels deviendraient logiquement caducs.

Le traitement d’antécédents judiciaires et la reconnaissance faciale

La deuxième plainte de l’association vise le traitement d’antécédents judiciaires (TAJ), un fichier dans lequel est inscrite toute personne impliquée dans une enquête judiciaire, qu’elle soit mise en cause, juste suspectée ou même victime. Le TAJ est accessible aux forces de police et de gendarmerie et aux services de renseignement, ainsi que dans le cadre des enquêtes administratives menées lors du recrutement à certains postes sensibles.

« Nous attaquons tout d’abord sa disproportion, explique Noémie Levain. Ce fichier comporte plus de 20 millions de fiches, avec aucun contrôle et énormément d’erreurs. Beaucoup de fiches n’ont aucun lien avec une infraction. Et il y a ces dernières années de plus en plus de témoignages de policiers prenant en photos des cartes d’identité de manifestants. »

À travers le TAJ, la plainte vise également la reconnaissance faciale. En effet, le décret du 7 mai 2012 lui ayant donné naissance, en fusionnant deux autres fichiers, précise que peut y être enregistrée la « photographie comportant des caractéristiques techniques permettant de recourir à un dispositif de reconnaissance faciale ».

Et depuis, sur cette seule base légale, les policiers multiplient les recours à la reconnaissance faciale. Selon un rapport sénatorial rendu au mois de mai 2022, 1 680 opérations de reconnaissance faciale seraient ainsi effectuées quotidiennement par les forces de police.

« Le TAJ, c’est une porte d’entrée pour la reconnaissance faciale qui a été ouverte par une simple petite phrase du décret de 2012, pointe Noémie Levain. Nous disons que cette petite phrase ne suffit absolument pas. Il faut un grand débat. D’autant plus qu’avec l’explosion de la quantité d’images issues de la vidéosurveillance, et celles des réseaux sociaux, nous avons changé d’échelle. Cette omniprésence des caméras dans notre société fait craindre une vidéosurveillance de masse. »

Le « fichier des gens honnêtes »

Enfin, la troisième plainte vise le fichier des titres électroniques sécurisés (TES). Créé en 2005, celui-ci incorporait initialement les données personnelles des titulaires de passeports, puis leurs données biométriques avec l’introduction du passeport électronique. En octobre 2016, un décret avait étendu son champ d’application aux cartes d’identité, malgré une vaste mobilisation de la société civile.

Comme le soulignait à l’époque ses opposants, au fur et à mesure des renouvellements de cartes d’identité, c’est l’ensemble de la population française dont les données biométriques seront à terme enregistrées dans le TES, créant ainsi un gigantesque « fichier des gens honnêtes ». Ces données sont de plus stockées de manière centralisée. Le dispositif avait même été critiqué par la Cnil et l’Agence nationale de la sécurité des systèmes d’information (Anssi).

L’extension du fichier TES aux cartes d’identité avait à l’époque été justifiée par la lutte contre l’usurpation d’identité et le trafic de faux papiers. Or, selon La Quadrature du net, « ce risque, qui était déjà extrêmement faible en 2016, a entièrement disparu depuis qu’une puce – qui contient le visage et les empreintes – est désormais présente sur les passeports et permet de remplir la même fonction de façon décentralisée ».

En résumé, La Quadrature estime qu’une lecture des données inscrites dans la puce est suffisante à l’authentification du titulaire et qu’un fichier centralisé est désormais inutile et n’a donc plus de base légale. De plus, souligne-t-elle, la présence des photos fait craindre une utilisation du fichier TES par les forces de l’ordre. « Créer un fichier avec les photos de tous les Français ne peut avoir d’autre but que la reconnaissance faciale », pointe Noémie Levain.

Si actuellement les forces de l’ordre n’y ont normalement pas accès, la tentation est en effet grande d’interconnecter le fichier TES avec d’autres fichiers de police. À l’occasion d’un rapport parlementaire sur les fichiers mis à la disposition des forces de sécurité rendu en octobre 2018, les auteurs signalaient qu’il leur avait été « suggéré » lors des auditions, « pour aller plus loin dans la fiabilisation de l’état civil des personnes mises en cause, de créer une application centrale biométrique qui serait interconnectée avec les données d’identité du fichier TES ».

Reste à savoir quel sort la Cnil réservera à ces plaintes. La commission dispose en effet de pouvoir limités vis-à-vis des fichiers des forces de l’ordre et des services de renseignement. Longtemps, elle a disposé d’un pouvoir d’appréciation a priori des projets gouvernementaux qui devaient lui être soumis, appréciation validée par elle à travers un « avis conforme ». Mais celui-ci lui a été retiré en 2004 et, désormais, le travail de la Cnil sur les traitements de données régaliens se limite à un rôle de conseil et d’accompagnement du gouvernement.

« Depuis 2004, la Cnil a perdu une grande partie de ses pouvoirs, constate Noémie Levain. Elle peut rendre des avis, des rapports parfois très critiques… Mais le gouvernement peut toujours passer outre. L’idée de cette plainte est qu’elle aille voir les pratiques. Un des problèmes est l’opacité des pratiques de la police. La Cnil dispose des pouvoirs d’investigation pour aller voir ce qu’il se passe. Après ses conclusions, il s’agira d’une question de volonté politique de sa part. On verra si elle instaurera un rapport de force. »

« La Quadrature tape souvent sur eux, mais nous pensons qu’il y a à la Cnil des gens qui font les choses biens, poursuit la juriste. Là, nous lui apportons les éléments pour aller voir ce qu’il se passe. Notre but est de faire du bruit, de peser sur le débat public. D’autant plus que les Jeux olympiques vont être l’occasion de l’expérimentation de tout un tas de technologies. On a déjà vu la Cnil rendre de bonnes décisions. Avec cette plainte, on lui donne la clef pour le faire. »

Article publié dans la revue Mediapart par Jérôme Hourdeaux