6 results tagged Psychology

Jonathan Haidt Talks His New Book ‘The Anxious Generation’https://www.noemamag.com/social-media-messed-up-our-kids-now-it-is-making-us-ungovernable/

Social Media Messed Up Our Kids. Now It Is Making Us Ungovernable.

Jonathan Haidt talks to Noema about “The Anxious Generation” and how technology is upending democracy.

Interview Digital Society June 13, 2024

In a conversation with Noema editor-in-chief Nathan Gardels, the social psychologist Jonathan Haidt discusses the impact of social media on truth in politics, the mental health crisis of today’s youth, and what to do about it.

Nathan Gardels: For those who haven’t read your book, “The Anxious Generation,” can you summarize the main thesis?

Jonathan Haidt: It all begins with a mystery: Why is it that mental health statistics for American teenagers were pretty flat, with no sign of any problem, from the late ’90s through 2010 to 2011? That is true whether we look at depression, anxiety or self-harm. And then, all of a sudden, in 2012, it’s as though someone flipped a switch, and the girls began getting much more anxious, depressed and self-harming. It was true of boys too, but it’s not been so sudden. It was more gradual in the early 2010s.

We first discovered this on college campuses because the students who entered universities from 2014 to 2015 were very different from our stereotype of college students who want to have fun, who want to drink and party.

The students arriving in 2014 to 15 were much more anxious. And they were especially triggered by words or jokes, speakers or books. It was that observation that led Greg Lukianoff to propose the hypothesis that college is doing something to kids to make them think in this distorted way. That was the basis of our book “The Coddling of the American Mind.”

But now it’s becoming clearer that what we saw and wrote about in that book wasn’t just happening to college students, but actually to all teenagers born after 1995. And it was not only observable in the U.S., Britain and Canada but a lot of other countries as well. What happened? Why was it so sudden? So that’s the mystery.

Was it some chemical dropped in the water supply all over North America and Northern Europe, along with the South Pacific? Or was it the massive change in the technological environment of childhood in all these countries simultaneously? This seemed the obvious hypothesis.

So, the first chapter of “The Anxious Generation” discusses what actually happened to teen mental health. And then the rest of the book seeks to unravel the mystery. It’s not just about “social media is destroying everybody.” It’s a more subtle and interesting story about the transformation of childhood — a tragedy that occurred in three acts.

Act I, which I only hinted at in the book, was the loss of community. So, if you look at America, especially in the years just after World War II, social capital was very high. The best way to make people trust each other is to have someone attack them from the outside — come together, fight a war and win. Social capital was very high in the U.S. in the 1940s and 1950s, and then it begins to drop over succeeding decades for many reasons.

Robert Putnam talked about this in “Bowling Alone.” You have smaller family sizes; people retreat inside because now they have air conditioning and TV and they’re not out in the front yard socializing as much. So, for a lot of reasons, we begin to lose trust in each other. We begin to lose social capital. That’s Act I of the tragedy.

Because of that, Act II happens, which is when we take away play-based childhood. Children used to always play together. It didn’t matter if it was raining or snowing, if there was a crime wave or drunk drivers, kids went out to play. Like all mammals, we evolved to play, in order to wire up our relatively large brains.

But in the ’90s, we decided it was too dangerous for kids to be out and about. They’ll get kidnapped or sexually abused, we thought, because we no longer trusted our neighbors. So, we locked our kids up out of fear of each other. In other words, over protection. This is the coddling part.

Then, after losing strong communities and play-based childhoods, we’re ready for the third act in the tragedy: the massive, sudden transformation of childhood between 2010 and 2015 into a phone-based childhood.

In 2010, the vast majority of teens across the developed world had cell phones. But they were flip phones or basic phones, with no internet browser. All you could do with them is text and call. That was pretty much it aside from some games. It wasn’t for constant communication. And that’s good. Kids could text their friends and say, “Let’s meet up at 3 p.m.” It was a simple tool. There was very little high-speed internet then and no front-facing camera. There was Facebook, but no Instagram. That’s the way things were in 2010.

“All of a sudden, in 2012, it’s as though someone flipped a switch, and the girls began getting much more anxious, depressed and self-harming.”

In 2010, kids in the U.S. and other Anglo countries still had a recognizably human childhood. They would meet up in person, even if they now had less freedom to roam. By 2015, that all changed when about 80% of those kids had a smartphone with a front-facing camera and a bunch of social media apps. So now we have the selfie culture. Almost everyone now has high-speed internet and now everyone can display video.

In short, by 2015 we have what I call “the great rewiring of childhood.” And that’s why in 2012, which is the year, incidentally, that Facebook bought Instagram, when online life changed, especially for girls, who flocked onto Instagram. And it was right after that when we first noticed the widespread upsurge in anxiety, depression and self-harm.

Gardels: The main criticism of your thesis is that you are mistaking correlation for cause and being too technologically determinist. How do you respond to that?

Haidt: First of all, my story is not just about technology, it is sociological. It’s a cultural psychology story. It’s about the change of childhood and human development.

To those who argue these changes could have been caused by any number of factors, I say a couple of things. First, whatever other factor you might think was more determinative, did that happen in New Zealand and Iceland and Australia all at the same time? No one can identify such a factor. Nobody has proposed an alternative theory that works internationally.

Second, it is true that the data is mostly correlational. If you have 300 correlational studies and 25 experimental studies, I would say the data is mostly correlational. The scientific debate has been focused on a very, very narrow question: Do the hours spent on social media tell you anything about the level of mental illness, especially depression and anxiety? There’s a clear correlation in these studies.

But we also have experimental studies, which I cite in the book. I go into great detail about the difference between correlation and causation. Every week, every month, we have more experiments indicating the causality of anxiety-inducing technology.

There are so many causal pathways by which a phone-based childhood harms different kids in different ways. Let me just take the example of sextortion, a very common crime online. There are international sextortion gangs that display avatars of beautiful, sexy young women. An avatar flirts with a boy that she finds, usually on Instagram. And then she convinces him to swap nude images. Boom. Then the sextortionist reveals himself, not as a sexy girl but as a man who now has all the content he needs to ruin you: “I’m going to show this picture of you and your penis to everyone, because I have all your contacts, unless you pay me $500 in two hours.”

The boys panic, and some of them have killed themselves because of the shame. The FBI has identified 20 suicides that were direct results of sextortion, which means there are probably hundreds of cases they didn’t catch, and far more kids who were traumatized by the experience and the shame. Now, is that just a correlation? Would these boys have killed themselves anyway, even if they had not been sextorted? I don’t think so.

Gardels: What are the specific remedies you propose for parents to protect their kids?

Haidt: The key to the whole book is understanding collective action problems, which are sometimes referred to as “the tragedy of the commons,” where each person acting in their own interest ends up bringing about an outcome that’s bad for everyone. If you’re the only one who doesn’t put your sheep out to graze, if you’re the only one who doesn’t fish in the pond, you suffer while everyone else continues to do what they’re doing.

One of the main reasons that we all are giving our kids phones now at age nine or 10 — it gets younger all the time — is because the kid comes home from school and says, “Mom, everyone else has an iPhone, I have to have an iPhone, or I’ll be left out.”

This is a collective action problem because any parent who does the right thing and says, “No, you’re not going to get one until you’re mostly done with puberty,” is imposing a cost on their child. All over the developed world now, family life has devolved into a struggle over screen time and phones. This is terrible. So, the trick is to realize we’re in this problem because everybody else is in this problem.

“All over the developed world now, family life has devolved into a struggle over screen time and phones.”

We’re so deep into this that it is very hard for any family to get out of it by themselves. Some parents are tough and just say “no,” but the status environment doesn’t change for the kids.

What I’m trying to do with the book is to say, if we team up with a few other families, if a small group of parents can get the whole school or school district to say “no,” then they escape and we can change the situation very, very quickly.

What we need is the adoption of four norms that can break the back of the collective action problem.

One: No smartphone before high school. Just keep it out of middle school. Let the kids at least get through early puberty, which is the most sensitive period. You can give them a flip phone if you absolutely need to text. I understand the need to coordinate.

Two: No social media before the age of 16. Social media is entirely inappropriate for children, it cannot be made appropriate because what you’re basically doing is saying, “How about we let the entire world get in touch with you? Let’s let all the companies try to sell things to you, let men all over the world who want to have sex with you contact you, and try to trick you into sending photos.” There’s no way to make this safe. So just recognize that social media is a tool for adults. Eleven-year-olds don’t need to network with strangers.

Third: Schools need to be phone-free. Imagine that when I was a kid growing up in the ’70s, if we had been allowed to bring in our television sets and our radios along with all sorts of toys and games and put them on our desk and use them during class. That’s what teachers are facing today. Disgusted and frustrated that they can’t get through to students, teachers are quitting.

Also, global test scores have been dropping, since 2012. This did not begin with Covid. It began around 2012. The result is a massive destruction of human capital. So, it’s just kind of obvious. You can’t have kids have the greatest distraction device ever invented in their pockets while they’re in class. All kids must check their phones during the day. If others are texting, they have to be texting back. So, just lock up the phone in the morning to give it back at the end of the day.

Four: We need to restore a play-based childhood. Kids need more independence, free play and responsibility in the real world. If you’re going to roll back the phone and don’t restore play, a child can have no childhood. So, roll it back and instead, give them adventure and fun with other kids.

Us parents need to overcome our own fears and let our children learn how to play with each other. Kids playing in groups are very safe. That’s how they learn to get along. That’s how they’re going to resolve disputes in life.

If we do these four things I’m pretty confident that rates of mental illness will come down within two years. Experience so far shows that phone-free schools get great results within a month. In various childhood independence projects, you get results within a month. If any community does all four of these, I believe they’re going to see pretty big drops in depression, anxiety, self-harm and other problems in short order.

Gardels: Do you worry that more prosperous parents with the means and time to be attentive to their kids will follow your advice, while the less well-off, busy working two jobs with less time for their kids, won’t? That this will just create a greater gap in society?

Haidt: Yes, I do expect that it will begin this way, with the most educated and wealthy families. But I think it will spread quickly as parents begin to see and hear about the benefits. Also, I should note that the most educated families apply the most limits, whereas children in low socioeconomic status, single-parent, or Black or Hispanic families have one- to two- hours more screen time per day, so going phone-free will disproportionately help them.

Gardels: Implicit in your remarks is you don’t have any faith in the Instagrams or TikToks of the world to be able to regulate themselves so they do less harm?

“What we need is the adoption of four norms that can break the back of the collective action problem.”

Haidt: Right now, as long as you’re old enough to lie about your age, you can go to Pornhub. You can open 20 Instagram accounts, you can open TikTok accounts. The law says you have to be 13 to sign a contract with a company to give away your data without your parents’ knowledge. But the law is written in such a way that there’s no responsibility for the companies if they don’t know your real age. As long as they don’t know your real age, they can’t be held liable for serving you eating disorder content or sex and violence.

We’re talking about five to 10 companies here that own our children’s childhood. They have a lot more influence over our kids than we do in some ways. And they have no responsibility. They are literally protected from lawsuits by Section 230 of the Communications Decency Act, which shields them from liability for the content on their platforms.

This is a completely insane situation. And they’re making huge amounts of money. So no, I don’t expect them to do anything until they’re forced by legislation, or by enormous losses in court.

Gardels: Your book has obviously hit a chord with parents and with school authorities. Do you have any sense of how the TikTok crowd or kids themselves see it?

Haidt: When you survey kids who’ve been through this, it’s really hard to find members of Gen Z who are opposed to what I’m saying. In fact, I actually haven’t found any. They almost always say, “Yeah, you know, you’re right. This really messed us up. But, you know, what are you going to do? This is just the way things are, and I can’t quit because everyone else is on.” There’s just an extraordinary sense of fatalism. We don’t find any young people organizing to protect their rights to have these things. The older kids generally say, if we could get everyone off, we should do that.

Gardels: The Chinese cyberspace authorities have no qualms about imposing limits on social media. Here are the rules:

Children under 8: Can only use smart devices for 40 minutes per day and can only consume content about “elementary education, hobbies and interests, and liberal arts education”
Children aged 8 to 15: Can use their phone for no more than one hour per day
Children aged 16 to 17: Can use a handset for a maximum of two hours per day
Minor mode: Requires mobile devices, apps and app stores to have a built-in mode that would bar users under 18 from accessing the internet on mobile devices from 10 p.m. to 6 a.m.

Perhaps they will produce more mentally healthy kids?

Haidt: China is engaged in a battle with the United States for cultural and economic supremacy. Since our young people are giving away all of their available attention, there’s a good chance that they will be less creative and less productive. They don’t have any spare attention to actually do anything. I imagine that makes the Chinese government happy.

The worst single product for American children is TikTok. It sucks up more of their time, energy and attention than any other product. And it harms them. It doesn’t do anything good for them. TikTok has more influence over our kids than any other organization on the planet. So, there are many reasons to think that that is a danger not only to our kids, but to our country.

It seems the Chinese are doing the right thing by using their authoritarian system to reduce the damage to their own children.

Of course, authoritarian solutions are not right for us, but we can do similar things through democratic solutions, through community and civil society. One thing Tocqueville praised Americans about is that when something needs doing, say the townspeople need to build a bridge, they just do it. They don’t wait for the state like in France. They don’t wait for the King like in Britain. Americans come together as citizens, elect a leader, raise money and then they do it.

So, I’m hopeful that my book presents norms that we adopt ourselves, even if we never get any help from Congress or lawmakers. Doing it ourselves — in groups of parents organized around schools — is a very American solution to what I think is one of the largest problems facing America today.

“TikTok has more influence over our kids than any other organization on the planet.”

Gardels: To go back to the coddled generation argument. What do you make of all these kids in college today putting up barricades, occupying administration buildings protesting the war in Gaza?

Haidt: Most of the activism of the college kids has moved online. That tends to be very ineffective and creates a culture that is bad for activists. I put some research in the book showing that before 2010, being politically active was actually associated with better mental health. You were engaged, you were part of a group, you were energized. After 2010, activists, especially progressive activists, are the least happy people in the country. They are marinating in beliefs about oppressor versus victim and embracing the untruths of the coddled. That was certainly true until very recently.

Now it’s true these protests are in person. That’s at least better psychologically for them. They are physically present and interacting with others on campus.

Even so, I think there are signs that it’s different from previous generations. One is that the present protestors are expecting accommodation, often seeking not to be punished for missing classes and for delayed exams. In other words, they are expecting a low cost to themselves. In previous periods of activism, civil disobedience meant if you break the law, then you pay the consequences to show how committed you are to the cause.

To be sure, today’s actions are communal, which is always very exciting. It’s not as though Gen Z is incapable of acting in person; though, I would point out, it’s overwhelmingly at the elite schools that this is happening.

Gardels: One of the reasons that we have such a paralyzed and polarized society is that the public square has virtually disappeared. Until social media turbocharged fragmentation, there was a common space where competing ideas could be contested in the full gaze of the body politic.

As the philosopher Byung-Chul Han has observed, the peer-to-peer connectivity of social media redirects the flow of communication. Information is spread without forming a public sphere. It is produced in private spaces and distributed to private spaces. The web does not create a public.

The possibility of arriving at a governing consensus through negotiation and compromise is being shattered by a cacophony of niche propagandists egging on their own siloed tribe of the faithful to engage in an endless partisan battle. Indeed, Rene DiResta at Stanford calls the niche ideologues “the new media goliaths” who have supplanted mainstream platforms in terms of influence.

In short, the digital media ecosystem is disempowering the public sphere.

In this sense, social media is not only messing up our kids but undermining the basis of democratic discourse.

Do you agree with that?

Haidt: Absolutely. In an article for the Atlantic in 2019, I made the case, basically along the lines of Han, that massive changes in information flows and the way we connect people change the fundamental ground within which our democratic institutions are operating. And it’s quite possible that we are now so far outside the operating range of these institutions that they will fail.

I’m extremely alarmed about the future of this country. If you read Federalist #10, the Founding Fathers, who were excellent social psychologists, were very afraid of the passions of the people. They didn’t want us to have a direct democracy. They wanted cooling mechanisms of deliberation through reason. The system of governance they devised, with its checks and balances, is really like a complicated clock that they thought could last a very long time precisely because it was realistic about human frailties. And they were right.

Then all of a sudden in the later post-war era — first with television, then the internet and, especially, now peer-to-peer media, it is all going awry. With television, at least there were editors. Jonathan Rauch wrote an amazing book called “The Constitution of Knowledge,” both about the Constitution and how knowledge is constituted.

He discussed how we make knowledge in universities and science and medicine. But he also discussed the U.S. Constitution and how the community of knowledge makers are governed by certain rules and checks and balances. We developed editors, filters and other mechanisms to vet truth.

All that’s going away now. Or at least the institutions are so weakened as to be feeble. I’m very alarmed. And, at the same time, what’s replacing them are the sorts of peer-to-peer networks that you’re talking about.

“Until social media turbocharged fragmentation, there was a common space where competing ideas could be contested in the full gaze of the body politic.”

In the history of humanity, when you connect people, there could be disruptions. But in the long run, that’s good. It increases the flow of knowledge and increases creativity. You get more value when you connect people. So, the telephone was great, the postal system was great.

Social media is not like those earlier innovations. I think the best metaphor here is to imagine a public square in which people talk to each other. They debate ideas or put forth ideas that may not always be brilliant. They may not always be civil, but people can speak while others listen. Sometimes people are moved by persuasion or dissuasion.

I think the Founding Fathers assumed that’s about the best we can hope for. Imagine one day, and I’ll call it 2009, that all changes. There’s no more public square. Everything takes place in the center of the Roman Colosseum. The stands are full of people who are there to see blood. That’s what they came for. They don’t want to see the lion and the Christian making nice; they want the one to kill the other. That’s what Twitter is often like.

It all becomes performative and comes at a superfast pace. Just as television changed the way we are and made us into passive consumers, the central act in social media is posting, judging, criticizing and joining mobs. Donald Trump is the quintessential person who thrives in that environment. If not for Twitter, Trump never could have been president. So, when our politics moved into the Roman Colosseum, I think the Founding Fathers would have said, “Let’s just give up. There’s no way we can build a democracy in this environment.”

Gardels: Just as republics have historically created institutional checks and balances when too much power is concentrated in one place, so too don’t we need to foster checks and balances for an age when power is so distributed that the public sphere is disempowered?

What I have in mind are the citizens’ assemblies indicative of the public as a whole, which deliberate issues in a non-partisan environment and, outside the electoral sphere where partisans vie for power by any means necessary, are able to come to a consensus through pragmatic, common sense solutions?

Haidt: It’s possible to create these small artificial communities where you lock citizens away together for a week and have them discuss something. They work pretty well from what I know, and they come up with solutions. But it’s not clear to me how you could use that to run a country. The way people feel about let’s say, Donald Trump, has very little to do with some ascertainment of fact.

If you use the word power, then I’m a little bit confused. But I think I see what you’re getting at. If we change the word to authority, it is clearer to me. When I wrote “The Righteous Mind,” I was on the left then and really tried to understand conservatives. Reading conservative writings, especially Edmund Burke and Thomas Sowell, was really clarifying on the idea that we need institutions. We need religion, we need gods, even if it is not true. We need moral order and constraint.

The progressive impulse is to tear things down and make things new. The conservative impulse is to protect authority structures because we need them. Without them, we have chaos. Of course, there are times to tear things down. But I think during the 2010s everything has been torn down, to some extent. This is a time we need to build.

I am very concerned that there is no longer any source of authority. There is no trusted authority, there is no way to find consensus on truth. It seems that the truth-seeking mechanisms, including the courts, came up with the answer that the last presidential election in the U.S. was not stolen. But there’s no real way to spread that around to the large portion of society that believes that it was.

With AI coming in, the problem of the loss of authority is going to be magnified tenfold or even a hundredfold when anyone can create a video of anyone saying anything in that person’s voice. It’s going to be almost impossible to know what’s true. We’re in for a wild ride if we’re going to try to run a democratic republic with no real authority. My fear is that we will simply become ungovernable. I hope not, I hope we find a way to adapt to living in our world after the fall of the tower of Babel, the fall of common understandings and common language.

This interview was edited for brevity and clarity.

Disrupting deceptive uses of AI by covert influence operations | OpenAIhttps://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/

Disrupting deceptive uses of AI by covert influence operations

We’ve terminated accounts linked to covert influence operations; no significant audience increase due to our services.

OpenAI is committed to enforcing policies that prevent abuse and to improving transparency around AI-generated content. That is especially true with respect to detecting and disrupting covert influence operations (IO), which attempt to manipulate public opinion or influence political outcomes without revealing the true identity or intentions of the actors behind them.

In the last three months, we have disrupted five covert IO that sought to use our models in support of deceptive activity across the internet. As of May 2024, these campaigns do not appear to have meaningfully increased their audience engagement or reach as a result of our services.

This blog describes the threat actors we disrupted, attacker trends we identified, and important defensive trends - including how designing AI models with safety in mind in many cases prevented the threat actors from generating the content they desired, and how AI tools have made our own investigations more efficient. Alongside this blog, we are publishing a trend analysis that describes the behavior of these malicious actors in detail.

Read the full report(opens in a new window)

Threat actors work across the internet. So do we. By collaborating with industry, civil society, and government we tackle the creation, distribution, and impact of IO content. Our investigations and disruptions were made possible in part because there’s been so much detailed threat reporting over the years by distribution platforms and the open-source community. OpenAI is publishing these findings, as other tech companies do, to promote information sharing and best practices amongst the broader community of stakeholders.

Disruption of covert influence operations

Over the last three months, our work against IO actors has disrupted covert influence operations that sought to use AI models for a range of tasks, such as generating short comments and longer articles in a range of languages, making up names and bios for social media accounts, conducting open-source research, debugging simple code, and translating and proofreading texts.

Specifically, we disrupted:

A previously unreported operation from Russia, which we dubbed Bad Grammar, operating mainly on Telegram and targeting Ukraine, Moldova, the Baltic States and the United States. The people behind Bad Grammar used our models to debug code for running a Telegram bot and to create short, political comments in Russian and English that were then posted on Telegram.
An operation originating in Russia known as Doppelganger(opens in a new window). People acting on behalf of Doppelganger used our models to generate comments in English, French, German, Italian and Polish that were posted on X and 9GAG; translate and edit articles in English and French that were posted on websites linked to this operation; generate headlines; and convert news articles into Facebook posts.
A Chinese network known as Spamouflage(opens in a new window), which used our models to research public social media activity, generate texts in languages including Chinese, English, Japanese and Korean that were then posted across platforms including X, Medium and Blogspot, and debug code for managing databases and websites, including a previously unreported domain, revealscum[.]com.
An Iranian operation known as the International Union of Virtual Media(opens in a new window) (IUVM), which used our models to generate and translate long-form articles, headlines and website tags that were then published on a website linked to this Iranian threat actor, iuvmpress[.]co;
Activity by a commercial company in Israel called STOIC, because technically we disrupted the activity, not the company. We nicknamed this operation Zero Zeno, for the founder of the stoic school of philosophy. The people behind Zero Zeno used our models to generate articles and comments that were then posted across multiple platforms, notably Instagram, Facebook, X, and websites associated with this operation.

The content posted by these various operations focused on a wide range of issues, including Russia’s invasion of Ukraine, the conflict in Gaza, the Indian elections, politics in Europe and the United States, and criticisms of the Chinese government by Chinese dissidents and foreign governments.

So far, these operations do not appear to have benefited from meaningfully increased audience engagement or reach as a result of our services. Using Brookings’ Breakout Scale,(opens in a new window) which assesses the impact of covert IO on a scale from 1 (lowest) to 6 (highest), none of the five operations included in our case studies scored higher than a 2 (activity on multiple platforms, but no breakout into authentic communities).

Attacker trends

Based on the investigations into influence operations detailed in our report, and the work of the open-source community, we have identified the following trends in how covert influence operations have recently used artificial intelligence models like ours.

Content generation: All these threat actors used our services to generate text (and occasionally images) in greater volumes, and with fewer language errors than would have been possible for the human operators alone.
Mixing old and new: All of these operations used AI to some degree, but none used it exclusively. Instead, AI-generated material was just one of many types of content they posted, alongside more traditional formats, such as manually written texts or memes copied from across the internet.
Faking engagement: Some of the networks we disrupted used our services to help create the appearance of engagement across social media - for example, by generating replies to their own posts. This is distinct from attracting authentic engagement, which none of the networks we describe here managed to do to a meaningful degree.
Productivity gains: Many of the threat actors that we identified and disrupted used our services in an attempt to enhance productivity, such as summarizing social media posts or debugging code.

Defensive trends

While much of the public debate so far has focused on the potential or actual use of AI by attackers, it is important to remember the advantages that AI offers to defenders. Our investigations also benefit from industry sharing and open-source research.

Defensive design: We impose friction on threat actors through our safety systems, which reflect our approach to responsibly deploying AI. For example, we repeatedly observed cases where our models refused to generate the text or images that the actors asked for.
AI-enhanced investigation: Similar to our approach to using GPT-4 for content moderation and cyber defense, we have built our own AI-powered tools to make our detection and analysis more effective. The investigations described in the accompanying report took days, rather than weeks or months, thanks to our tooling. As our models improve, we’ll continue leveraging their capabilities to improve our investigations too.
Distribution matters: Like traditional forms of content, AI-generated material must be distributed if it is to reach an audience. The IO posted across a wide range of different platforms, including X, Telegram, Facebook, Medium, Blogspot, and smaller forums, but none managed to engage a substantial audience.
Importance of industry sharing: To increase the impact of our disruptions on these actors, we have shared detailed threat indicators with industry peers. Our own investigations benefited from years of open-source analysis conducted by the wider research community.
The human element: AI can change the toolkit that human operators use, but it does not change the operators themselves. Our investigations showed that these actors were as prone to human error as previous generations have been - for example, publishing refusal messages from our models on social media and their websites. While it is important to be aware of the changing tools that threat actors use, we should not lose sight of the human limitations that can affect their operations and decision making.

We are committed to developing safe and responsible AI, which involves designing our models with safety in mind and proactively intervening against malicious use. Detecting and disrupting multi-platform abuses such as covert influence operations can be challenging because we do not always know how content generated by our products is distributed. But we are dedicated to finding and mitigating this abuse at scale by harnessing the power of generative AI.

‘Everything you’ve been told is a lie!’ Inside the wellness-to-fascism pipeline | Health & wellbeing | The Guardianhttps://www.theguardian.com/lifeandstyle/2023/aug/02/everything-youve-been-told-is-a-lie-inside-the-wellness-to-facism-pipeline

‘Everything you’ve been told is a lie!’ Inside the wellness-to-fascism pipeline

James Ball Wed 2 Aug 2023 14.00 BST

One minute you’re doing the downward dog, the next you’re listening to conspiracy theories about Covid or the new world order. How did the desire to look after yourself become so toxic?

Jane – not her real name – is nervous about speaking to me. She has asked that I don’t identify her or the small, south-coast Devon town in which she lives. “I’m feeling disloyal, because I’m talking about people I’ve known for 30 to 40 years,” she says.

Jane isn’t trying to blow the whistle on government corruption or organised crime: she wants to tell me about her old meditation group. The group had met happily for decades, she says, aligned around a shared interest in topics including “environmental issues, spiritual issues and alternative health”. It included several people whom Jane considered close friends, and she thought they were all on the same page. Then Covid came.

Jane spent most of the first Covid lockdowns in London. During that time, she caught Covid and was hospitalised, and it was then that she realised something significant had changed: a friend from the group got in touch while she was on the ward. “I had somebody I considered a real best friend of mine on the phone telling me, no, I ‘didn’t have Covid’,” she says. “She was absolutely adamant. And I said: ‘Well, why do you think I went into hospital?’”

The friend conceded that Jane was ill, but insisted it must be something other than Covid-19, because Covid wasn’t real. Jane’s hospital stay was thankfully short, but by the time she was sufficiently recovered and restrictions had lifted enough to allow her to rejoin her meditation group, things were very different.

“They have been moving generally to far-right views, bordering on racism, and really pro-Russian views, with the Ukraine war,” she says. “It started very much with health, with ‘Covid doesn’t exist’, anti-lockdown, anti-masks, and it became anti-everything: the BBC lie, don’t listen to them; follow what you see on the internet.”

Things came to a head when one day, before a meditation session – an activity designed to relax the mind and spirit, pushing away all worldly concerns – the group played a conspiratorial video arguing that 15-minute cities and low-traffic zones were part of a global plot. Jane finally gave up.

This apparent radicalisation of a nice, middle-class, hippy-ish group feels as if it should be a one-off, but the reality is very different. The “wellness-to-woo pipeline” – or even “wellness-to-fascism pipeline” – has become a cause of concern to people who study conspiracy theories.

It doesn’t stop with a few videos shared among friends, either. One of the leaders of the German branch of the QAnon movement – a conspiracy founded on the belief that Donald Trump was doing battle with a cabal of Satanic paedophiles led by Hillary Clinton and George Soros, among others – was at first best known as the author of vegan cookbooks. In 2021, Attila Hildmann helped lead a protest that turned violent, with protesters storming the steps of Germany’s parliament. Such was his radicalism in QAnon and online far-right circles that he was under investigation in connection with multiple alleged offences, but he fled Germany for Turkey before he could be arrested.

Similarly, Jacob Chansley, AKA the “QAnon shaman” – one of the most visible faces of the attack on the US Capitol on 6 January 2021, thanks to his face paint and horned headgear – is a practitioner of “shamanic arts” who eats natural and organic food, and has more than once been described as an “ecofascist”.

Thanks to wellness, QAnon is the conspiracy that can draw in the mum who shops at Holland & Barrett and her Andrew Tate-watching teenage son. The QAnon conspiracy is one of the most dangerous in the world, directly linked to attempted insurrections in the US and Germany, and mass shootings in multiple countries – and wellness is helping to fuel it. Something about the strange mixture of mistrust of the mainstream, the intimate nature of the relationship between a therapist, spiritual adviser, or even personal trainer, and their client, combined with the conspiratorial world in which we now live, is giving rise to a new kind of radicalisation. How did we end up here?

There are many people interested in spiritualism, alternative medicine, meditation, or personal training, whose views fall well within the mainstream – and more who, if they have niche views, choose not to share them with their clients. But even a cursory online request about this issue led to me being deluged with responses. Despite most experiences being far less intense than Jane’s, no one wanted to put their name to their story – something about the closeness of wellness interactions makes people loth to commit a “betrayal”, it seems.

One person recounted how her pole-dancing instructor would – while up the pole, hanging on with her legs – explain how the CIA was covering up evidence of aliens, and offer tips on avoiding alien abduction.

“A physiotherapist would tell me, while working on my back with me lying face down, about her weekly ‘meetings’ in London about ‘current affairs’,” another said. “There was a whiff about it, but it was ignorable. Then, the last time I saw her, she muttered darkly about the Rothschilds [a common target of antisemitic conspiracy theories] ‘and people like that’. I didn’t go back.”

Some people’s problems escalated when their personal trainer learned about their work. “I had three successive personal trainers who were anti-vax. One Belgian, two Swiss,” I was told by a British man who has spent most of the past decade working in Europe for the World Economic Forum, which organises the annual summit at Davos for politicians and the world’s elite.

“It was hard because I used to argue with all of them and the Swiss made life very difficult for the unvaccinated, but the Swiss bloke insisted that, with the right mental attitude and exercise, you could defeat any illness. I was always asking what would happen if he got rabies.”

When the trainer found out the man worked for the World Economic Forum, he was immediately cut off.

Other respondents’ stories covered everything from yoga to reiki, weightlifters to alternative dog trainers. The theories they shared ranged from extreme versions of wellness-related conspiracies – about the risks of 5G and wifi, or Microsoft founder Bill Gates plotting with vaccines – to 15-minute cities, paedophile rings and bankers’ conspiracies.

Is there a reason why people under the wellness and fitness umbrella might be prone to being induced into conspiracy? It is not that difficult to imagine why young men hitting the gym might be susceptible to QAnon and its ilk. This group spends a lot of time online, there is a supposed crisis of masculinity manifesting in the “incel” (involuntary celibacy) movement and similar, and numerous rightwing influencers have been targeting this group. Add in a masculine gym culture and a community already keen to look for the “secrets” of getting healthy, and there is a lot for a conspiracy theory to hook itself on to.

What is more interesting, surely, is how women old enough to be these men’s mothers find themselves sucked in by the same rhetoric. These are often people with more life experience, who have completed their education and been working – often for decades – and have apparently functional adult lives. But, as Caroline Criado Perez, author of Invisible Women: Exposing Data Bias in a World Designed for Men, observes, the answer may lie in looking at why women turn to wellness and alternative medicine in the first place.

New age and conspiracy theories both see themselves as counter-knowledges challenging received wisdom

“Far too often, we blame women for turning to alternative medicine, painting them as credulous and even dangerous,” she says. “But the blame does not lie with the women – it lies with the gender data gap. Thanks to hundreds of years of treating the male body as the default in medicine, we simply do not know enough about how disease manifests in the female body.”

Women are overwhelmingly more likely than men to suffer from auto-immune disorders, chronic pain and chronic fatigue – and such patients often hit a point at which their doctors tell them there is nothing they can do. The conditions are under-researched and the treatments are often brutal. Is it any surprise that trust in conventional medicine and big pharma is shaken? And is it any surprise that people look for something to fill that void?

Criado Perez says: “If we want to address the trend of women seeking help outside mainstream medicine, it’s not the women we need to fix; it’s mainstream medicine.”

This sense of conspiracies filling a void is an important one. Academic researchers of conspiracy theories have speculated about whether their rise in the 20th century is related to the decline of religion. In a strange way, the idea that a malign cabal is running the world – while far more worrying than a benevolent God – is less scary than the idea that no one is in charge and everything is chaos. People who have a reason to mistrust the mainstream pillars of society – government, doctors, the media, teachers – are more likely to turn to conspiracy theories for explanations as to why the world is like it is.

Peter Knight, professor of American studies at the University of Manchester, who has studied conspiracy theories and their history, notes that the link between alternative therapies and conspiracy is at least a century old, and has been much ignored. “New age and conspiracy theories both see themselves as counter-knowledges that challenge what they see as received wisdom,” he says. “Conspiracy theories provide the missing link, turbo-charging an existing account of what’s happening by claiming that it is not just the result of chance or the unintended consequences of policy choices, but the result of a deliberate, secret plan, whether by big pharma, corrupt scientists, the military-industrial complex or big tech.”

Knight notes an extra factor, though – the wellness pipeline has become a co-dependency. Many far-right or conspiracy sites now fund themselves through supplements or fitness products, usually by hyping how the mainstream doesn’t want the audience to have them.

Alex Jones, the US conspiracist who for a decade claimed the Sandy Hook shootings – which killed 20 children and six adults – were a false-flag operation, had his financial records opened up when he was sued by the families of the victims. During the cases, it emerged he had made a huge amount of money by selling his own branded wellness products.

“Alex Jones perfected the grift of selling snake-oil supplements and prepper kit to the libertarian right wing via his conspiracy theory media channels,” Knight says. “But it was Covid that led to the most direct connections between far-right conspiracism and wellness cultures. The measures introduced to curb the pandemic were viewed as attacks on individual sovereignty, which is the core value of both the wellness and libertarian/‘alt-right’ conspiracy communities.”

The problem is, it rarely stops with libertarians. While they may not recognise it, those drawn in from the left are increasingly ending up in the same place as their rightwing counterparts.

“Although many of the traditional left-leaning alternative health and wellness advocates might reject some of the more racist forms of rightwing conspiracism, they now increasingly share the same online spaces and memes,” he says, before concluding: “They both start from the position that everything we are told is a lie, and the authorities can’t be trusted.”

Society’s discussion of QAnon, anti-vaxxers and other fringe conspiracies is heavily focused on what happens in digital spaces – perhaps too much so, to the exclusion of all else. The solution, though, is unlikely to be microphones in every gym and treatment room, monitoring what gets said to clients. The better question to ask is what has made these practitioners, and all too often their clients, so susceptible to these messages in the first place. For QAnon to be the most convincing answer, what someone has heard before must have been completely unsatisfactory.

Jane has her own theory as to why her wellness group got radicalised and she did not – and it’s one that aligns with concerns from conspiracy experts, too. “I think it’s the isolation,” she concludes, citing lockdown as the catalyst, before noting the irony that conspiracies then kick off a cycle of increasing isolation by forcing believers to reject the wider world. “It becomes very isolating because then their attitude is all: ‘Mainstream media … they lie about everything.’”

The Other Pandemic: How QAnon Contaminated *the World by James Ball is published by Bloomsbury*. To support the Guardian and Observer, order your copy at guardianbookshop.com. Delivery charges may apply

Les chatbots peuvent-ils vraiment nous influencer ?https://theconversation.com/les-chatbots-peuvent-ils-vraiment-nous-influencer-193341

Les chatbots peuvent-ils vraiment nous influencer ?

Publié: 27 novembre 2022, 17:01 CET

Depuis Eliza (1966), le premier chatbot de l’histoire, jusqu’à nos jours, les machines conversationnelles issues de l’intelligence artificielle se voient souvent attribuer des attitudes et des comportements humains : joie, étonnement, écoute, empathie…

Sur le plan psychologique, ces attributions correspondent à des « projections anthropomorphiques ». Ainsi, le risque existe d’identifier pleinement les chatbots à ce que nous leur attribuons de nous-mêmes, au point de susciter la croyance d’avoir affaire à quelqu’un plutôt que de garder à l’esprit qu’il s’agit d’un programme informatique disposant d’une interface de communication.

Par ailleurs, le risque existe que les concepteurs issus des « technologies persuasives » (technologies visant à persuader les humains d’adopter des attitudes et des comportements cibles), conscients d’un tel phénomène, utilisent les chatbots pour influencer nos comportements à l’aide du langage naturel, exactement comme le ferait un humain.

Pour circonscrire les mécanismes projectifs dont les technologies persuasives pourraient faire usage, nous avons conduit une étude à grande échelle auprès d’un échantillon représentatif de Français (soit 1 019 personnes) placés en position d’envisager ou de se remémorer une relation interactive dialoguée avec un chatbot qu’il soit, au choix, un·e ami·e confident·e, un·e partenaire amoureux·se, un·e coach·e de vie professionnelle ou un·e conseiller.ère clientèle.

Pour interpréter nos résultats, nous avons retenu des projections anthropomorphiques quatre modalités essentielles :

Anthropomorphisme perceptuel : consiste à projeter sur un objet des caractéristiques humaines, ce qui relève de l’imagination.
Animisme : consiste à donner vie aux caractéristiques attribuées à un objet en projetant « sur » lui des intentions simples généralement humaines.
Anthropomorphisme intentionnel : est une forme d’animisme consistant à projeter « dans » l’objet des intentions humaines complexes sans pour autant identifier totalement cet objet à ce qu’on y a projeté.
Identification projective : consiste à projeter « dans » l’objet des caractéristiques de soi et à l’identifier totalement à ce qu’on y a projeté au point de modifier radicalement la perception même de cet objet.

Un résultat intriguant : mon chatbot est plutôt féminin

Quel que soit le chatbot choisi, 53 % des répondants le considèrent comme vivant autant qu’humain et parmi eux 28 % projettent sur lui les caractéristiques d’un homme adulte et 53 % celles d’une femme adulte (anthropomorphisme perceptuel).

Ensemble, ils lui donnent vie en lui attribuant des intentions simples (animisme). Lorsque les répondants ne considèrent pas le chatbot choisi comme vivant (40 %), certains projettent paradoxalement sur lui des caractéristiques humaines comme une voix (27 %), un visage (18 %) et un corps (8 %) tendanciellement féminins. Dans l’ensemble, seuls 38 % des répondants projettent dans leur chatbot une agentivité c’est-à-dire des états intérieurs complexes, cognitifs et émotionnels, constitutifs d’un pouvoir et d’une autonomie d’action (anthropomorphisme intentionnel).

Ainsi, tout se passe comme si la tendance était d’attribuer au chatbot les caractéristiques d’un sujet humain, mais avec une certaine hésitation sur l’attribution d’une intériorité : il serait ainsi considéré comme un sujet sans subjectivité. Ces résultats tendraient à montrer que les répondants n’identifient pas totalement le chatbot à ce qu’ils imaginent d’humain en lui et, ainsi, qu’ils ne le prennent pas pour un semblable. Il n’y aurait donc pas de processus avéré d’identification projective.

[Près de 80 000 lecteurs font confiance à la newsletter de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Face à ces résultats, deux questions nous ont semblé essentielles. La première consiste à se demander si la tendance des répondants à projeter du féminin dans leur chatbot, qu’il soit ou non considéré comme vivant – et notamment une femme plus qu’un homme adulte –, relève d’un stéréotype ou d’un archétype. Rappelons ici qu’un stéréotype est une opinion toute faite, forgée sans examen critique qui véhicule des représentations sociales standardisées et appauvrissantes visant à catégoriser voire caricaturer tel ou tel groupe humain.

Un archétype, quant à lui, est un schéma d’organisation inné de notre vie psychique, présent à l’état « virtuel » dans notre esprit et que seules certaines circonstances peuvent activer et actualiser. La seconde question consiste à se demander pourquoi les répondants n’identifient-ils pas pleinement leur chatbot à ce qu’il projette d’humain en eux ?

Afin de répondre à ces questions et de mieux comprendre nos relations aux chatbots, certains des concepts majeurs de la psychanalyse nous ont éclairés.

La psychanalyse pour comprendre nos relations aux chatbots

Tentons une réponse à la première de nos deux questions. Selon la littérature scientifique, des stéréotypes sociaux de genre sont souvent projetés sur les machines. Alors que la vocation des chatbots est d’assister l’humain, il serait en effet naturel, selon certains, que, dans l’imaginaire social, cet assistanat soit situé du côté du « care » et ainsi associé aux femmes.

Mais sommes-nous vraiment en présence d’un tel stéréotype dans notre enquête ? Nos investigations montrent en effet que 58 % des femmes qui considèrent leur chatbot comme vivant et humain l’envisagent comme une personne de genre féminin contre seulement 48 % des hommes. Ainsi, soit elles sont victimes d’un stéréotype de genre par contagion sociale, soit cette projection d’une figure féminine exprimerait un invariant collectif qui serait l’expression d’un archétype plus que d’un stéréotype.

Un archétype, tel que nous l’avons défini, est par exemple à l’œuvre dans les processus d’attachement pulsionnel à la mère. En effet, il a été démontré que le nouveau-né, dès le premier contact avec sa génitrice, dirige instinctivement son regard vers elle avant de migrer vers le sein pour sa première tétée. Ce comportement inné relève de l’archétype de la Mère.

Plus généralement, certaines recherches montrent que la première forme vivante que les nouveau-nés rencontrent à leur naissance fait « empreinte » en eux sous la forme d’une image et les conduit à se lier immédiatement à elle pour recevoir les soins dont ils ont besoin. Peu importe si cette forme appartient à une autre espèce. Certains en concluent que l’archétype, en tant que schéma inné de comportement, conduit un être vivant à rechercher une fonction de soin plus qu’un individu spécifique à son espèce d’appartenance.

Le concept d’archétype nous permet donc d’envisager que la figure projective féminine propre à notre enquête ne résulterait pas forcément d’un stéréotype de genre. Elle pourrait attester l’activation et l’actualisation de l’archétype de la Mère poussant ainsi l’utilisateur « humain » à projeter une figure féminine archétypale dans le chatbot, preuve qu’il cherche, dans l’interaction avec lui, une fonction de soin telle qu’il l’a déjà expérimentée.

Peu importe qu’il soit un programme informatique, un « individu technique », s’il donne le sentiment de « prendre soin » en aidant à choisir un produit, en conseillant une attitude juste ou en offrant des signes de reconnaissance amicaux autant qu’amoureux.

Un différentiel homme-machine auto-protecteur ?

Abordons maintenant notre seconde question. Dans notre enquête, le chatbot est généralement imaginé comme un sujet paré de caractéristiques humaines, mais sans subjectivité. Ce qui signifie que les répondants n’identifient pas pleinement leur chatbot à ce qu’ils projettent de leur propre humanité en eux. Les recherches dans le domaine de l’attachement en fournissent peut-être l’explication.

Elles indiquent en effet que les relations avec un premier pourvoyeur de soins, donne les moyens à celui qui s’attache, de pouvoir faire ultérieurement la différence entre ses congénères et les autres. C’est probablement la raison pour laquelle les répondants montrent qu’ils pourraient être en mesure de s’attacher à un chatbot qui leur fait la conversation sans pour autant le considérer comme un de leurs semblables : la conscience d’un différentiel de génération et d’existence entre l’humain et la machine – différentiel dit ontologique – limiterait ainsi voire interdirait toute identification projective.

Un tel « rempart naturel », face à l’ambition persuasive de la captologie pour laquelle la fin peut parfois justifier les moyens, pourrait rendre les utilisateurs beaucoup moins influençables voire moins dupes que ne l’envisagent les professionnels du marketing et du design conversationnel : ils jouent le jeu probablement en conscience.

Reste cette question : que faire pour protéger les plus fragiles et les plus influençables d’entre nous qui pourraient se prendre à un tel jeu et courir le risque de s’y perdre ?

Pour aller plus loin : « L’anthropomorphisme, enjeu de performance pour les chatbots », du même auteur.

Débat : L’intelligence artificielle peut-elle accompagner les personnes en deuil ?https://theconversation.com/debat-lintelligence-artificielle-peut-elle-accompagner-les-personnes-en-deuil-205491

Débat : L’intelligence artificielle peut-elle accompagner les personnes en deuil ?

Publié: 6 juin 2023, 21:51 CEST

Par l'intermédiaire d'un robot conversationnel, il est désormais possible d'échanger avec l'avatar d'une personne disparue.

Le débat sur ChatGPT et les IA génératives n’en finit pas de rebondir, à travers les nouvelles applications qu’il suscite à peine quelques mois après sa mise en ligne. Un récent documentaire d’Envoyé spécial sur France 2 (27 avril 2023) présentait justement une application qui utilise GPT-3 et permet à l’utilisateur de recréer un dialogue avec des personnes disparues. « Project December (Simulate the Dead) » est sans doute un cas extrême d’usage d’un agent conversationnel issu de GPT-3 mais nous dit beaucoup du manque de repères des sociétés dites occidentales pour faciliter le deuil de manière collective et encadrée dans le temps comme l’ont fait les civilisations qui nous précèdent.

Discuter avec nos chers disparus

« Project December » permet à quiconque, pour 10 dollars, d’ouvrir un compte et de discuter avec un programme d’intelligence artificielle (breveté) qui simule les propos d’une personne décédée pour un maximum de cent échanges et une durée d’une heure. Il faut pour cela renseigner un long questionnaire qui comporte deux grandes rubriques : identité de la personne (nom, surnom, dates, lieux, professions et même nom du chien si nécessaire), traits de personnalité (décrits de façon très binaire : ex : sûr/confiant/stable vs soucieux/nerveux/perturbé) auxquelles s’ajoute un extrait de texte produit par ces personnes décédées. Le reportage d’Envoyé spécial montre ainsi un homme qui vient de perdre sa mère et qui pose chaque jour des questions à son avatar synthétique, questions qu’il n’avait pas pu lui poser avant son décès.

Pour les besoins du reportage, le créateur de l’application organise aussi, en compagnie du journaliste, un dialogue avec l’agent conversationnel au-dessus de la tombe du philosophe, poète et naturaliste américain Henry David Thoreau en utilisant une de ses citations les plus célèbres : « le gouvernement le meilleur est celui qui gouverne le moins », conforme à son idéologie libertarienne prônant toujours « moins d’état » – une idéologie qui est aussi celle de la Silicon Valley.

Questionné artificiellement via l’application sur les usages toxiques éventuels de l’outil « Project December », l’avatar simulé de Thoreau répond que toute la responsabilité repose sur l’utilisateur, comme dans le cas d’un constructeur automobile qui ne peut pas être considéré comme responsable des comportements des mauvais conducteurs.

Un mépris des processus de deuil ?

Le solutionnisme technologique nommé ainsi par le chercheur Evgeny Morozov, dans son élan disruptif, semble balayer toute pensée un tant soit peu argumentée des conséquences psychiques ou culturelles d’un tel traitement de la relation avec les morts.

[Plus de 85 000 lecteurs font confiance aux newsletters de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Il méprise les enjeux anthropologiques des processus de deuil et toutes les connaissances sur ce processus développées à la fois par la psychologie et par l’étude des traditions.

Si la psychanalyse considère le deuil comme un processus psychique par lequel une personne parvient à se détacher de la personne disparue et à donner du sens à cette perte, les fêtes des morts dans les traditions anciennes contribuent à un processus similaire, redonner un sens à la vie.

Prenons l’exemple de la fête des Morts au Mexique : elle dure deux jours, et consiste à visiter la tombe où reposent les défunts de la famille, à faire un repas autour d’elle, en musique. Selon les cas, une veille est organisée durant toute la nuit. À cette occasion, les cimetières sont remplis de familles, d’une grande quantité de fleurs orange et de bougies. Tout cela crée une ambiance particulièrement vivante. Les familles installent aussi provisoirement un autel à la maison avec les portraits des défunts, des fleurs, de la nourriture, des bougies, etc.

Trois dimensions sociales et psychiques ressortent de ces rituels :

la fête des morts – le deuil – est une invitation collective,
le contact recherché avec les défunts n’a rien de spiritiste, on ne pose pas de questions précises
la fête des morts a une durée bien délimitée.

Ces trois aspects font comprendre le soin apporté à la santé mentale individuelle et collective des sociétés. Le souvenir des morts se réalise dans un cadre de rencontres sociales et de protocoles qui aident à l’ancrage dans la vie.

Un deuil sans intermédiaire

Dans nos sociétés occidentales, le christianisme et les thérapies ont pris en charge ce processus de deuil sous des formes déjà affaiblies. Les rituels chrétiens ont tendance à s’épuiser – en 2018, 48 % des Français souhaitent une cérémonie religieuse lors de leur décès – bien que le prêtre continue à jouer un rôle d’intermédiaire-clé, même pour les non-croyants. Les thérapeutes, eux, effectuent ce travail contre rémunération, tandis que le personnel médical se retrouve en situation de gérer ces moments de deuil bien au-delà de ses fonctions.

Par contraste, l’application « Project December » ne semble pas endosser la moindre responsabilité lorsqu’elle place les personnes en situation de relation solitaire avec des conversations simulant les pensées de la personne décédée. S’il y a bien une forme de médiation – en l’occurrence, celle de l’intelligence artificielle –, celle-ci sort de tout cadre collectif, au risque d’amplifier l’espace des fantasmes.

Chacun est laissé à sa souffrance, à ses peurs, que l’agent conversationnel doit obturer ou encourager par des réponses, toujours très banales. L’usager témoignant dans le reportage d’Envoyé spécial raconte sa vie ordinaire ou exprime ses sentiments à sa mère. Il lui parle comme si elle n’était pas décédée, ce qui fait craindre à ses enfants qu’il reste enfermé dans cette « relation ».

Or, dans ces rites de passage, les mots doivent être choisis prudemment pour aider à retrouver une place, la sienne et celle de la personne décédée. C’est pour cette raison que des intermédiaires sont mobilisés dans toutes les traditions. Même si l’usager n’est pas dupe et que l’application l’encourage à s’exprimer, elle tend à éliminer les médiateurs humains, sans filet de sécurité : une façon risquée d’« ubériser » les prêtres, les chamanes et les thérapeutes…

Les nécessaires temps de silence

Dans les rites ou la thérapie du deuil, des temps de silence s’imposent. Les rituels établissent une période précise consacrée au deuil ou à la commémoration des décédés, ce qui libère la vie quotidienne de cette relation. L’IA à base de GPT-3 ne laisse jamais l’utilisateur en silence, c’est un bavard impénitent, une machine à réponses. Elle n’est pas capable d’accompagner dans une écoute profonde, mais tourne, même en boucle, pour pallier à l’absence, le vide insupportable qui est au fond le plus grand drame du deuil.

L’enfermement solitaire dans un dialogue simulé, fondé sur quelques indices réalistes en utilisant de modèles statistiques probabilistes de la langue, a quelque chose d’obscène : il amplifie encore nos tendances commercialement encouragées à vivre dans un monde du « fake », fondé sur des trames narratives articulées aux codes publicitaires.

Une fois de plus, ce sont les artefacts (les interfaces et les algorithmes) qui sont supposés combler un manque criant d’intersubjectivité, de lien social, de dynamique d’échanges authentiques. Ces objets de substitution deviennent cependant critiques dans les cas de deuils et ne devraient pas être manipulés sans précaution. Les agents conversationnels de type GPT prospèrent cependant sur l’incapacité de nos sociétés dites rationnelles à fournir des repères sur une question si fondamentale pour l’âme humaine comme le soulignait l’anthropologue Benedict Anderson.

Des applications comme Project December reflètent un laisser-faire anti-institutions que l’on rencontre dans toutes les firmes de la Silicon Valley à travers leur slogan « Rough Consensus and Running Code », expression de John Perry Barlow dans son « manifeste pour l’indépendance du cyberspace » de 1996.

Selon cette doctrine, les décisions de développement des applications, des normes, des services relèvent d’un consensus vague entre les parties prenantes et la production du code ne doit jamais s’arrêter, facilitant les innovations disruptives qui n’anticipent pas leurs conséquences sociales et culturelles.

Ce désencastrement de l’IA vis-à-vis des principes sociaux et organisationnels et sa prétention à tout refonder sur la base de la puissance de ses calculs probabilistes qui optimisent tout, se retrouvent ici dans ce jeu avec l’esprit des morts. On jongle avec les relations avec les morts comme on jongle avec les mots.

Comment réguler ce « running code » irresponsable dès lors qu’il est si aisé à reproduire et que les frontières des états ne sont en rien suffisantes pour freiner son adoption immédiate dans tous les pays, sans respect pour aucune législation existante ?

Seuls les grands ensembles institutionnels qui sont aussi des grands marchés comme l’Europe ont la puissance nécessaire pour obliger toutes ces IA et leurs applications à demander une « autorisation préalable de mise sur le marché », comme cela se fait pour la plupart des produits de l’industrie, de l’alimentation aux médicaments, en passant par l’automobile. L’IA Act en cours de validation en Europe tout comme l’administration Biden doivent prendre la mesure de ces enjeux anthropologiques dans leurs tentatives de régulation, puisque même nos relations avec les morts peuvent en être affectées, alors qu’elles sont constitutives de notre sensibilité humaine.

Auteurs :

Dominique Boullier : Professeur des universités émérite en sociologie. Chercheur au Centre d'Etudes Européennes et de Politique Comparée, Sciences Po

Rebeca Alfonso Romero : Doctorante en géographie culturelle, Sorbonne Université

Un psychothérapeute italien condamné à de la prison pour avoir induit de faux souvenirs – Réalités Biomédicaleshttps://www.lemonde.fr/blog/realitesbiomedicales/2022/12/12/un-psychotherapeute-italien-condamne-a-de-la-prison-pour-avoir-induit-de-faux-souvenirs/

Un psychothérapeute italien condamné à de la prison pour avoir induit de faux souvenirs

C’est l’histoire de Sara (le prénom a été modifié), une adolescente de 15 ans, dont les parents ont divorcé. Nous sommes en 2015. A vrai dire, tout a commencé quelques années plus tôt, en 2003, lorsque sa mère fait appel, pour la première fois, aux services sociaux pour obtenir un soutien économique dans un contexte de relation parentale conflictuelle.

Lors d’une rencontre avec les travailleurs sociaux, la mère de Sara les informe que sa fille a été victime d’abus sexuel de la part de son petit ami, également adolescent. Les faits sont portés à la connaissance du procureur et une enquête est ouverte à l’encontre de l’ami de Sara. L’adolescente n’entend pas être mêlée à l’affaire criminelle et en veut beaucoup à sa mère d’avoir trahi sa confiance en divulguant des éléments de sa vie.

Les services sociaux vont la questionner de manière intensive avant même qu’elle ne soit entendue par la justice. Durant ces entretiens, l’adolescente déclare éprouver beaucoup de honte à devoir raconter ce qu’elle a vécu et finit par réaliser à quel point tout cela l’a affectée. Plus tard, les services sociaux informent Sara qu’elle a été agressée sexuellement dans son enfance par un ami de son père, alors même que l’adolescente ne garde aucun souvenir de ce qui s’est passé.

Quelques mois plus tard, Sara est confiée par ces services sociaux aux bons soins d’un psychothérapeute, le Dr X, qui exerce dans un centre privé. L’établissement en question se situe à Reggio Emilia, non loin de Bologne, dans la région d’Emilie-Romagne. Agréé par la municipalité, il est fréquemment sollicité par les services sociaux pour des affaires concernant des enfants à problèmes.

Les séances de thérapie débutent en février 2016. Sara raconte ce qu’elle a vécu. Le thérapeute va alors la convaincre à penser que les épisodes qu’elle relate sont liés à des abus sexuels commis par un ami de son père lorsqu’elle avait cinq ou six ans, événements dont elle n’avait aucun souvenir avant cette psychothérapie. Les séances sont enregistrées sur bandes-vidéo, ce qui se révélera crucial, par la suite, pour documenter la dynamique de l’implantation de faux souvenirs.

Les séances avec le Dr X se poursuivent jusqu’à octobre 2016. Au cours de quatorze entretiens, le thérapeute revient plusieurs fois sur les supposés abus sexuels dont Sara aurait été victime à plusieurs reprises et explique que ses problèmes actuels seraient la conséquence de ces abus. Plus précisément, Sara va être poussée à se souvenir de l’abus perpétré par son ex-petit ami âgé de 13-14 ans, d’une récente agression par un camarade de classe et d’un abus sexuel commis par l’ami de son père, dont elle a été victime durant son enfance.

Durant les entretiens, les questions posées à Sara par le Dr X sont difficiles à comprendre pour la jeune adolescente dans la mesure où le thérapeute utilise une syntaxe complexe. Par ailleurs, le thérapeute fait de longs monologues destinés à persuader la jeune fille qu’elle a réellement été abusée sexuellement par son petit ami et par l’ami de son père.

De longues questions suggestives

Extrait des échanges entre le Dr X et Sara, tels que retranscrits par des criminologues belges et des psychologues néerlandais et italiens qui relatent cette histoire dans un article paru en septembre 2022 dans le Journal of Forensic Sciences, revue américaine de médecine légale :

Dr. X : Mmh, des hommes plus âgés, tu dis, hein ? (…) mais il est possible que des hommes plus âgés t’aient fait du mal dans le passé.

Sara : (hoche la tête)

Dr. X : Hein, hein… alors, pour éviter de tels risques désagréables, tu as imaginé mettre de la distance avec tout le monde… n’est-ce pas ?

Dr. X : ...d’une certaine manière, ton père est aussi lié à de mauvaises expériences de maltraitance et d’abus ?

Dr X : Il a posé ses mains sur toi. Donc, c’était un manque de respect, un sérieux manque de respect. Je comprends que ton histoire… oui, en effet, ce n’est pas toi…ce n’est pas ta vie qui est nulle hein, hein, ces hommes que tu as rencontrés sont nuls ! Tu as l’impression de mélanger les deux choses, hein ?

Dr X : C’est l’ami de ton père qui posait ses mains d’une manière dérangeante ?

Sara : Oui.

Dr. X : Sur ton corps, hein ?

Sara : M-hm, m-hm.

Selon les auteurs qui rapportent les tenants et aboutissants de cette affaire criminelle, « du fait des interventions thérapeutiques suggestives, Sara a eu tendance à adhérer aux déclarations et suggestions du psychothérapeute et a fréquemment changé ses réponses afin de se conformer à ce qu’il attendait ». Exemple : Dr X : « d’une certaine façon, il a commis un acte sexuel ». Sarah : « Oui ».

Henry Otgaar (faculté de droit et de criminologie de l’université de Louvain, Belgique) et ses collègues psychologues des universités de Maastricht (Pays-Bas), de Bari et de Padoue (Italie) soulignent que Sara avait une attitude « très passive » lorsqu’elle répondait aux questions du thérapeute et ne lui répondait souvent que par un simple mot (« Oui »), alors même que le Dr X lui posait de longues questions suggestives.

Le thérapeute fait de longues phrases. Il parle environ trois fois plus que sa jeune patiente. Il ressort des enregistrements vidéo que le Dr X utilise plus de 3 200 mots, quand Sara n’en prononce que 1 200. Le thérapeute emploie environ 21 mots dans une phrase alors que Sara se contente d’en utiliser 12, avec pour conséquence un réel déséquilibre dans la quantité d’information partagée entre le thérapeute et sa patiente.

Répondre à des questions longues, utilisant une grammaire compliquée pour une jeune enfant, a pu entraver la communication entre les deux et inciter Sara à adhérer aux propos de la personne ayant autorité, en l’occurrence son thérapeute.

Thérapie EMDR

Au cours des séances, Sara a également suivi une thérapie EMDR (eye movement desensitization and reprocessing), souvent utilisée dans la prise en charge d’un trouble psychotraumatique. Cette méthode de psychothérapie consiste à traiter des mémoires douloureuses à l’aide, notamment, de mouvements des yeux. La thérapie EMDR se focalise sur les aspects émotionnels, cognitifs et corporels liés à la mémoire traumatique. Le patient doit voir en image son traumatisme, afin de « le revivre » d’une certaine façon. Le thérapeute stimule alors latéralement les yeux du patient, en lui demandant de suivre du regard son doigt de droite à gauche et vice-versa durant plusieurs secondes. Il a été montré que cette procédure oculaire réduit la vivacité et la charge émotionnelle liées à la mémoire autobiographique, et pour ainsi dire permet au cerveau de « digérer » l’événement traumatisant. Des études ont cependant indiqué que la thérapie EMDR pouvait altérer la qualité et la quantité de la mémoire et potentiellement faciliter la création de faux souvenirs.

Au fur et à mesure des séances de thérapie EMDR, dans l’esprit de Sara, l’image de son père vient progressivement chevaucher celle de l’ami de son père, comme étant son agresseur sexuel lorsqu’elle était toute petite. C’est ainsi que Sara déclare à son thérapeute : « Euh…. je ne sais pas pourquoi mais… il m’est arrivé assez souvent… Euh… que je confonde l’ami de mon père avec mon père ».

Au cours des séances avec le Dr X, l’image de l’agresseur sexuel, initialement identifié comme étant l’ami du père de Sara, a commencé à devenir celle de son propre père. Sara déclare alors : « Je ne peux… Je ne peux pas comprendre pourquoi ces deux types se ressemblent autant ». La fillette ne parvient pas à distinguer ce qui arrivait avec son père de ce qui s’est passé avec l’ami de son père. « Je ne sais pas pourquoi je vois beaucoup de similarité avec mon père, donc je ne sais pas », dit-elle alors. À la 14e et dernière séance, la fille reconnaît que son père est le seul agresseur.

« À un certain moment, Sara semblait de plus en plus confuse et incertaine quant à savoir si l’agresseur était l’ami du père ou le père lui-même. Une fois les séances thérapeutiques terminées, Sara a été invitée par les travailleurs sociaux à continuer de rencontrer le Dr. X deux fois par mois. En octobre 2017, le tribunal des mineurs a déchu le père de Sara de son autorité parentale », indiquent les auteurs.

Deux ans plus tard, en octobre 2019, la mère et la sœur de Sara ont rapporté aux enquêteurs que la fille avait un comportement radicalement différent. Elle était devenue irritable et agressive, fréquentait des gens peu recommandables et se droguait. Elle refusait de voir son père et entretenait une relation très conflictuelle avec sa mère. Sara finit par rencontrer son père en août 2019.

Implantation de faux souvenirs d’abus sexuel commis par le père

En novembre 2021, le Dr X (68 ans) a été reconnu coupable, par la justice italienne, d’avoir infligé lors de sa pratique de sérieux dommages psychologiques à sa jeune patiente, d’abus de pouvoir et de fraude dans la prise en charge. Le Dr. X a été accusé d’avoir utilisé des questions fortement suggestives affectant les déclarations de Sara dans un cadre thérapeutique pour prouver la survenue d’un abus sexuel commis par son père qui n’a jamais eu lieu.

« Le Dr X et ses collègues ont utilisé des techniques psychologiques non éthiques et manipulatrices visant à laver le cerveau des enfants afin d’amener les victimes à se souvenir qu’elles avaient été abusées sexuellement par leurs parents. Parmi ces techniques, l’accent était mis sur l’utilisation d’entretiens très suggestifs et sur l’altération des souvenirs traumatiques par des pratiques EMDR », déclarent les auteurs.

Avant de débuter les séances avec son thérapeute, Sara n’avait aucun souvenir d’avoir été agressée sexuellement par son père. Elle déclarait uniquement avoir eu des rapports sexuels avec son petit ami.

L’analyse des dialogues entre Sara et son thérapeute illustre les changements dans la mémoire de la jeune adolescente au fil des séances. En effet, au début, Sara expliquait clairement ne pas se souvenir d’avoir été victime d’abus sexuel par l’ami de son père et que cette information provenait uniquement des services sociaux. Plus précisément, Sara déclarait alors n’avoir aucun souvenir relatif à une supposée agression sexuelle. Elle se rappelait juste qu’elle portait une robe rose et était assise sur le canapé à côté de l’ami de son père. L’image que Sara a fournie était floue et n’était pas placée dans l’espace et le temps. De plus, Sara ne se souvenait pas de ce à quoi cette image, dans sa mémoire, faisait référence. Elle ne savait pas ce qui s’était spécifiquement passé à cette occasion.

Cependant, au fur et à mesure des séances avec le Dr. X, la mémoire de la jeune fille va changer. Elle va progressivement accepter le scénario d’abus sexuel formulé par le thérapeute, celui-ci lui disant notamment : « Il est possible que des hommes âgés t’aient fait du mal dans le passé ». Dans la mémoire de Sara, l’abus commis par l’ami du père va devenir progressivement plus clair et finir par être intégré comme ayant réellement été vécu par elle-même, Sara déclarant alors : « ça s’est transformé … non plus en une image mais en un petit film ».

Alors qu’au début des séances, Sara évoquait seulement quelques détails (le canapé, la robe rose, l’ami de son père), au fil de la thérapie, Sara en a fourni un plus grand nombre (le visage de cet homme, ses mains), allant même jusqu’à en ajouter d’autres dans son récit, tel que la main de l’ami de son père lui touchant les parties intimes.

Au cours du procès, il s’est avéré que les enfants, confiés aux bons soins de ce thérapeute ou d’une de ses collègues, appartenaient à des familles pauvres ou à problèmes. « Parmi les techniques utilisées, le ou la thérapeute se déguisait en un mauvais personnage des contes de fées les plus célèbres et, habillé(e) ainsi, jouait le rôle de père/mère de l’enfant dans une sorte d’approche cathartique. Les enfants confrontés à de tels personnages étaient amenés à croire que leurs parents étaient dangereux, menaçants, abuseurs, de sorte que seul le fait de les affronter dans un tel acte symbolique pouvait les libérer de leur malaise », précisent les auteurs de l’article.

Peine d’emprisonnement

Alors que le procureur avait initialement requis une peine d’emprisonnement de six ans, le tribunal a finalement condamné le Dr. X à quatre ans de prison. Le thérapeute a fait appel.

Il a également écopé d’une interdiction d’exercer des fonctions publiques pendant une période de cinq ans et de pratiquer la psychologie et la psychothérapie pendant deux ans. Le tribunal a motivé son verdict en déclarant que de faux souvenirs ont été implantés par des « méthodes hautement suggestives et inductrices » afin que Sara soit convaincue d’avoir été sexuellement abusée par son père.

Selon les auteurs de l’article, cette affaire criminelle jugée – une première en Italie – pose la question de savoir si des psychothérapeutes doivent utiliser des techniques suggestives lors des séances de thérapie. Et de citer une étude américaine publiée en 2019 dans Clinical Psychological Science qui indiquait que 9 % des 2 326 patients en thérapie s’étaient vus interrogés sur l’existence de souvenirs refoulés. Cela souligne avec force « la nécessité d’une formation appropriée et de programmes éducatifs pour les thérapeutes sur la science de la mémoire », estiment Henry Otgaar et ses collègues criminologues et psychologues.

Sur le plan médical, ce cas montre que, lors de séances de thérapie, des techniques d’entretiens inappropriées peuvent avoir un impact délétère sur la santé mentale des patients. Cela a été le cas pour Sara dont la vie a été profondément affectée et dont les relations familiales ont été bouleversées.

Concernant les implications sur le plan légal de la fabrique de faux souvenirs, les auteurs concluent que « lorsque les professionnels du droit (juges, avocats, procureurs) ont des doutes ou des questions concernant l’exactitude des témoignages de victimes, de témoins et de suspects présumés, ils devraient consulter des experts de la mémoire. Ces experts peuvent fournir aux tribunaux des informations sur la fiabilité de la mémoire en règle générale ou dans le cadre d’une affaire ».

Charlatans français

Signalons, qu’en France, un psychothérapeute, a été reconnu coupable par la justice en juin 2022 d’avoir induit de faux souvenirs traumatisants. Il a été condamné à un an de prison avec sursis pour abus de faiblesse, le parquet n’hésitant pas à le qualifier de « charlatan ». Cet « humanothérapeute » demandait à ses patients de se déshabiller intégralement pendant de longues et éprouvantes séances, dans le but de revivre des traumatismes prétendument enfouis dans leur mémoire.

En mai 2017, une kinésithérapeute a été condamnée à un an de prison avec sursis pour avoir induit, chez des patientes, de faux souvenirs d’abus sexuels qu’elles auraient subis pendant l’enfance. Ces femmes avaient décrit un mécanisme d’emprise mentale. Les faux souvenirs concernaient en majorité des faits d’inceste ou de maltraitance subis durant l’enfance. L’une des plaignantes avait accusé à tort son père de l’avoir violée.

Marc Gozlan (Suivez-moi sur Twitter, Facebook, LinkedIn, Mastodon, et sur mon autre blog ‘Le diabète dans tous ses états’, consacré aux mille et une facettes du diabète – déjà trente billets).

Pour en savoir plus :

Otgaar H, Curci A, Mangiulli I, et al. A court ruled case on therapy-induced false memories. J Forensic Sci. 2022 Sep;67(5):2122-2129. doi: 10.1111/1556-4029.15073

Otgaar H, Houben STL, Rassin E, Merckelbach H. Memory and eye movement desensitization and reprocessing therapy: a potentially risky combination in the courtroom. Memory. 2021 Oct;29(9):1254-1262. doi: 10.1080/09658211.2021.1966043

Leer A, Engelhard IM. Side effects of induced lateral eye movements during aversive ideation. J Behav Ther Exp Psychiatry. 2020 Sep;68:101566. doi: 10.1016/j.jbtep.2020.101566

Houben STL, Otgaar H, Roelofs J, et al. Increases of correct memories and spontaneous false memories due to eye movements when memories are retrieved after a time delay. Behav Res Ther. 2020 Feb;125:103546. doi: 10.1016/j.brat.2019.103546

Patihis L, Pendergrast MH. Reports of recovered memories of abuse in therapy in a large age-representative US national sample: therapy type and decade comparisons. Clin Psych Sci. 2019;7(1):3–21.

Mazzoni G, Memon A. Imagination can create false autobiographical memories. Psychol Sci. 2003 Mar;14(2):186-8. doi: 10.1046/j.1432-1327.1999.00020.x

Kaplan R, Manicavasagar V. Is there a false memory syndrome? A review of three cases. Compr Psychiatry. 2001 Jul-Aug;42(4):342-8. doi: 10.1053/comp.2001.24588

Loftus EF. Memories for a past that never was. Current Directions in Psychological Science. 1997;6(3):60–65.

Garry M, Manning CG, Loftus EF, Sherman SJ. Imagination inflation: Imagining a childhood event inflates confidence that it occurred. Psychon Bull Rev. 1996 Jun;3(2):208-14. doi: 10.3758/BF03212420

Ceci SJ, Bruck M. Suggestibility of the child witness: a historical review and synthesis. Psychol Bull. 1993 May;113(3):403-39. doi: 10.1037/0033-2909.113.3.403

Sur le web :

Le thérapeute accusé de fabriquer des faux souvenirs condamné à de la prison avec sursis (Le Monde, 12 juin 2022)

Une kiné condamnée à un an de prison avec sursis pour avoir induit de faux souvenirs (France Info, 25 mai 2017)

Links per page