Personalisering, manipulation og psykologisk kontrol

1. AI i sociale medier: Personalisering vs manipulation

Algoritmisk personalisering: Moderne sociale medier bruger AI-algoritmer til at skræddersy indhold og annoncer til hver bruger. Algoritmen samler store mængder data (hvad du liker, klikker på, søger osv.) for at forudsige dine præferencer. For eksempel kan Facebooks “like”-knap alene afsløre personligheds- og livsfakta om brugerne med høj præcision. Målet med personalisering er i udgangspunktet at øge relevans og engagement. Men i grænsen til manipulation opstår et problem, når brugerens egen værdi (nytte) reduceres til fordel for platformens profit. Bruegel-analytikere beskriver, hvordan manipulerende strategier (f.eks. timing af tilbud, “prime vulnerability moments”) kan få brugere til impulsindkøb, selv med dårlige produkter, hvilket øger platformens profit mens brugernes nytte falder. I praksis kan algoritmerne identificere, hvornår brugeren er emotionelt modtagelig (f.eks. sårbar efter en trist dag) og sende skræddersyet indhold eller reklamer, der udnytter dette til at øge salg.

Psykologiske triggers: AI-algoritmer benytter kendte psykologiske mekanismer for at fastholde brugernes opmærksomhed. Eksempler er følelsesmæssige stimuli som frygt, stolthed eller forankring. Frygt udnyttes ved at promovere sensationelle, konfliktskabende eller »ekstreme« indlæg – alt sammen for at øge engagementet. Studier viser, at algoritmer prioriterer indhold, der udløser stærke emotionelle reaktioner (især frygt eller afvisning), hvilket kan føre til øget stress og angst. Den samme mekanisme bruges til f.eks. at forstærke FOMO (“fear of missing out”), som igen øger brugernes bekymring og afhængighed af platformen. Stolthed kan udnyttes ved at belønne brugere med likes, anerkendelse og bekræftelse, hvilket er en form for social belønning, som forstærker engagementet. Ankermetaforen indgår implicit via kognitive biaser: Et algoritme-bestemt »ankerpunktsindhold« (f.eks. en stærk overskrift eller et slående billede) sætter tonen for, hvordan efterfølgende indlæg tolkes. AI-systemer kan dermed automatisk oplære en kognitiv bias hos brugeren ved løbende at præsentere indledende information, der »anker« brugerens opfattelse af emnet, og derefter udvælge nyt indhold i overensstemmelse hermed.

Eksempler og sårbare målgrupper: TikToks “For You” feed er et illustrativt eksempel på, hvordan algoritmen konstant lærer og forfiner sine anbefalinger. Amnesty International har påvist, at TikTok kan skubbe børn ind i farlige »rabbit holes« med selvskadende eller selvmordsglamoriserende indhold, selvom indholdet ikke direkte bryder platformens retningslinjer. Indhold anbefales så længe, brugeren interagerer med det, og unge brugere – hvis hjerner endnu ikke er fuldt udviklede – er særligt sårbare over for sådan vedvarende eksponering. På Facebook og Instagram kan microtargeting (f.eks. Cambridge Analytica-affæren) bruges til at målrette politiske eller kommercielle budskaber mod fx sårbare sociale grupper ved at analysere deres likes og profiler. Selv batteriniveauet på en smartphone har været brugt af Uber til at manipulere med prisfastsættelsen – et eksempel på, at kontekstuelle data kan udnyttes til at udløse følelsesmæssige reaktioner (jeg har brug for en taxa nu). Samlet set viser erfaringerne, at unge og socialt sårbare grupper ofte er i særlig høj risiko for manipulativ algoritmisk påvirkning, fordi de er mere modtagelige og mindre erfarne med kritisk online adfærd.

Algoritmernes etiske grænser og regulering: Der er voksende erkendelse af, at der må opstilles etiske grænser for AI i sociale medier. EU’s nye AI-lov (AI Act) kategoriserer ”AI-baseret manipulation” og ”udnyttelse af sårbarheder” som uacceptable formål, der skal forbydes. Samtidig stiller EU’s Digital Services Act krav om, at store platforme skal være gennemsigtige om deres anbefalingsalgoritmer: De skal blandt andet oplyse om hovedparametre og give brugerne mulighed for at justere eller slå anbefalingsfunktioner fra. I Kina er der siden marts 2022 indført strenge regler, som forbyder algoritmer at fremkalde internetafhængighed hos mindreårige og kræver indbyggede mekanismer til at sprede skadeligt indhold og beskytte unge brugere. Disse tiltag understreger en erkendelse af, at regulering er nødvendig for at forhindre, at platforme manipulerer brugernes adfærd i modstrid med brugernes bedste.

Detektion og modvirkning af manipulation: At opdage, hvornår personalisering går over i manipulation, er teknisk udfordrende. Som Bruegel-rapporten påpeger, kan det være svært at afgøre, om en algoritme blot giver optimal anbefaling eller aktivt «planlægger» at fremme indhold, der bevidst svækker brugerværdi. Forskning har dog foreslået rammer til at måle manipulationsgrad: Et studie viser f.eks. en AI, der med 70% succes kunne lede folk til et bestemt valg ved gradvist at tilpasse feedback – og understreger således, at AI kan lære menneskelige sårbarheder over tid. I praksis må det derfor kombineres med menneskelig overvågning og revisorordninger: EU’s udkast til AI-lov kræver (artiklen Human Oversight) løbende kontrol af AI-systemers resultater, og f.eks. EcEU’s kommende center for algoritmetransparens kan insistere på adgang til algoritmedata. Samtidig er offentlig oplysning og teknologikritisk dannelse afgørende: Uddannelsesprogrammer kan ruste især unge til at forstå algoritmernes mørke sider og undgå pludselig afhængighedsskabende brug.

2. Psykologisk manipulation i totalitære regimer og sekter

Informationskontrol og isolation: Totalitære regimer og sekter baserer sig ofte på streng kontrol af information og isolation. De styrer, hvad medlemmerne må læse, se og høre – og forhindrer kontakt til eksterne kilder. F.eks. isolerer man medlemmerne fra familie og venner (internater, komiteer osv.) og fremstiller omverdenen som farlig og skadelig. På denne måde begrænses alternative meninger, og kun »den ene sandhed« (ledelsens fortolkning) præsenteres. I praksis læres medlemmer »nyttige« ritualer og slogans ind, som erstatter selvstændig tænkning. I ekstreme eksempler – ligesom i kinesiske lejre eller religiøse sekter – manipulere man aktivt med besynderlige ritualer for at fremkalde lydighed. Denne isolation skaber dyb samhørighed indenfor gruppen (»os mod dem«), ligesom moderne sociale medier kan skabe ekkokamre: Algoritmer præsenterer brugere for ideologisk ensrettet indhold, hvilket – analogt til sektars isolationsstrategi – bekræfter deres allerede eksisterende forestillinger.

Følelsesmæssig manipulation (skyld, frygt, splittelse): Sekter og totalitære grupper bruger ofte følelser som frygt og skyld som kontrolmidler. Gennem fear appeals præges medlemmerne til at tro, at trusler (reelle eller indbildte) overgår dem uden for gruppen – og at lederen er den eneste beskytter. Et presset medlem kan f.eks. få at vide, at verden er ond eller korrupt (skam og skyld), mens ”sandheden” kun findes i gruppen. Lovning om fred eller frelse (fremtidspromis) står over for beskrivelser af synd og straf for dem udenfor. Dette skaber yderligere intern splittelse: Den eksterne verden fremstilles som »den anden side«, mens gruppen fremstilles som helt. Teknemetoder som splittelse (“divide and rule”) kan bruges – f.eks. ved at der sættes interne grupper op imod hinanden – for at undgå samhørighed mellem kritiske medlemmer. Disse teknikker ligner de manipulerende strategier i medierne, hvor forstærkning af frygt (eksempelvis gennem clickbait) holder brugerne fanget og får dem til at vende sig væk fra troværdige kilder.

Kognitiv kontrol (gaslighting, skyldplacering, gruppetænkning): Sekter anvender også direkte psykologiske teknikker til at underminere individets kritiske tænkning. Gaslighting er f.eks. en central taktisk komponent: Lederen (eller gruppen) får medlemmet til at tvivle på sin egen opfattelse og til at acceptere lederens version af virkeligheden. Tvivler man på parolerne, påføres ofte skyld og straf – dette skyldplaceres derefter andre (både individer eller fiendebilleder) for at fastholde gruppekohæsen. Endelig undergravning af selvstændighed styrkes af groupthink-tendenser: Medlemmerne læres at undertrykke enhver tvivl eller afvigelse for at »værne om enhed«. Som beskrevet om kulters udvidelsesfase: Indoktrineringen om kulter får medlemmerne til at mistro omverdenen, og når enkeltpersoner alligevel vil udtræde eller kritisere, møder de massiv modstand ved hjælp af netop gaslighting og gruppetryk. Det er karakteristisk, at sådanne bevægelser – om det er et fængselsopgør under totalitært styre eller en religiøs sekt – i praksis skaber en »lukket informationskrets« og et mentalt filter, der forhindrer modstand. I dagens digitale netværk kan lignende mønstre opstå i ekstreme politiske eller religiøse grupper på nettet: Ekkoeffekter og rigide fællesskaber (f.eks. online-radikaliserede grupper) fungerer efter samme principper som isolerede kultfællesskaber.

Vidensbaserede strategier til at bryde mønstrene: For at modvirke disse manipulationsmønstre er den videnskabeligt anbefalede tilgang flersidet:

• Terapeutiske interventioner og rådgivning: Erfaringer fra kultdeprogrammering viser, at professionelle, uddannede rådgivere kan hjælpe ved at anvende evidensbaserede metoder (kognitiv adfærdsterapi, traumebehandling osv.) for at genoprette individets kritiske refleksion og autonomi. I stedet for konfrontation fokuserer moderne deprogrammering på at styrke personens egen dømmekraft og tilbyde løbende psykisk støtte (f.eks. behandling af PTSD eller angst) efter fratrædelse.
• Supportnetværk og fællesskaber: Støttegrupper for tidligere medlemmer er effektive ved at bryde isolation og offerrollen. Ved at dele oplevelser med ligesindede skabes tilhør og anerkendelse udenfor den manipulerende gruppe. På samme vis kan onlinefællesskaber og ressourcer (fora, blogs, sociale netværk) give adgang til alternative perspektiver og fakta, som udfordrer gruppens fortælling. Personlige beretninger og erfaringsudveksling er også værdifulde: At læse andres opgør med ekstreme miljøer kan validere egne følelser og inspirere til forandring.
• Uddannelse og kognitiv omstrukturering: Det er vigtigt at udvikle kritisk informationskompetence hos potentielle mål og de allerede berørte. Ungdomsuddannelser og offentlig oplysning kan lære folk om manipulative greb (fx ”hvad er gaslighting?”, “paranoia vs. reel advarsel”), så de genkender taktikkerne, før de indoptages. Kognitiv omstrukturering (fx via CBT) kan bruges til at udfordre den sorte-hvide tankegang og frygtbaserede argumenter i gruppens ideologi, således at individet gradvist kan re-tænke sine antagelser. Det gælder også at genopbygge selvværd og selvtillid ved at understrege personlig autonomi – man skal genlære, at man har ret til egne holdninger og følelser uden gruppecensur.
• Gradvis udtrædelsesstrategi: I nogle tilfælde kan en kontrolleret, trinvis udtrædelse være bedst. Det indebærer langsomt at reducere engagementet i gruppens aktiviteter og opbygge kontakter til omverdenen, før man springer helt ud. Dette minimerer risikoen for repressalier og giver tid til at planlægge støtten efterudtrædelsen. Brug af internettet til at søge information kan være en del af denne proces: Online-møder og lettilgængelige ressourcer kan tilvejebringe alternative fortællinger og støtte uden for gruppens radar.

Disse strategier hviler på aktuel forskning og praksis inden for psykologisk rådgivning og radikaliseringseksit; de understreger tværfagligt samarbejde mellem psykologi, socialvidenskab og humanitære organisationer. Kort sagt handler det om at bryde isolationen, genopbygge kritisk tænkning og skabe sunde fællesskaber som modvægte til de manipulerende miljøer.