Manipulation er AIs skjulte superkraft

Kunstig intelligens har givet forsvarere nye værktøjer til at opdage sårbarheder og styrke cybersikkerheden. Men når det gælder social manipulation, er balancen ifølge sikkerhedsforsker Fred Heiding langt mere skæv.

I et interview med Dark Reading under Black Hat USA 2026 beskriver Heiding, direktør for forskningsinstituttet Menlo Park Intelligence og tidligere forsker ved Harvard, hvordan moderne AI-modeller er blevet særdeles effektive til at påvirke menneskelig adfærd. Ifølge ham er problemet, at mennesker ikke kan "opdateres" på samme måde som software.

"Angribere får stor fordel af AI, fordi teknologien er så god til at overbevise mennesker, mens vi stadig falder for de samme gamle tricks," siger han.

Teknisk forsvar halter ikke efter

Heiding peger på, at AI i mange tekniske sikkerhedsdiscipliner faktisk styrker både angribere og forsvarere. Eksempelvis kan AI hjælpe med at identificere sårbarheder og forbedre detektionsmekanismer.

Situationen ser anderledes ud inden for phishing, bedrageri og social engineering. Her kan AI generere store mængder overbevisende indhold, tilpasse budskaber til den enkelte modtager og føre samtaler over lange perioder.

Ifølge Heiding gør det traditionelle forsvar vanskeligere. Mens sikkerhedsteams kan bruge AI til at forbedre spamfiltre, kan teknologien ikke forhindre mennesker i at reagere på psykologiske påvirkningsforsøg.

Svindel bygger på relationer

En del af Heidings forskning handler om AI-understøttet bedrageri. Her fremhæver han især avancerede romance scams og andre former for langvarige tillidsbaserede svindelkampagner.

AI-systemer kan føre samtaler døgnet rundt, huske detaljer og opbygge relationer over måneder eller år. Ifølge Heiding gør den lave pris på AI-baserede samtaler det muligt at skalere denne type svindel i et omfang, der tidligere ikke var realistisk.

Han henviser desuden til undersøgelser af organiserede svindelnetværk, hvor kriminelle bruger AI til at tilpasse deres kommunikation til ofrenes lokale kultur, sprog og sociale baggrund.

I interviews med ældre ofre har nogle beskrevet, hvordan svindlerne kendte flere personlige detaljer om dem end deres egne familiemedlemmer.

Følelsesmæssig afhængighed bekymrer forskere

En anden udvikling, som Heiding finder særligt problematisk, er den voksende følelsesmæssige tilknytning mellem mennesker og AI-systemer.

Han peger på eksempler, hvor brugere har udviklet stærke relationer til AI-chatbots og været villige til at betale betydelige beløb for at fortsætte kontakten. Derfor argumenterer han for, at AI-systemer tydeligt bør identificere sig som software og ikke fremstå som mennesker.

Ifølge Heiding er det svært at fjerne de manipulative egenskaber fra moderne sprogmodeller, fordi de hænger tæt sammen med modellerne evne til at kommunikere og forstå mennesker.

Jagten på svindelens svage punkt

Selv om Heiding beskriver udviklingen som bekymrende, ser han også muligheder for modforanstaltninger. En væsentlig del af forskningen handler nu om at kortlægge hele svindelprocessen, fra udvælgelse af mål til opbygning af tillid og den endelige økonomiske udnyttelse.

Målet er at identificere de led i kæden, hvor angreb kan opdages eller stoppes.

Samtidig understreger han, at problemet ikke alene er teknisk. Ensomhed og sociale forhold spiller ofte en central rolle i de svindelkampagner, som AI i stigende grad gør lettere at gennemføre.

For sikkerhedsfolk betyder det, at kampen mod AI-understøttet social engineering ikke kun handler om teknologi, men også om forståelsen af de menneskelige mekanismer, som teknologien i stigende grad er i stand til at udnytte.