In de wereld van sociale media, met name op X (het voormalige Twitter), hebben door AI gegenereerde profielfoto’s een nieuwe rol gekregen: ze dienen als instrumenten voor gecoördineerde manipulatie. Duitse onderzoekers uit instellingen zoals de Ruhr-universiteit Bochum, het GESIS Leibniz-instituut en het CISPA Helmholtz-centrum hebben dit fenomeen aan het licht gebracht door bijna 8.000 accounts te identificeren die gebruikmaken van deze synthetische gezichten.
De opkomst van AI in manipulatie
De mogelijkheden van generatieve AI hebben de grenzen tussen echt en nep vervaagd, waardoor het voor de gemiddelde X-gebruiker steeds moeilijker wordt om te bepalen wat echt is en wat niet. Deze AI-gegenereerde beelden worden ingezet om politieke berichten te versterken en crypto scams te promoten.
Onderzoek en bevindingen
Uit het onderzoek bleek dat:
- Meer dan de helft van de geïdentificeerde accounts in 2023 zijn aangemaakt, vaak in bulk. Deze bulkcreaties zijn indicatief voor accounts die specifiek zijn opgezet voor het versterken van berichten of het uitvoeren van desinformatiecampagnes.
- De accounts met AI-gegenereerde profielfoto’s vertonen unieke patronen. Bijvoorbeeld, ze hebben aanzienlijk minder volgers (gemiddeld 393,35, mediaan 60) dan accounts met echte afbeeldingen (gemiddeld 5.086,38, mediaan 165). Deze accounts hebben ook minder interactie met hun volgers, wat wijst op een gebrek aan authentieke betrokkenheid.
- Er is een opvallende uniformiteit in het aantal volgers van veel van deze accounts, met 1.996 accounts die precies 106 volgers hebben, wat wijst op een gecoördineerde actie.
- De inhoud van deze accounts varieert, maar richt zich vaak op controversiële politieke kwesties zoals de oorlog in Oekraïne, de Amerikaanse verkiezingen, en discussies over COVID-19 en vaccinatie. Daarnaast worden ook cryptofraude en seksgerelateerde content gepromoot.
Bredere context en impact
Het gebruik van door AI gegenereerde media krijgt extra betekenis in de context van recente analyses, zoals die van het Center for Countering Digital Hate, die onthult dat berichten van X-eigenaar Elon Musk, die Trump bevoordelen, 17,1 miljard keer bekeken werden. Dit wijst op een enorm grote invloed van platformeigenaren op de publieke perceptie en informatieconsumptie.
Toekomstige richtingen
De onderzoekers streven ernaar hun detectiemethoden te verfijnen en te verruimen om AI-afbeeldingen van verschillende generatieve modellen te herkennen, zoals Diffusion-modellen. Bovendien willen ze hun methodologie verbeteren om nog effectiever gecoördineerde niet-authentieke gedragingen op sociale platforms te identificeren.
Dit onderzoek onderstreept echter het belang van kritisch denken bij het analyseren van online content en benadrukt de noodzaak voor betere tools en strategieën om misbruik van AI in digitale communicatie tegen te gaan.
