Hij legt zijn benen op het bureau, krabt even onder zijn oksel en zet zijn handen op zijn achterhoofd. De Haagse skyline baadt in een oranje gloed, maar hij ziet het niet. Hij ziet die eenzame wagon op het spoor, de gebogen rails aan het einde, de lege vlakte… De geschiedenis van Westerbork, ook die na de Tweede Wereldoorlog: hoe moet hij dat goed in premierwaardige woorden vatten? Hij zucht, haalt zijn telefoon uit zijn zak en opent ChatGPT.
Uit onderzoek van de Volkskrant bleek dat premier Rob Jetten veelvuldig gebruik maakt van AI om zijn sociale mediaberichten te schrijven. Om dat aan te tonen, gebruikten de journalisten AI-detectoren om het AI-aandeel in de teksten op te sporen. Los van de vraag of het juist is dat de premier zijn teksten uitbesteedt aan een robot, struikelde ik over iets anders: de ene machine moet het gebruik van de andere machine aantonen.
Vooropgesteld: het is mijn eer te na om mijn teksten door een taalmodel te laten schrijven. Dat betekent niet dat ik AI compleet uit mijn leven heb gebannen. Soms kan het handig zijn, bijvoorbeeld om een toetje te bedenken (volgende keer toch gewoon weer een recept van Nigella) of na te denken over de kleur van de nieuwe tegels in de wc (ik kan niet kiezen). Maar schrijven? Nee, dat proces vind ik zelf veel te leuk. Bovendien zijn het mijn ideeën, mijn denkproces, mijn gevoel, mijn zoektocht naar het meest precieze woord, mijn self-highfive als ik weer een stukje op Substack publiceer. Mijn creativiteit.
Maar het idee dat de ene machine de andere controleert, dat liet me niet los. Want hoe goed zijn die machines eigenlijk? Ik nam de proef op de som. Ik zocht drie stukken uit (n=3): de meest recente Naast het nieuws (Verdwijnpunt), een verhaal dat ik BC (before ChatGPT) op een schrijfcursus schreef, en een stuk over verticale landbouw dat ik dit voorjaar voor de cursus Wetenschapsjournalistiek van SCW maakte. Deze stukken plakte ik in een zestal AI-detectoren. Ze gaven de volgende percentages voor het aandeel AI in mijn teksten:
Ai. Volgens Humalingo ben ik een robot, want zelfs het stuk van voor het ChatGPT-tijdperk is van een hoog AI-gehalte. Grammarly merkt op dat het stuk over verticale landbouw AI-achtig klinkt. Misschien ligt het aan de mevrouw van Glastuinbouw Nederland die wel erg veel jargon gebruikte (iets wat ik zelf beter had moeten vertalen). Ook GetSolved en ZeroGPT denken dat er AI in het spel is. Maar door Quillbot en Pangram word ik tenminste voor mens aangezien, met al mijn fouten en kneuzige zinnen.
Kortom, de detectoren lijken het onderling niet erg eens te zijn over mijn menselijke kwaliteiten. Maar wat gebeurt er als ik een andere versie van hetzelfde verhaal laat analyseren? Het stuk over verticale landbouw heb ik namelijk recentelijk geëdit voor mijn portfolio (te lezen via deze link: verticale landbouw). Stiekem verwacht ik dat mijn mooie gepolijste zinnen in de nieuwe versie alle alarmbellen laten rinkelen bij de detectoren. Ik plak beide versies in de daarvoor bestemde velden en krijg dan deze percentages AI terug:
Alleen Grammarly voldoet aan mijn verwachtingen, met die ene procent extra. Maar ZeroGPT vindt het menselijke aandeel nu juist duidelijker aanwezig (ik heb het jargon van de Glastuinbouw-mevrouw goed aangepast).
De percentages AI liggen ver uit elkaar. Eerlijk gezegd heb ik geen vertrouwen in Humalingo en GetSolved: niet omdat ze het hoogste percentage geven (nou ja, ook), maar omdat ze een stuk geschreven voor de geboorte van ChatGPT als AI aanmerken. Of ligt dat aan mijn schrijfstijl?
Wat elke detector precies berekent en vertaalt in een AI-percentage, is onbekend. Maar veel detectoren kijken onder andere naar voorspelbaarheid en variatie in zinslengte. Als het model de rest van de zin kan voorspellen, kan de tekst aangemerkt worden als AI. Taalmodellen vinden hun eigen tekst dus weinig verrassend. Weinig variatie in zinslengte kan ook een rood vlaggetje voor AI zijn. Dus als je, zoals ik, graag grammaticaal correcte zinnen produceert, en soms een beetje wetenschappelijk klinkt (ik kan het niet afleren), dan kan dat tegen je werken. Eén lichtpuntje: Pangram, volgens onderzoek van het National Bureau of Economic Research het meeste betrouwbare detectiemodel, is heel sterk in het onderscheiden van teksten van mensen en robots. Gelukkig ziet Pangram mij nog steeds als 100% menselijk.
En wat vindt ChatGPT er zelf van? ‘Het meest interessante vind ik misschien iets anders: de vraag “Is deze tekst door AI geschreven?” is eigenlijk een andere vraag dan “Is deze tekst goed, origineel, betrouwbaar of door een mens doordacht?” Die twee worden in de praktijk nogal gemakkelijk door elkaar gehaald. AI-detectie meet uiteindelijk vooral tekstuele waarschijnlijkheid, niet auteurschap.’
Als je dat maar onhoudt, Chat.
Wetenschappelijk onderzoek naar verschillende AI-detectoren:
https://www.nber.org/papers/w34223
https://link.springer.com/article/10.1007/s40979-026-00226-w