Hoe (on)betrouwbaar AI-controletools zijn – hoe vals-positieven ontstaan en hoe je er het beste mee om kunt gaan

Kunstmatige intelligentie (AI) – de nieuwe technologie zorgt voor opschudding, maar ook voor onzekerheid. Hoe weet je zeker dat de tekst die je bestelt echt uit de creatieve pen van een echte schrijver komt? Zijn AI-controletools de oplossing en hoe interpreteer je de resultaten van deze toepassingen? Wij hebben wat onderzoek voor je gedaan en geven je inzicht in wat er zich achter de schermen afspeelt bij Textbroker en welke rol AI-controletools hierin spelen.

Hoe werkt een AI-controletool eigenlijk?

Wees eerlijk – toen je zo’n tool voor het eerst gebruikte, dacht je dat het percentage je zou vertellen hoeveel van de tekst was gemaakt met AI, nietwaar? Je hoort immers overal dat AI-controletools beloven teksten te herkennen die zijn gemaakt met ChatGPT of vergelijkbare AI-tekstgeneratoren. Helaas is dit niet helemaal correct. Zulke tools werken met waarschijnlijkheden en geven je eigenlijk geen andere informatie dan dit: met een waarschijnlijkheid van X procent is de gecontroleerde tekst gemaakt met AI.

Hoe weten AI-tools dat? Het principe erachter is heel eenvoudig. In principe zijn deze AI-controletools zelf gebaseerd op een taalmodel met kunstmatige intelligentie zoals ChatGPT. De tools gebruiken dit om te controleren hoe waarschijnlijk het is dat de gecontroleerde tekst is gemaakt met behulp van AI. De AI-controletool berekent welk woord in de tekst het meest waarschijnlijk volgt. Omdat de AI met vergelijkbare taalmodellen werkt, resulteert dit in een hoge mate van overeenkomst voor AI-teksten. Als de tekst echter door een mens is geschreven, zouden de afwijkingen zo groot moeten zijn dat de AI-controletool de tekst identificeert als handmatig gemaakt – tot zover de theorie.

Een ander punt dat AI-controleprogramma’s checken zijn spelfouten en grammaticale fouten. Fouten in teksten zijn vervelend, maar ze zijn menselijk. AI maakt daarentegen geen spelfouten, dus een absoluut foutloze tekst kan een indicatie zijn van een AI-gegenereerde tekst. Dit betekent natuurlijk niet automatisch dat een foutloze tekst gegenereerd is door AI – of dat fouten automatisch een bewijs zijn van menselijke creatie. AI is niet onfeilbaarder dan een mens.

Creativiteit vs. waarschijnlijkheid

Twee andere factoren die zulke AI-controletools controleren zijn “perplexiteit” en “barstigheid”. In beide gevallen geeft een hoge score aan dat een mens de tekst geschreven zou moeten hebben.

Perplexiteit

Je kunt gemakkelijk herkennen wat perplexiteit betekent in teksten door naar een paar voorbeelden te kijken:

De eerste zin heeft een zeer waarschijnlijk vervolg, wat een lage perplexiteit betekent. De inhoud bouwt logisch op elkaar voort en het tweede deel van de zin is precies wat de lezer waarschijnlijk zou verwachten. En dit is precies de kern van de zaak: AI genereert heel vaak zinnen met een voorspelbare inhoud, omdat kunstmatige intelligentie de creativiteit mist die onze auteurs inbrengen bij het maken van teksten.

Teksten met een hoge mate van verbijstering lijken daarentegen meer op de tweede zin. Er is een wending in het verhaal die ver afstaat van de inhoud van het eerste deel. Het is onwaarschijnlijk dat de AI zo’n zin maakt. Kunstmatige intelligentie maakt bijna altijd plausibele zinnen met een voorspelbare wending.

Barstigheid

De AI-controletools gebruiken dan Barstigheid om de variatie binnen de zinnen te evalueren. Dit heeft voornamelijk betrekking op de lengte en structuurvan de zinnen. De AI bouwt zinnen graag op volgens hetzelfde patroon en handelt repetitief. Dit betekent dat de lengte van de zinnen meestal constant is en er weinig variatie is. Mensen daarentegen gebruiken meestal een mix van korte en lange zinnen, wisselen af tussen de actieve en passieve stem of gebruiken verschillende zinsconstructies. Een hoge score voor burstiness is daarom een teken dat de tekst door een mens is geschreven.

AI-controletools zijn niet onfeilbaar

Het feit dat controletools AI-teksten kunnen identificeren klinkt op het eerste gezicht goed. Helaas zijn de tools echter niet onfeilbaar. Dit is voornamelijk te wijten aan het feit dat de controleprogramma’s en technologie voortdurend evolueren, net als de AI-tekstgeneratoren. De resultaten van AI-controletools zijn daarom niet absoluut betrouwbaar en helaas is het niet ongewoon dat er zogenaamde vals-positieven optreden, d.w.z. resultaten waarbij door mensen geschreven teksten ten onrechte worden gecategoriseerd als door AI gegenereerd.

De precisie wordt geschat op ongeveer 60 % in eerdere tests vanaf 2023 in de Duitse taal. Dit resultaat omvat teksten die afkomstig zijn van de AI en niet worden geïdentificeerd, evenals een tekst die door een mens is geschreven en door de testtool wordt gecategoriseerd als door AI gegenereerd.

Mogelijke redenen voor vals-positieven

Vooral de punten van perplexiteit en barstigheid leiden vaak tot onjuiste resultaten. Bepaalde tekstsoorten hebben bijvoorbeeld een specifieke structuur of laten weinig vrijheid wat betreft formulering en creativiteit. Nieuwsartikelen of lijstartikelen moeten bijvoorbeeld een zeer specifieke verwachte structuur volgen. Bedrijfs- en dienstbeschrijvingen vereisen ook bepaalde inhoud en bewoordingen.

Teksten waarin de auteur bepaalde formuleringen moet opnemen of zich moet onthouden van duidelijke uitspraken vanwege juridische voorwaarden, zijn ook gevoelig voor vals-positieven. Dit is bijvoorbeeld het geval bij teksten uit de gezondheidszorg of de financiële sector: hier moeten auteurs beloften over effectiviteit vermijden en daarom verwachte formuleringen en hulpparafrases gebruiken die vaak worden toegeschreven aan AI-tekstgeneratoren.

Korte teksten zijn soms ook problematisch. Er is gewoon niet genoeg bewijs beschikbaar voor de tool om een objectieve beoordeling te maken. Daarom moeten de resultaten van AI-controletools worden gezien als een indicatie, maar zeker niet als een onfeilbaar resultaat. Voor AI-detectietools geldt daarom hetzelfde principe als voor alle andere tools: ze zijn gemaakt door mensen voor mensen en er moet altijd een gebruiker zijn die de resultaten controleert en interpreteert!

een houten hand met een Scrabble-tegel

Hoe betrouwbaar zijn AI-controletools nu echt?

Om precies te begrijpen hoe vals-positieven mogelijk zijn, laten we eens kijken naar welke informatie een AI-verificatietool je eigenlijk geeft in deze resultaten. Deze tools geven je geen absoluut antwoord op de vraag of een tekst is gegenereerd door een AI. In plaats daarvan beoordelen de tools de procentuele kans dat een tekst afkomstig is van een mens of een AI. Een percentage van 75 betekent bijvoorbeeld niet dat een AI zoals ChatGPT en Co. 75% van de tekst heeft gegenereerd. Dit betekent alleen dat de waarschijnlijkheid dat de AI werd gebruikt in een of andere vorm van schrijven 75% is volgens deze tool.

Je kunt meer te weten komen over hoe je de resultaten moet interpreteren in het blogartikel van Originality.ai over dit onderwerp. Copyleaks geeft ook goede voorbeelden van wat valt onder AI-gebruik voor zijn tool in deze PDF met de meest gestelde vragen over de AI-detector.

De beheerders van AI-controletools adverteren met een hoog nauwkeurigheidsniveau. Ze noemen vaak trefpercentages van meer dan 90%. Omgekeerd betekent dit echter ook dat zelfs de aanbieders zelf hun eigen tools niet als foutloos categoriseren. Vals-positieven – d.w.z. gevallen waarin een mens een tekst heeft geschreven en de tool om verschillende redenen aanneemt dat de AI de auteur is – kunnen zeker voorkomen. De beheerders benadrukken dit zelf in hun FAQ’s en blogberichten, zoals je hieronder kunt lezen. Dit is natuurlijk vooral vervelend voor de auteur, die veel moeite heeft gedaan om de tekst te maken en geen AI heeft gebruikt. We hebben twee van de bekendste AI-controletools op de markt getest en veel interessante ontdekkingen gedaan.

Onze test: dit zijn de resultaten

We hebben vier Duitse testteksten door de testtools gehaald: twee categoriebeschrijvingen voor een fictief online koffieverkoopportaal en twee dienstbeschrijvingen voor een fictieve slotenmaker. Eén daarvan is geschreven door menselijke auteurs, de andere twee door kunstmatige intelligentie. Waarom deze tekstsoorten? Omdat onze ervaring is dat teksten met voorspelbare inhoud en voorspelbare bewoordingen gevoeliger zijn voor vals-positieven dan tekstgenres waarin auteurs meer creatieve vrijheid hebben.

We hebben expliciet voor teksten in het Duits gekozen om te testen hoe de tools presteren. Veel AI-controletools zijn in eerste instantie ontwikkeld voor de Engelse taal en laten betere resultaten zien in het Engels (zoals bijvoorbeeld te lezen is in de FAQ’s van Copyleaks). Wij wilden specifiek testen of de resultaten ook betrouwbaar zijn voor Duitstalige teksten. Daarnaast hebben we onze vier teksten in verschillende invoerformaten geüpload: één keer direct als Word-bestand en één keer via het tekstinvoerscherm op de website van de AI-controletool, telkens met en zonder HTML-opmaak.

Eén heel belangrijk ding vooraf: Het aantal geteste teksten is natuurlijk klein, daarom kunnen en willen we geen uitspraken doen over de statistische nauwkeurigheid van de resultaten van de tools. Deze test dient puur ter illustratie en is bedoeld als stof tot nadenken.

Copyleaks in de test

Copyleaks is de eerste tool in de test:

De tool markeert de eerste, menselijke tekst drie keer als 0% AI – alleen wanneer de tekst direct wordt ingevoerd zonder HTML is Copyleaks er zeker van dat de tekst 100% AI is – en heeft het op dit punt mis. Voor de tweede tekst, die ook is geschreven door een menselijke auteur, laat de Copyleaks AI Detector slechts twee keer zien dat de tekst duidelijk afkomstig is van een menselijke hand. Wanneer de tekst echter wordt geüpload zonder HTML-opmaak, heeft de tool het weer mis en toont 100% AI. Precies dit resultaat wordt herhaald voor tekst drie en vier – hoewel deze volledig door de AI zijn gegenereerd.

Het is belangrijk om dit te weten: De HTML-opmaak wordt bij het uploaden in beide formulieren omgezet in zogenaamde “HTML-entiteiten”. Dit lijkt het resultaat te vervormen. Dus hier is een basisadvies: Als je teksten wilt laten controleren, kun je dat het beste doen zonder HTML-opmaak!

Originality.ai in de test

We herhalen exact dezelfde test met Originality.ai, specifiek het meertalige model dat is ontworpen voor andere talen dan Engels:

De tool beoordeelt de eerste tekst, geschreven door een mens, als 50 tot 51% AI-gegenereerd. Voor de tweede tekst, die ook van een menselijke auteur komt, geeft Originality.ai zelfs 97 tot 100% AI aan. Originality.ai identificeert de derde tekst correct als 100% AI, ongeacht de vorm waarin we deze uploaden. Voor de vierde tekst toont het echter de teksten met HTML-opmaak als AI-gegenereerd met een waarschijnlijkheid van slechts 6%. Bij uploaden zonder HTML is het resultaat weer correct met 100% AI.

Wat de beheerders van de tools zeggen

We hebben ook de beheerders van de AI-controletools Copyleaks en Originiality.ai gevraagd naar de nauwkeurigheid van hun tools. Wat we van hen wilden weten was onder welke omstandigheden de tools de beste resultaten leveren, waarom er vals-positieven kunnen optreden en of het gebruik van schrijftools zoals spellingscontrole en stijlcontrole ook van invloed kan zijn op het resultaat. We ontvingen van beiden feedback per e-mail, die we hier hebben samengevat.

Copyleaks

Volgens de provider geeft de AI Detector alleen betrouwbare informatie vanaf een bepaalde tekstlengte. Dit is 350 tekens als je de browserextensie gebruikt en 255 tekens voor de webapplicatie. Copyleaks schrijft vals-positieven toe aan het gebruik van extra tools die teksten optimaliseren. LanguageTool.org biedt bijvoorbeeld een functie waarmee je zinnen kunt herformuleren naast de spellingscontrole. Hier wordt AI gebruikt en de AI-controletools kunnen dit herkennen. Copyleaks heeft het hier echter niet over valse-positieven, maar over een correcte identificatie:

“Hoewel hulpmiddelen voor schrijfondersteuning al enige tijd gebruik maken van AI, zijn veel platforms geëvolueerd naar het gebruik van Large Language Models (LLM’s) om delen van de inhoud te herschrijven, wat ertoe kan leiden dat de tekst als AI wordt gelabeld, wat technisch gezien geen vals-positief is, maar eerder een correcte herkenning van AI-inhoud.” (vertaald uit het Engels).

Een ander punt is de taal. Volgens Copyleaks werkt de controletool het beste met Engelse teksten. De AI-controletool ondersteunt ook andere talen zoals Duits, Frans of Italiaans, maar de betrouwbaarheid is hier nog niet zo hoog.

Copyleaks benadrukt dat ze in interne tests met 1000 teksten in het Engels geen vals-positieven hadden toen de teksten werden gecorrigeerd door een spellingscontrole:

“Om te bepalen vanaf welke drempel inhoud die is bewerkt door schrijfassistenten als AI wordt bestempeld, hebben we een test uitgevoerd met twee AI-gestuurde schrijfprogramma’s: Grammarly en de Copyleaks schrijfassistent.

Voor de test werden 1.000 willekeurige bestanden verzameld uit een openbare essaydataset van Engelstalige teksten. De dataset is ontworpen om alleen in het Engels te zijn en bevat geen AI. De essays werden vervolgens bewerkt met Copyleaks Writing Assistant en Grammarly. Dit zijn de resultaten: Duizend door mensen gemaakte bestanden werden bewerkt met Copyleaks Writing Assistant, met een gemiddelde van ongeveer 35% aan wijzigingen in elk bestand. Deze bijgewerkte bestanden werden gescand met de Copyleaks AI Detector. Alle 1000 bestanden werden herkend als menselijke inhoud.“ (Vertaald uit het Engels; Copyleaks geeft meer informatie in de blogpost “Do Writing Assistants Like Grammarly Get Flagged As AI?”)

Als er daarentegen functies voor de verbetering van de zinsstructuur worden gebruikt, identificeerde de controletool 31,6% van de teksten als AI-gegenereerd. Copyleaks noemt de volgende belangrijkste redenen voor vals-positieven: “Hoewel de Copyleaks AI-detector een vals-positief percentage van 0,2% heeft, bestaat altijd de mogelijkheid dat een door mensen gegenereerde tekst als AI wordt bestempeld. Dit kan om verschillende redenen gebeuren: De inhoud werd bewerkt met een schrijfassistent die genAI-gestuurde functies gebruikt zoals GrammarlyGo, die waarschijnlijk als AI wordt gecategoriseerd. De inhoud is aangepast met een tekstspinner of vergelijkbaar hulpmiddel. AI werd gebruikt om een schets of sjabloon te maken.” (Vertaald uit het Engels)

Copyleaks publiceerde onlangs ook een artikel dat deze feiten nog eens uitlegt: “How Does AI Detection Work?”. Gedetailleerde uitleg is ook beschikbaar in hun PDF met de meest gestelde vragen over de tool Copyleaks.

Originality.ai

De feedback van Originality.ai, die ons verwijst naar hun gedetailleerde helpcentrumartikel, is vergelijkbaar. De leverancier benadrukt ook dat een score van 40% niet betekent dat de AI 40% van de tekst heeft gemaakt.

“Onze AI-detector geeft de waarschijnlijkheid aan dat een stuk inhoud afkomstig is van AI of origineel (gemaakt door mensen). Het geeft een vertrouwensscore. 60 % origineel en 40 % AI betekent dat het model de inhoud als origineel beschouwt (geschreven door mensen) en 60 % vertrouwen heeft in zijn voorspelling.” (Bron: Originality.ai, “AI Detection Score Meaning”)

De tool beoordeelt dus de waarschijnlijkheid dat AI op de een of andere manier werd gebruikt bij het maken van de tekst. Dit kan ook betekenen dat de AI alleen is gebruikt als hulpmiddel voor het plannen van inhoud of voor spellingcontrole (bron: Originality.ai, “Most Common Reasons for False Positives With Originality” ). In een bericht over vals-positieven gaat Originality.ai zelfs zo ver om te zeggen: “Als er ook maar iets van AI in aanraking komt met de inhoud, kan dat ertoe leiden dat het hele artikel als AI wordt bestempeld.” (Vertaald uit het Engels; bron: Originality.ai, “AI Content Detector False Positives – Accused Of Using Chat GPT Or Other AI?”).

google-logo-op-glazen-gebouw

Waarom is het eigenlijk zo belangrijk om AI te identificeren bij het maken van teksten?

Veel klanten vinden het belangrijk dat de teksten niet van de AI afkomstig zijn. Daar zijn goede redenen voor. Ten eerste is een tekst die van een echte auteur komt over het algemeen van hogere kwaliteit en heeft meer diepgang. Ten tweede gaat het ook om de nauwkeurigheid van de inhoud. Dit geldt vooral voor de zogenaamde YMYL-onderwerpen (Your Money Your Life). Als het gaat om onderwerpen als gezondheid, recht of financieel advies, moet de informatie absoluut betrouwbaar en inhoudelijk correct zijn. De deskundigheid en het nauwgezette onderzoek van de auteur wegen hier veel zwaarder dan de mogelijkheden van AI.

Ook bestaat de vrees dat AI-gegenereerde teksten lager zullen scoren in zoekmachines. Om deze redenen geven wij bij Textbroker jou als klant de mogelijkheid om bij het opstellen van de briefing te kiezen of en in welke mate je kunstmatige intelligentie wilt toelaten in het tekstcreatieproces.
Maar één belangrijke vraag blijft: maakt het Google eigenlijk wel uit of een tekst door een mens is geschreven of door AI is gegenereerd? Google zegt zelf dat de kwaliteit van de inhoud de hoogste prioriteit heeft:

“Onze focus ligt op de kwaliteit van de inhoud en niet op hoe deze wordt geproduceerd. Hierdoor kunnen we al jaren betrouwbare zoekresultaten van hoge kwaliteit leveren.” (Bron: Google-zoekgids voor AI-gegenereerde inhoud)

De internetgigant benadrukt dat gebruikersgerichte content centraal staat. Het belangrijkste is dat je inhoud toegevoegde waarde heeft voor gebruikers!

Dit roept ook de vraag op of Google echt betrouwbaar AI-inhoud kan herkennen. In dit verband moet de E-E-A-T-update van Google worden genoemd, als onderdeel waarvan de zoekmachine-exploitant zijn richtlijnen voor kwaliteitsbeoordelaars heeft uitgebreid. E-E-A-T staat voor “Experience” (Erfahrung), “Expertise” , “Authoritativeness” (Autoriteit) en “Trustworthiness” (Betrouwbaarheid). Dit brengt ons terug bij de hierboven genoemde toegevoegde waarde of wat Google “nuttige inhoud” noemt: gebruikers moeten erop kunnen vertrouwen dat de inhoud betrouwbaar, nauwkeurig en uniek is en afkomstig van een persoon met ervaring en expertise.  Google rangschikt inhoud die aan deze criteria voldoet hoger. Dit geldt vooral voor teksten die zijn geschreven door echte auteurs – of in ieder geval grondig en nauwgezet door hen zijn gereviseerd.

Onze afsluitende tips voor het omgaan met vals-positieven

Het is begrijpelijk dat klanten teksten willen die volledig zonder kunstmatige intelligentie zijn gemaakt en wij willen dit natuurlijk garanderen. Daarom controleren we alle teksten altijd met onze eigen controletool. Als onze AI-checker een zogenaamd “verdachte” tekst vindt, voeren we ook een handmatige controle uit.

Bij deze beoordeling vertrouwen we op onze ervaring, ons competente team van redacteuren en het feit dat ee ons in de loop der jaren grondig vertrouwd hebben gemaakt met de schrijfstijl van onze auteurs. We vertrouwen dus niet uitsluitend op een AI-coontroletool, maar eerder op een combinatie van verschillende evaluatiecriteria en de expertise van ervaren medewerkers om de teksten correct te categoriseren.

Toch kan het natuurlijk gebeuren dat een extern AI-controleprogramma het gebruik van AI bij het maken van teksten verdenkt als je je teksten zelf controleert. Zoals gezegd betekent de aanname van een AI-tool echter niet automatisch dat de tekst door of met behulp van kunstmatige intelligentie is gemaakt. Als je expliciet een tekst wilt met een score van 0 procent AI in een tool naar keuze, kun je dit met de auteur bespreken als onderdeel van een DirectOrder. Natuurlijk zijn we ook beschikbaar als aanspreekpunt als je ondersteuning nodig hebt of verdere vragen hebt over dit onderwerp.

Voor jij als klant betekent dit dat het goed en juist is dat dergelijke tools bestaan, omdat ze nuttig kunnen zijn en je aanwijzingen kunnen geven. Je moet de resultaten echter altijd met voorzichtigheid behandelen en analyseren op mogelijke redenen voor vals-positieven:

Is de tekst lang genoeg voor een zinvol resultaat?
Heb je de juiste tool voor jouw taal gekozen?
Vereist de tekst bepaalde inhoud, structuur en formulering die het resultaat kunnen beïnvloeden?
Had de auteur eenvoudigweg spelling- en stijlcontroletools kunnen gebruiken om het resultaat te optimaliseren?

Als je rekening houdt met deze punten en de resultaten van de AI-testtools altijd bekijkt met een dosis gezond verstand, kom je zeker tot een goede beoordeling. En zo niet? Dan staan wij natuurlijk voor je klaar – met onze kennis, onze ervaring en onze beproefde freelance community.

Wat zijn jouw ervaringen met AI-testtools? Deel ze met ons in de comments!