ChatGPT krijgt in de EU een onzichtbaar tekstwatermerk

Sinds 2 augustus moeten aanbieders van AI-tekst die machineleesbaar markeren (TechCrunch). Dit is OpenAI's antwoord, en het valt kleiner uit dan de regel doet vermoeden. Het watermerk heet textGrain: een statistisch signaal in de woordkeuze van het model. Je ziet het niet, het reist mee als je tekst kopieert en een detector kan het terugvinden.

Alleen EU, en alleen via ChatGPT en Codex

OpenAI zet het watermerk aan voor "eligible" gebruikers in de EU. Wie dat precies zijn, staat er niet bij. Wereldwijd kunnen API-klanten het per model aanzetten, maar standaard staat het uit. Cloudpartners volgen "in the coming weeks"; The Decoder noemt Microsoft Azure (The Decoder).

Anthropic koos in augustus de andere kant op. Claude watermerkt wereldwijd, ook via de API (TechCrunch, zie ook onze weekpost uit augustus). OpenAI hield zo'n watermerk eerder tegen, deels uit angst dat gebruikers naar concurrenten zonder watermerk zouden gaan (TechCrunch). De regionale uitrol laat die angst zien.

Hoe goed het werkt, volgens OpenAI zelf

OpenAI meet bij een foutpositief-percentage van 1 procent. Bij 400 tokens, ruwweg 300 woorden, vindt de detector het watermerk in ongeveer 95 procent van de psychologieteksten. Bij 200 tokens is dat ongeveer 80 procent. Wiskundeteksten scoren duidelijk lager, omdat er weinig keuze is in woorden (OpenAI).

Bewerken doet meer schade. Bij 400 tokens zakt detectie van ongeveer 92 naar 66 procent als 10 procent van de woorden door synoniemen wordt vervangen, en naar 17 procent bij 25 procent (OpenAI, The Decoder).

Op de kwaliteit van het model scheelt het volgens OpenAI niets. Bij Astra liggen de scores met en zonder watermerk dicht bij elkaar: 94,44 tegen 93,94 procent op GPQA Diamond, 49,57 tegen 49,76 punten op de Artificial Analysis Intelligence Index. Dat zijn OpenAI's eigen metingen op benchmarks, geen toets van schrijfkwaliteit.

Wat een watermerk niet bewijst

OpenAI somt zelf op wat een detectie niet zegt: niet wie de tekst schreef, niet wie ervoor verantwoordelijk is, niet of hij klopt. Ook het ontbreken van een watermerk bewijst niets. De tekst kan te kort zijn, bewerkt, vertaald of uit het model van een ander komen.

"A watermark does not measure human contribution. It can indicate that an OpenAI system generated or processed part of a passage, but not how much human judgment, editing, or creativity went into it."

Wie in Nederland een tekst met ChatGPT schrijft, kan er dus straks een onzichtbaar merk in hebben. Terugvinden kan een werkgever, school of uitgever voorlopig niet zelf. De detector gaat per geval naar onderzoekers en expertorganisaties, onder de Europese gedragscode voor door AI gegenereerde inhoud. Een publieke versie volgt pas "when we believe results can be interpreted responsibly". Een datum noemt OpenAI niet.

OpenAI wil textGrain ook als open source vrijgeven, en het technische rapport krijgt "in de komende weken" aanvullingen. Dit is bronnenonderzoek: we hebben het watermerk en de detector niet zelf getest.

Volgende Stap

Vragen over wat de transparantieplicht van de AI Act voor jouw organisatie inhoudt? Neem contact op.

Headerbeeld: OpenAI. Grafieken: OpenAI, via The Decoder.