OpenAI plant, in den kommenden Wochen unsichtbare Wasserzeichen in von ChatGPT und Codex generierten Texten für berechtigte Nutzerinnen und Nutzer in der Europäischen Union einzuführen. Das Unternehmen stellte die Maßnahme als Teil seiner Reaktion auf die Transparenzanforderungen im Zusammenhang mit der europäischen KI-Verordnung vor. Das technische Signal allein ist jedoch kein schlüssiger Beweis dafür, dass ein Text von einer Person oder einem Modell verfasst wurde.
Die Technologie heißt textGrain. Anstatt sichtbare Zeichen oder verborgene Formatelemente hinzuzufügen, integriert sie ein statistisches Signal in die Wortauswahl des Modells. Ein Detektor kann nach diesem Muster im Text suchen und abschätzen, ob er ein Wasserzeichen von OpenAI enthält.
Die Einführung unterscheidet sich je nach Produkt und API
Laut der Ankündigung von OpenAI wird das Wasserzeichen in ChatGPT und Codex den Ausgaben berechtigter Nutzerinnen und Nutzer in der EU hinzugefügt. Das Unternehmen hat in den verfügbaren Informationen nicht präzisiert, nach welchen Kriterien die Berechtigung bestimmt wird.
Bei bestimmten Modellen seiner API können Kundinnen und Kunden weltweit das Wasserzeichen dagegen freiwillig aktivieren. Die Funktion bleibt standardmäßig deaktiviert. OpenAI hat außerdem mitgeteilt, daran zu arbeiten, das Wasserzeichen über Cloud-Dienstanbieter anzubieten, hier jedoch keine Angaben zum Umfang dieser Verfügbarkeit gemacht.
Der Detektor wird zunächst nur eingeschränkt zugänglich sein: Zugelassenen Forschenden und Fachorganisationen steht es frei, Zugang zu beantragen. Dass eine Ausgabe mit einem Wasserzeichen versehen ist, bedeutet daher nicht, dass jede empfangende Person dies direkt mit einem öffentlichen Tool überprüfen kann.
Die Erkennung hängt vom Text und seiner Bearbeitung ab
OpenAI beschreibt textGrain als eine noch junge Technologie und warnt, dass es zu falsch positiven Ergebnissen kommen kann – also dazu, dass ein Wasserzeichen erkannt wird, obwohl keines vorhanden ist – und zu falsch negativen Ergebnissen – also dazu, dass ein vorhandenes Wasserzeichen nicht erkannt wird. Die Leistung hängt außerdem von der Länge und der Art des Inhalts ab. Kurze und technische Texte bieten dem Modell möglicherweise weniger Spielraum, ein erkennbares statistisches Muster einzufügen.
In von dem Unternehmen mitgeteilten Auswertungen erkannte der Detektor in Tests mit psychologischen Inhalten rund 80 % der 200-Token-Fragmente und 95 % der 400-Token-Fragmente. Dabei wurde eine angestrebte Falsch-Positiv-Rate von 1 % zugrunde gelegt. Diese Ergebnisse gelten für Auswertungen unter bestimmten Bedingungen und sind keine Garantie für Genauigkeit bei beliebigen Texten oder im alltäglichen Einsatz.
Bearbeitungen können das Signal erheblich abschwächen. In einem von OpenAI angeführten Test sank die Erkennungsrate von 92 % auf 17 %, nachdem in 400-Token-Fragmenten 25 % der Wörter durch Synonyme ersetzt worden waren. Das Ergebnis zeigt eine Einschränkung des Systems bei Textänderungen; daraus lässt sich nicht schließen, dass jede Art der Bearbeitung zu einem gleich starken Rückgang führt.
Was ein Wasserzeichen anzeigen kann – und was nicht
Ein positiver Nachweis kann darauf hindeuten, dass der Text das mit einem Wasserzeichen von OpenAI verbundene Muster aufweist. Er identifiziert nicht die nutzende Person, gibt ihre Anweisungen nicht preis, bestimmt nicht, wie viel Arbeit von Menschen geleistet wurde, und weist nicht aus, wem die Rechte am Inhalt gehören. Ebenso wenig bestätigt er, dass die Informationen korrekt sind.
Umgekehrt beweist ein fehlendes Signal nicht, dass der Text von einem Menschen verfasst wurde. Es kann wegen der Kürze oder der Art des Inhalts, aufgrund späterer Änderungen oder deshalb unentdeckt bleiben, weil der Text mit einem Modell erzeugt wurde, das textGrain nicht verwendet.
OpenAI ordnet die Einführung in den Kontext der Transparenzpflichten des EU-KI-Gesetzes ein. Dieser Zusammenhang ist als der Rahmen zu verstehen, auf den sich das Unternehmen beruft, um seine Entscheidung zu erläutern: Die verfügbaren Informationen erlauben nicht die Aussage, dass die Verordnung eine Kennzeichnung jedes generierten Textes auf genau diese Weise vorschreibt. Das Wasserzeichen ist ein technisches Identifizierungsinstrument mit Einschränkungen, die das Unternehmen selbst einräumt. Es ersetzt keine anderen Möglichkeiten, den Ursprung, die Verantwortung oder die Zuverlässigkeit einer Veröffentlichung zu bewerten.
