Ein Anschreiben verfassen? Den Aufsatz für Deutsch schreiben? Einen Beitrag für Social Media erstellen? Künstliche Intelligenz kann Ideen liefern oder gleich den ganzen Text schreiben. Allerdings gibt es KI-Detektoren, die angeblich diese Texte erkennen können. Wir haben uns diese Werkzeuge angeschaut und möchten unsere Erkenntnisse teilen.
KI-Detektoren können maschinell generierte Inhalte fast immer erkennen – so zumindest das Versprechen. Natürlich funktionieren verschiedene Detektoren unterschiedlich, allerdings gibt es einige Gemeinsamkeiten, die wir hier erläutern möchten. Meistens kommen Modelle zum Einsatz, die mit menschlichen und KI-erzeugten Texten trainiert wurden sowie Algorithmen, die die Vielfältigkeit eines Textes analysieren. Generierte Texte folgen nämlich häufig bestimmten Mustern und bevorzugen einige Formulierungen. Dagegen sind von Menschen geschriebene Texte (generell) abwechslungsreicher.
GptZero, zum Beispiel, berechnet Perplexity und Burstiness, d.h. wie viel Zufall/Abwechslung in einem Text vorkommt und wie groß die Variation des Perplexity Wertes zwischen verschiedenen Textabschnitten ist.
Doch wie gut funktionieren diese Tools in der Realität? Wir haben einige bekannte, frei zugänglichen Seiten ausprobiert (https://gptzero.me/, https://botornot.pythonanywhere.com/, https://www.zerogpt.com/, https://contentatscale.ai/ai-content-detector/, https://sapling.ai/ai-content-detector). Insgesamt lässt sich sagen, dass die meisten Modelle zwar gut darin sind, neu generierte Texte zu erkennen, allerdings schnell ausgetrickst werden können. Zum Beispiel können Texte von anderen KI-Tools oder Menschen angepasst werden, was die Erkennungsquote deutlich sinken lässt.
Zudem scheinen selbst Tools, die explizit mit Deutsch umgehen können sollen, Schwierigkeiten mit generierten deutschen Texten zu haben.
Anhand dieser beiden Beispiele wird deutlich, dass die Verwendung derselben Texte zu
unterschiedlichen Ergebnissen von den vorherig genannten Seiten ZeroGPT, Sapling,
Content at Scale und GPTZero kommen können.
Zudem ist möglich, Inhalte aus wissenschaftlichen Papern mithilfe von KI-Tools umzuformulieren, und in vielen Fällen bleiben diese generierten Inhalte von Detektoren unentdeckt. Das Unentdecktbleiben von umformulierten Inhalten aus wissenschaftlichen Papern kann ein großes Problem für Universitäten und andere Bildungseinrichtungen darstellen.
Insgesamt ist uns deutlich geworden, dass solche Detektoren momentan nützlich sein können, um Texte grob zu prüfen. Allerdings sind sie nicht geeignet, um definitive Urteile zu fällen.
Außerdem werden zukünftige, generative Tools wahrscheinlich nicht mehr unterscheidbare Texte produzieren.
Wenn man die Thematik mit etwas Abstand betrachtet, stellt sich zudem die Frage: Ist es in den meisten Fällen überhaupt ein Problem, wenn Texte durch oder mit KI erstellt werden? Wir denken, dass KI viele Aufgaben deutlich erleichtern kann und in Zukunft zum festen Arbeitsalltag gehören wird, zum Nutzen vieler.
Übrigens: Ein Abschnitt dieses Beitrags wurde von chatGPT geschrieben. Können Sie erkennen, welcher?
– verfasst von Martin Birkenberger