Der unsichtbare Assistent: Wie Lehrer KI-generierten Texten auf die Schliche kommen

Stell dir vor, du sitzt in deinem Klassenzimmer und korrigierst die Aufsätze deiner Schülerinnen und Schüler. Plötzlich stößt du auf einen Text, der brillant und beeindruckend gut geschrieben ist. Die Sätze fließen nahtlos, das Fachwissen ist beeindruckend, und du kannst kaum glauben, dass dein Schüler solch eine Leistung erbracht hat. Aber dann kommen dir Zweifel: Könnte es sein, dass dieser Text nicht von deinem Schüler stammt, sondern von einer künstlichen Intelligenz generiert wurde? Willkommen in der Welt der KI-generierten Texte, in der es immer schwieriger wird, Mensch von Maschine zu unterscheiden.

Chancen, aber vor allem Herausforderungen

In unserer digitalen Ära stehen Lehrkräfte vor neuen Herausforderungen bei der Auswahl von Unterrichtsmaterialien und der Beurteilung von Schülerleistungen. Lehrer:innen müssen zunehmend wachsam sein, um sicherzustellen, dass Schüler:innen tatsächlich ihre eigenen Gedanken und ihr Wissen ausdrücken. Ob es um Hausaufgaben, Quellen im Unterricht oder Haus- und Facharbeiten geht, gibt es bestimmte Situationen, in denen Lehrkräfte genauer hinsehen müssen, um KI-generierte Texte zu identifizieren. In diesem Artikel werden wir solche Situationen genauer betrachten und euch praktische Tipps geben, worauf ihr im Zweifelsfall achten solltet.

Vielversprechende Methoden zur Erkennung?

Die Identifizierung KI-generierter Texte kann mithilfe verschiedener Methoden erfolgen. Ein Ansatz besteht darin, maschinelles Lernen zu nutzen. Forschende wie Sandra Mitrovic und ihre Kolleg:innen haben Klassifikatoren trainiert, indem sie menschlich geschriebene Bewertungen und von KI-Modellen generierte Beispiele sammelten. Diese Daten wurden in einen Trainings- und einen Testdatensatz aufgeteilt, und ein Sprachmodell wie DistilBERT wurde per Fine-Tuning zu einem Klassifikator trainiert. Durch die Analyse der Modellentscheidungen mit SHAP konnten wichtige Einflussfaktoren auf die Klassifikation identifiziert werden.

Ein anderer Ansatz beschäftigt sich mit der Verwendung von Wasserzeichen im Text. John Kirchenbauer und seine Mitstreiter:innen schlagen vor, dass Sprachmodelle unsichtbare Wasserzeichen während der Textgenerierung integrieren. Durch die gezielte Modifikation der Wahrscheinlichkeitsverteilung bei der Auswahl der nächsten Tokens kann der Text als KI-generiert markiert werden. Zur Erkennung des Wasserzeichens wird der Algorithmus für den zu prüfenden Text wiederholt angewendet. Wenn eine deutliche Überschreitung der Anteile bestimmter Tokens festgestellt wird, kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass der Text von einem KI-Modell erzeugt wurde.

Last but not least - die gute alte Statistik. Eric Mitchell und sein Team haben entdeckt, dass, wenn man Sprachmodelle wie GPT-3 benutzt, sie mit höherer Wahrscheinlichkeit selbstgeschriebene Texte bevorzugen als solche, die von Menschen geschrieben oder umgeschrieben wurden. Durch automatische Umformulierung und Berechnung der Wahrscheinlichkeiten für verschiedene Variationen des Originaltextes kann nach ihren Erkenntnissen festgestellt werden, ob der Text KI-generiert ist oder nicht.

Diese Hintergrundinformationen stammen aus dem tollen und informativen Artikel von Andreas Meier auf golem.de. Jeder dieser Ansätze hat seine Vor- und Nachteile. Der Einsatz von maschinellem Lernen erfordert einen umfangreichen Trainingsdatensatz und ist möglicherweise anfällig für Angriffe oder Ausnahmen. Die Verwendung von Wasserzeichen erfordert die Integration in die Sprachmodelle, was möglicherweise nicht im Interesse der Anbieter ist. Die Nutzung statistischer Besonderheiten bietet gute Performance und erfordert keine separate Klassifikation oder Datensätze, kann jedoch auf bestimmte Sprachmodelle beschränkt sein und erfordert Zugriff auf Wahrscheinlichkeitswerte.

Die besten Tools zur Erkennung 

GPTZero ist ein Klassifikationsmodell, das entwickelt wurde, um festzustellen, ob ein Text von einem großen Sprachmodell oder von einem Menschen verfasst wurde. Es bietet Vorhersagen auf Satz-, Absatz- und Dokumentebene und wurde mit einem umfangreichen und vielfältigen Korpus aus menschlichen und KI-generierten Texten trainiert. Das Modell ermöglicht es, den Einsatz von KI in der Texterstellung zu identifizieren und ist besonders auf die Klassifizierung von KI-Einsatz in der Prosa fokussiert. GPTZero gibt es auch als kostenfreie Chrome Erweiterung. Es kann dabei helfen, die Verwendung von KI-Texten in verschiedenen Bereichen wie Bildung, Rekrutierung oder sozialen Plattformen zu erkennen und ein Bewusstsein für die Risiken und Chancen zu schaffen. 

Copyleaks bietet eine umfassende Lösung zur Erkennung von KI-generierten Inhalten und erreicht dabei nach eigenen Angaben eine Genauigkeit von 99,1%. Der Copyleaks AI Content Detector soll der genaueste und umfassendste KI-Textdetektor auf dem Markt sein und wird bereits in zahlreichen Bildungseinrichtungen verwendet. Er erkennt KI-generierten Text auf verschiedenen Plattformen und in unterschiedlichen Sprachen, gibt eine präzise Wahrscheinlichkeitsbewertung für KI-erstellte Inhalte ab und hebt die spezifischen Elemente hervor, die von Menschen und von KI geschrieben wurden. Die KI-Engine von Copyleaks hat jahrelange Entwicklungserfahrung und basiert auf umfangreichen Datenquellen wie Bildungsinstitutionen, Unternehmen und dem Internet. Bei Copyleaks steht die Identifizierung menschlicher Inhalte im Fokus, nicht die KI. Copyleaks gibt es auch als Chrome Erweiterung.

Ein etwas unbekannteres Tool ist Giant Language model Test Room vom MIT-IBM Watson AI lab und Harvard NLP. Die GLTR-Demo ermöglicht eine forensische Untersuchung des visuellen Fußabdrucks eines Sprachmodells auf Texteingabe, um festzustellen, ob ein Text KI-generiert sein könnte. Jeder Text wird analysiert, indem die Wahrscheinlichkeit jedes Wortes als vorhergesagtes Wort im Kontext zum vorherigen betrachtet wird. Der überprüfte Text wird farblich markiert in grün, gelb oder rot, je nachdem, ob das tatsächlich verwendete Wort unter den Top 10, Top 100 oder Top 1000 vorhergesagten Wörtern liegt. Die Histogramme zeigen Statistiken über den Text, wie zum Beispiel das Verhältnis der Wahrscheinlichkeit des tatsächlichen Worts zur maximalen Wahrscheinlichkeit an dieser Stelle und die Entropie der Top 10 Ergebnisse für jedes Wort. Auch wenn das Modell nicht auf dem allerneusten Stand ist, bietet es einen guten Überblick über die Wahrscheinlichkeit für KI-generierte Inhalte.

Das Fraunhofer SIT erforscht verschiedene Ansätze zur Erkennung von mit ChatGPT generierten Texten. Die Experten für Textforensik setzen dabei unter anderem eine eigens entwickelte Methode namens COAV zur Autorschaftsverifikation ein. Ursprünglich zur Aufdeckung von Plagiaten in wissenschaftlichen Arbeiten entwickelt, ermöglicht diese Methode auch die Unterscheidung zwischen Texten, die von ChatGPT oder einem Menschen verfasst wurden, basierend auf stilistischen Merkmalen. Durch den Vergleich von Textbausteinen und typischen Buchstabenkombinationen werden die Unterschiede zwischen den Texten ermittelt: Liegt der Text näher an GPT oder näher an einem menschlichen Verfasser? Hier erfahrt ihr mehr.

Auch OpenAI, die Schöpfer von ChatGPT, haben inzwischen eine KI-Erkennung veröffentlicht. Der AI Classifier ist ein Modell, das entwickelt wurde, um Texte zu klassifizieren und ihnen bestimmte Labels oder Kategorien zuzuweisen. Der Classifier basiert auf dem GPT-3-Modell, einem leistungsstarken Sprachmodell , das für eine breite Palette von Aufgaben eingesetzt werden kann. Er ist in der Lage, Texte in Echtzeit zu verarbeiten und Einschätzungen zu liefern. Es ist jedoch wichtig anzumerken, dass der KI-Classifier von OpenAI keine eigenständige Lösung ist, sondern ein Werkzeug, das von Entwicklern und Unternehmen genutzt werden kann, um ihre spezifischen Anforderungen in Bezug auf Textklassifikation zu erfüllen. OpenAI sagt selbst: “Unser Klassifizierer ist nicht vollständig zuverlässig. In unseren Evaluierungen eines "Herausforderungsdatensatzes" englischer Texte erkennt unser Klassifizierer korrekt 26% der KI-geschriebenen Texte (wahre positive) als "wahrscheinlich KI-geschrieben", während er menschlich geschriebene Texte 9% der Zeit fälschlicherweise als KI-geschrieben einstuft (falsche positive). Die Zuverlässigkeit unseres Klassifizierers verbessert sich in der Regel, wenn die Eingabetexte länger werden. Im Vergleich zu unserem zuvor veröffentlichten Klassifizierer ist dieser neue Klassifizierer für Texte von neueren KI-Systemen signifikant zuverlässiger”.

Was sagt eigentlich eine KI dazu?

Der Vollständigkeit halber haben wir auch ChatGPT gefragt, wie man am besten KI-generierte Texte erkennen kann, das bekamen wir als Antwort:

“Es ist oft schwierig, mit absoluter Sicherheit zu sagen, ob ein Text von einer KI generiert oder von einem Menschen geschrieben wurde, insbesondere wenn hochentwickelte KI-Modelle wie GPT-3.5 verwendet werden. Diese Modelle können Texte erzeugen, die beeindruckend menschenähnlich sind.

Es gibt jedoch einige Situationen, in denen man mit größerer Sicherheit sagen kann, dass ein Text von einer KI generiert wurde:

1. Bekanntgabe oder Kennzeichnung: Wenn der Text ausdrücklich als von einer KI generiert gekennzeichnet ist, ist dies ein eindeutiger Hinweis. In einigen Fällen müssen KI-generierte Texte aus rechtlichen oder ethischen Gründen gekennzeichnet werden.
2. Spezifische Kontextinformationen: Wenn spezifische Informationen über den Text oder die Quelle vorhanden sind und sie auf eine KI hinweisen, kann dies die Identifizierung erleichtern. Zum Beispiel, wenn ein automatisiertes System bekannt ist, das bestimmte Texte generiert.
3. Spezifische Fehler oder Inkohärenzen: Wenn der Text offensichtliche Fehler enthält oder inkohärent ist, die von einer KI verursacht werden könnten, kann dies ein Indiz sein. KI-Modelle sind nicht fehlerfrei und können Schwierigkeiten haben, genaue und kohärente Texte zu erzeugen, insbesondere bei komplexen oder kontextbezogenen Fragen.
4. Spezifische Anfragen oder Aufgaben: Wenn der Text spezifische Anfragen oder Aufgaben betrifft, die menschliches Fachwissen oder individuelle Erfahrungen erfordern, kann es wahrscheinlicher sein, dass er von einem Menschen geschrieben wurde. KI-Modelle können Schwierigkeiten haben, auf solche Anfragen angemessen zu reagieren.

Es ist jedoch wichtig anzumerken, dass mit dem Fortschritt der KI-Technologie und der Entwicklung immer leistungsfähigerer Modelle die Grenze zwischen KI-generierten und von Menschen geschriebenen Texten zunehmend verschwimmen kann. Es ist möglich, dass zukünftige Modelle noch schwerer zu erkennen sind. Daher ist eine umfassende Analyse und Bewertung des Textes sowie möglicher zusätzlicher Informationen oft erforderlich, um eine fundierte Einschätzung zu treffen.”

Wie findet ihr die Tools? Welche könnt ihr uns noch empfehlen? Schreibt es gerne in die Kommentare, wir sind gespannt!