GeoGebra

KI-Detektoren | Bedingte Wahrscheinlichkeit | Didaktische Hinweise

作成者:SINUS NRW, Reinhard Schmidt

Kurzinformation

    Die Möglichkeiten von KI schreiten rasant voran. Das Bild wirde generiert von [url=https://raphael.app/de]Raphael AI - Kostenloser, unbegrenzter KI-Bildgenerator[/url]
    Die Möglichkeiten von KI schreiten rasant voran. Das Bild wirde generiert von Raphael AI - Kostenloser, unbegrenzter KI-Bildgenerator

    Leitgedanke zur Aktivität

    Stochastik-Unterricht sollte praxisnah und relevant sein. KI-Detektoren bieten eine aktuelle Anwendung, da Jugendliche häufig KI-Tools nutzen, aber wenig über deren Erkennung wissen. In diesem Unterrichtsvorschlag gilt das Primat der Verständnisorientierung gegenüber einer überwiegend formalen Bearbeitung der Problemstellugnen. Daher sollen hier die Erläuterungen alleine auf Darstellung von Häufigkeiten reduziert werden, um so und das Verständnis zu unterstützen.

    Vorwissen und Voraussetzungen

    Die Schülerinnen und Schüler können ...
    • beschreiben mehrstufige Zufallsexperimente mithilfe von Baumdiagrammen und Vierfeldertafeln und berechnen damit Wahrscheinlichkeiten (MSB NRW, 2023, S. 26, Stochastik (S)).

    Beiträge zum Kompetenzerwerb

    Die Schülerinnen und Schüler ...
    • lösen Problemstellungen im Kontext bedingter Wahrscheinlichkeiten (MSB NRW, 2023, S. 26, Stochastik (S)).

    Didaktische Hinweise zur Aufgabe

    Wesentlich Begriffe für diese Aktivität sind Sensitivität und Spezifität. Diese Begriffe werden hauptsächlich für medizinische Tests verwendet, können aber auf den vorliegenden Kontext übertragen werden. Während die Sensitivität den Anteil der tatsächlichen Positiven, die korrekt als solche erkannt werden, misst, gibt die Spezifität den Anteil der tatsächlichen Negativen, die korrekt als solche erkannt werden, an. Im vorliegenden Kontext deuten wir "positiv" (also im ursprünglichen Kontext krank oder infiziert) als "KI-generiert". Entsprechend ist "negativ" (also im ursprünglichen Kontext gesund oder nicht infiziert) in unserem Kontext "vom Menschen erzeugt". Wie im ursprünglichen Kontext (berühmt geworden ist hier das Beispiel des HIV-Tests, vgl. z.B. Dreibholz 2014) ist es auch bei KI-Detektoren möglich (und hoch problematisch), dass trotz einer hohen Sensitivität und Spezifität einer Software die Wahrscheinlichkeit, dass ein als KI-generiert gekennzeichneter Text dennoch vom Menschen geschrieben wurde, groß ist.

    Schieberegler

    Schieberegler
    Einordnung der Lernumgebung "Wie zuverlässig sind KI-Erkennungsprogramme?" entsprechend der in https://www.geogebra.org/m/mgzrvuft vorgestellten didaktischen Spannungsfelder.

    Aufgabe 1 (20 min.) | Wie erkennen KI-Detektoren, ob ein Text von einer KI stammt?

    https://www.geogebra.org/m/nscayegf Diese Aktivität ist als inhaltlicher Einstieg gedacht. Vielen Lernenden wird der Einsatz von KI vertraut sein, aber nicht unbedingt die Arbeit mit KI-Detektoren. Eine Sensibilisierung für dieses schwierige Thema ist daher für das weitere Bearbeitung der Aufgaben von großer Bedeutung. In dieser Aktivität werden die Lernenden erstmals mit den Werten aus einer authentischen Studie zur Zuverlässigkeit von GPTZero konfrontiert. Im ersten Schritt soll ein klares Verständnis der Zahlen aus der Tabelle erzeuget werden: Während die 13 und die 27 für die richtig erkannten Dokumente stehen, stehen die 7 und die 3 für die Fehler des Programms (7 KI-erzeugte Texte werden nicht als solche erkannt, 3 von Menschen verfasste Texte werden zu Unrecht als KI-Texte gelabelt). Anschließend soll für für GPTZero die Sensitivität und die Spezifität berechnet werden. Die Sensitivität gibt an, wie hoch der Anteil der KI-generierten Texte ist, die tatsächlich auch als solche erkannt werden. Bei GPTZero liegt dieser Anteil bei 13 von 20, also bei 65%. Die Spezifität gibt an, wie hoch der Anteil der von Menschen verfassten Texte ist, die korrekt als solche erkannt werden. Bei GPTZero liegt dieser Anteil bei 27 von 30, also bei 90%. Hierbei muss angemerkt werden, dass viele Programme mit besseren Werten werben. Die von den Firmen selnst angegebenen Werte für Sensitivität und Spezifität halten einem Test durch unabhängige Untersuchungen aber in der Regel nicht stand.

    Aufgabe 2 (20 min) | Was ist ChatGPT?

    https://www.geogebra.org/m/u677z5pg Diese Aktivität ist optional - die Lernenden erfahren hier in kurzen Videos Grundlegendes über die Funktionsweise einer generativen KI am Beispiel von ChatGPT.

    Aufgabe 3 (15 min) | Sensitivität & Spezifität

    https://www.geogebra.org/m/ng7qua8j In dieser Aktivität werden die Begriffe Sensitivität und Spezifität als Qualitätsmerkmale von KI-Detektoren eingeführt.

    Aufgabe 4 (20 min) | Wie sicher erkennt GPTZero KI-generierte Texte?

    https://www.geogebra.org/m/gkxfqxgj In dieser Aktivität untersuchen die Lernenden die Diagnosequalität eines KI-Detektors. Als Beispiel wurde mit GPTZero ein recht bekanntes Tool, das aber eher mittelmäßige Werte liefert, gewählt. Zur Veranschaulichung der Problemstellungen wird die Bildformel von Bayes (vgl. z.B. Eichler/Vogel 2013) gewählt.

    Aufgabe 5 (20 min) | Zwei Untersuchungen

    https://www.geogebra.org/m/nr3hc68p Hier wird nun explizit das Problem in den Blick genommen, dass trotz einer verhältnismäßig hohen Sensitivität und Spezifität einer Software die Wahrscheinlichkeit, dass ein als KI-generiert gekennzeichneter Text dennoch vom Menschen geschrieben wurde, groß ist.

    Methodischer Hinweis

    Idealerweise wechseln sich GeoGebra-Aktivitäten und Unterricht ohne das Werkzeug GeoGebra ab. Die ganze Aktivität ist nicht als reiner Selbstlernpfad angelegt. Um die GeoGebra-Aktivitäten im Klassen-Setting einzusetzen, bietet es sich an, sie als GeoGebra-Classroom-Aktivität (https://www.geogebra.org/m/vexj65n9) zu realisieren. Die Lehrkraft entscheidet, wann und in welcher Form die Arbeit mit den Werkzeugen dokumentiert wird, Im Sinne des Scaffoldings kann diese Vorlage (basierend auf einem Vorschlag von Florian Schacht) verwendet werden:

    Tabelle_Dokumentation

    Tabelle_Dokumentation.pdf

    Tabelle_Dokumentation.pdf

    Mögliche Weiterführung

    In Ergänzung zum vorgestellten Aufgabe bietet es sich an, andere Problemstellungen in den Blick zu nehmen, bei denen Sensitivität und Spezifität bedeutsame Größen sind. Hier bietet sich die Diskussion um die Zuverlässigkeit der Corona-Antigenschnelltest an. In Abhängigkeit von den spezifischen Umständen könnte es aber auch sinnvoll sein, die Thematik Corona auch dem Unterricht herauszuhalten und statt dessen das Beispiel des Aids-Tests zu nehmen. Hierzu existieren auch bereits viele Materialien, z.B. die von S. Dreibholz (Sinus): Testergebnisse richtig interpretieren

    Referenzen

    Artikel über KI-Erkennungssoftware

    新しい教材

    教材を発見

    トピックを見つける