Sensitivität & Spezifität
Wie misst sich die Qualität eines KI-Detektors?
Stell dir vor, du hast einen KI-Detektor, der wie eine Art Text-Scanner funktioniert. Er soll herausfinden, ob ein Text von einer KI oder einem Menschen geschrieben wurde. Die beiden wichtigsten Kennzahlen dafür sind Sensitivität und Spezifität. Diese Begriffe kommen zwar ursprünglich aus der Medizin, aber das Prinzip lässt sich perfekt auf KI-Texte übertragen.
1. Sensitivität: Wie gut erwischt der Detektor KI-Texte?
Die Sensitivität gibt an, wie hoch der Anteil der KI-generierten Texte ist, die tatsächlich auch als solche erkannt werden. Der Begriff Sensitivität kommt eigentlich aus der Medizin: Bei einem guten Corona-Test (also einem mit einer hohen Sensitivität) werden die meisten Infizierten auch als positiv erkannt. Genauso ist es bei KI-Detektoren: Ein Tool mit hoher Sensitivität schnappt sich die meisten KI-generierten Texte. Aber Vorsicht – kein Detektor ist perfekt. Selbst bei 90% Sensitivität rutschen immer noch 10% der KI-Texte durch, als wären sie menschlich geschrieben. Das ist so, als würde man bei einer Klassenarbeit jeden zehnten Spickzettel übersehen.
2. Spezifität: Wie zuverlässig erkennt der Detektor menschliche Texte?
Die Spezifität gibt an, wie gut der Detektor menschliche Texte als solche erkennt. Zurück zum Medizin-Beispiel: Ein spezifischer Test stuft gesunde Menschen nur in seltenen Ausnahmen als krank ein. Bei KI-Detektoren bedeutet das: Je höher die Spezifität, desto seltener werden menschliche Texte fälschlich als KI-Werk gebrandmarkt. Aber hier lauert ein echtes Problem. Viele Detektoren haben eine Spezifität von vielleicht 80%, 90% oder vielleicht sogar 95%. Aber eine Spezifität von 80% bedeutet, dass von 100 menschlichen Aufsätzen werden 20 fälschlich als KI-Text abgestempelt. Daher ist die Gefahr groß, dass jemand zu Unrecht des beschuldigt wird - was natürlich ein großes Problem ist.
Warum ist das in der Praxis so schwierig?
Ganz einfach: Die Grenze zwischen KI- und menschlichen Texten wird immer unschärfer. Moderne KI schreibt mittlerweile so natürlich, dass selbst Experten manchmal ins Grübeln kommen. Ein Detektor mit hoher Sensitivität fängt zwar viele KI-Texte, aber er verwechselt dafür auch mehr menschliche Texte mit KI-Generiertem. Umgekehrt kann ein sehr strenger Detektor, der kaum menschliche Texte falsch beschuldigt, dafür viele KI-Texte übersehen. Es ist ein echtes Dilemma – wie bei einer Waage, bei der man eine Seite nie ganz ausbalancieren kann, ohne die andere zu sehr zu belasten.
Ein Beispiel für ein Programm, das in der Lage ist, KI-generierte Texte zu erkennen, ist GPTZero.
Doch wie gut ist die Erkennung?
![Quelle: [url=https://pmc.ncbi.nlm.nih.gov/articles/PMC10519776/table/T1/]https://pmc.ncbi.nlm.nih.gov/articles/PMC10519776/table/T1/[/url]](https://www.geogebra.org/resource/an6y2aqy/7ODtnnzMGlC7KppC/material-an6y2aqy.png)
Erläutere die Bedeutung der Zahlen in der Tabelle. Erläutere insbesondere die Bedeutung der Zahl 7 in der Mitte der ersten Spalte und die Bedeutung der 3 in der Mitte der ersten Zeile.
Berechne für GPTZero die Sensitivität und Spezifität.
Diskutiert, ob ihr den Test als zuverlässig ansehen würdet. Weche Argumente dafür oder dagegen findet iht?