Fallstudie · Menschzentrierte KI
Wie gut Menschen KI-generierte Videos erkennen
Generierte Videos sind in wenigen Jahren von unheimlich zu überzeugend geworden. Diese kontrollierte Studie misst, wie zuverlässig ungeschulte Personen sie erkennen und unter welchen Bedingungen das Erkennen scheitert.
bei 3.132 Urteilen „echt oder KI“ von 87 Teilnehmenden, bei einer Zufallsrate von 50 %.
Überblick
Design und Forschung, Erstautor
Mit Prof. R. M. Karim (NUST) und Prof. KwanMyung Kim (UNIST)
IASDR 2025, Pictorial Track, Taipeh
87 Erwachsene zwischen 18 und 70 Jahren, keine mit beruflicher Erfahrung in KI, Grafik oder Video
Onlinestudie im Within-Subjects-Design, binäre Zwangswahl, randomisierte Reihenfolge
Logistische Regression mit Holm-Bonferroni-Korrektur
Die Forschung zu synthetischen Medien hat sich auf Deepfakes von Gesichtern und Stimmen konzentriert. Fachleute aus Design und Medienkunst nutzen KI-Video heute jedoch auf drei ganz verschiedene Arten: Sie generieren Clips aus Text, animieren Standbilder und erweitern echte Aufnahmen über ihren Bildrand hinaus. Diese Techniken waren bisher nie direkt miteinander verglichen worden.
Wie zuverlässig erkennen ungeschulte Personen die einzelnen Generierungstechniken?
Wie beeinflusst das Thema eines Inhalts das Erkennen über die Techniken hinweg?
Ein ausgewogenes Set aus 36 Clips
Zur Hälfte echt, zur Hälfte KI-generiert, gleichmäßig auf drei Themen verteilt. Vortests zeigten, dass KI manche Motive, etwa statische Objekte, weit besser darstellt als Menschen oder Bewegung. Wechselnde Themen hielten den Vergleich ausgewogen.
Aufbau der Stimuli
Clips nach Thema und Quelle
Erstellung der Stimuli
Eine einzige Pipeline, damit nur die Technik variiert
Alle KI-Clips entstanden in ComfyUI, dessen Node-Graphen es erlaubten, Diffusionsschritte, Guidance und Prompt-Gewichtungen über alle Methoden hinweg identisch zu halten. Fünf Designerinnen und Designer erzeugten Kandidaten für jede Bedingung, ausgewählt wurde jeweils einer nach visueller Qualität, zeitlicher Kohärenz und thematischer Relevanz.
Die echten Clips stammen aus frei verfügbarem Stock- und Archivmaterial zu denselben Themen. Alle 36 Clips wurden auf 8–12 Sekunden gekürzt, auf 1080p vereinheitlicht und ohne Ton gezeigt.
Ablauf
Binäre Zwangswahl in 36 Durchgängen
Jeder Clip wird einzeln und in zufälliger Reihenfolge gezeigt und lässt sich beliebig oft wiederholen.
„Halten Sie dieses Video für echt oder KI-generiert?“ Antwortmöglichkeiten: echt oder KI.
Eine kurze Pause nach 18 Clips gegen Ermüdung.
Die Teilnehmenden kannten den Anteil der KI-Clips nicht und sollten jeden Clip allein nach seinem Bildinhalt beurteilen.
Die Trefferquote hing von Technik und Thema ab
Trefferquote nach Quelle
Anteil der korrekt eingeordneten Clips. Bei echten Aufnahmen bedeutet korrekt „echt“.
Bei Text-to-Video lag die Trefferquote unter der Zufallsrate, bei Outpainting genau auf ihr. Image-to-Video behielt Bewegungsmerkmale, die das Publikum erkennen konnte.
Echte Naturaufnahmen wurden oft für synthetisch gehalten. Echte Umweltclips wurden nur in etwa 48 % der Fälle richtig eingeordnet, unberührte Naturlandschaften wirkten häufig KI-generiert.
Das Thema beeinflusste das Erkennen von Outpainting stark. Outpainting wurde in 61 % der Umwelt-Durchgänge erkannt, aber nur in 32 % der historischen.
Die Merkmale von Image-to-Video blieben über alle Themen stabil. Image-to-Video-Clips wurden in den Themen Film, Geschichte und Umwelt gleichermaßen zuverlässig erkannt.
| Term, verglichen mit echten Filmaufnahmen | Odds Ratio | p |
|---|---|---|
| Image-to-Video | 1.13 | n.s. |
| Text-to-Video | 0.50 | .001 |
| Outpainting | 0.45 | .001 |
| Thema Umwelt | 0.37 | < .001 |
| Image-to-Video × Umwelt | 8.22 | < .001 |
| Outpainting × Umwelt | 6.89 | < .001 |
| Text-to-Video × Geschichte | 0.44 | .003 |
| Outpainting × Geschichte | 0.41 | < .001 |
| Technik, Thema und ihre Wechselwirkung waren alle signifikant (p < .001). p-Werte nach Holm-Bonferroni korrigiert. 87 Teilnehmende × 36 Clips = 3.132 Beobachtungen. | ||
Folgerungen für Medienkompetenz und kreative Praxis
Das Wissen um KI untergräbt das Vertrauen in echte Aufnahmen
Echte Clips wurden nur in 64 % der Fälle richtig eingeordnet. Wer mit KI-Inhalten rechnet, hält auch authentisches Material zunehmend für synthetisch.
Wahrgenommener Realismus hängt vom Inhalt ab, nicht nur vom Modell
Wahrgenommener Realismus ist keine feste Eigenschaft eines Modells, sondern hängt davon ab, was ein Clip zeigt. Kreative können das gezielt nutzen, um zu steuern, wie echt ein Werk wirkt.
Erkennungstrainings sollten Kontext ebenso behandeln wie Artefakte
Programme zur Medienkompetenz und Erkennungstools sollten kontextuelle Hinweise ebenso abdecken wie modellspezifische Artefakte. Intuition allein reicht nicht aus.
Einschränkungen und nächste Schritte. Kurze, stumme Clips, online angesehen, schränken die ökologische Validität ein. Künftige Arbeiten sollten Techniken wie Inpainting, ControlNet und tiefenbewusstes Video einbeziehen, Konfidenzbewertungen erheben, die demografische Stichprobe verbreitern und prüfen, ob Training das Erkennen mit der Zeit verbessert.
