사례 연구 · 인간 중심 AI
사람은 AI 생성 영상을 알아볼 수 있을까
생성 영상은 불과 몇 년 만에 어색함을 벗고 설득력을 갖추게 되었습니다. 이 통제 연구는 훈련받지 않은 시청자가 이를 얼마나 정확하게 알아보는지, 그리고 어떤 조건에서 알아보지 못하는지를 측정합니다.
참가자 87명의 실제 또는 AI 판단 3,132건 기준. 우연 수준은 50%.
개요
디자이너 겸 연구자, 제1저자
R. M. Karim 교수(NUST), KwanMyung Kim 교수(UNIST)와 함께
IASDR 2025, 픽토리얼 트랙, 타이베이
18세에서 70세 사이의 성인 87명. AI, 그래픽, 영상 분야의 전문 경험이 있는 사람은 없음
피험자 내 온라인 연구, 이지선다 강제 선택, 무작위 순서
Holm–Bonferroni 보정을 적용한 로지스틱 회귀
합성 미디어 연구는 얼굴과 목소리 딥페이크에 집중되어 왔습니다. 그러나 지금 디자이너와 미디어 아티스트는 AI 영상을 세 가지 서로 다른 방식으로 활용합니다. 텍스트로 클립을 생성하고, 정지 이미지에 움직임을 더하고, 실제 영상을 프레임 바깥으로 확장하는 것입니다. 이 기법들을 나란히 비교한 연구는 없었습니다.
훈련받지 않은 시청자는 각 생성 기법을 얼마나 정확하게 알아볼 수 있을까?
콘텐츠 주제는 기법별 판별에 어떤 조절 효과를 미칠까?
균형 잡힌 36개 클립의 자극 세트
절반은 실제 영상, 절반은 AI 생성 영상이며, 세 가지 주제에 고르게 나누었습니다. 예비 테스트에서 AI는 정적인 사물 같은 일부 대상을 사람이나 움직임보다 훨씬 잘 표현했습니다. 주제를 다양하게 구성해 비교의 균형을 유지했습니다.
자극 설계
주제와 출처별 클립 수
자극 생성
기법만 달라지도록, 하나의 파이프라인으로
모든 AI 클립은 ComfyUI에서 제작했습니다. 노드 그래프 덕분에 확산 단계, 가이던스, 프롬프트 가중치를 기법 간에 동일하게 재현할 수 있었습니다. 디자이너 5명이 조건마다 후보를 생성했고, 시각적 충실도, 시간적 일관성, 주제 관련성을 기준으로 하나를 선정했습니다.
실제 클립은 같은 주제에 맞춰 공개된 스톡 영상과 아카이브 영상에서 골랐습니다. 36개 클립 모두 8–12초로 다듬고, 1080p로 통일해 소리 없이 제시했습니다.
절차
36회 시행의 이지선다 강제 선택
각 클립은 무작위 순서로 하나씩 표시되며, 횟수 제한 없이 다시 볼 수 있습니다.
“이 영상은 실제 영상일까요, AI가 생성한 영상일까요?” 응답 선택지: 실제 또는 AI.
피로를 줄이기 위해 18개 클립 후 짧은 휴식.
참가자에게는 AI 클립의 비율을 알리지 않았고, 각 클립을 시각적 내용만으로 판단하도록 안내했습니다.
판별 정확도는 기법과 주제에 따라 달라졌습니다
출처별 정확도
올바르게 분류된 클립의 비율. 실제 영상은 “실제”가 정답입니다.
텍스트-비디오의 정확도는 우연 수준보다 낮았고, 아웃페인팅은 우연 수준이었습니다. 이미지-비디오에는 시청자가 알아챌 수 있는 움직임 단서가 남아 있었습니다.
실제 자연 영상이 합성으로 판단되는 경우가 많았습니다. 환경 주제의 실제 클립은 약 48%만 올바르게 분류되었고, 때 묻지 않은 자연 풍경은 AI 생성처럼 보이는 경우가 많았습니다.
주제는 아웃페인팅 판별에 강한 조절 효과를 보였습니다. 아웃페인팅은 환경 주제 시행의 61%에서 판별되었지만, 역사 주제 시행에서는 32%에 그쳤습니다.
이미지-비디오의 단서는 주제와 관계없이 유지되었습니다. 이미지-비디오 클립은 영화, 역사, 환경 주제 모두에서 일관되게 식별되었습니다.
| 항목(영화 주제의 실제 영상 대비) | 오즈비 | p |
|---|---|---|
| 이미지-비디오 | 1.13 | n.s. |
| 텍스트-비디오 | 0.50 | .001 |
| 아웃페인팅 | 0.45 | .001 |
| 환경 주제 | 0.37 | < .001 |
| 이미지-비디오 × 환경 | 8.22 | < .001 |
| 아웃페인팅 × 환경 | 6.89 | < .001 |
| 텍스트-비디오 × 역사 | 0.44 | .003 |
| 아웃페인팅 × 역사 | 0.41 | < .001 |
| 기법, 주제, 그리고 그 상호작용 모두 유의했습니다(p < .001). p값은 Holm–Bonferroni 방식으로 보정했습니다. 참가자 87명 × 클립 36개 = 관측 3,132건. | ||
미디어 리터러시와 창작 실무를 위한 시사점
AI에 대한 인식이 실제 영상에 대한 신뢰를 떨어뜨립니다
실제 클립이 올바르게 분류된 비율은 64%에 불과했습니다. 시청자가 AI 콘텐츠를 예상하면, 진짜 영상마저 합성처럼 보이기 시작합니다.
체감 사실감은 모델만이 아니라 콘텐츠에 달려 있습니다
체감 사실감은 모델의 고정된 속성이 아니라, 클립이 무엇을 담고 있느냐에 따라 달라집니다. 창작자는 이를 의도적으로 활용해 작품이 얼마나 사실적으로 보일지 조절할 수 있습니다.
판별 교육은 아티팩트와 함께 맥락도 다뤄야 합니다
미디어 리터러시 프로그램과 판별 도구는 모델 고유의 아티팩트뿐 아니라 맥락적 단서도 다뤄야 합니다. 직관만으로는 충분하지 않습니다.
한계와 다음 단계. 온라인으로 시청하는 짧은 무음 클립은 생태학적 타당도에 한계가 있습니다. 향후 연구에서는 인페인팅, ControlNet, 깊이 인식 영상 같은 기법을 포함하고, 확신도 평가를 수집하고, 인구통계학적 표본을 넓히고, 교육을 통해 판별 능력이 시간이 지나며 향상되는지 검증해야 합니다.
