인도 의회 선거에서 후보자들은 딥페이크를 사용해 방언 영상을 위조해 투표를 유도했습니다.

최근 인도 델리 의회 선거에서 한 후보가 딥페이크 기술을 사용해 다른 언어로 홍보 영상을 제작해 자신의 팀에 대한 표를 얻었습니다. 이 방법은 좋은 홍보 효과를 거두고 일부 표를 얻었지만 최종 선거 결과는 예상치 못한 것이었습니다.

최근, DeepFake가 처음으로 인도 선거에 등장했으며 후보자들은 선거 자료에 이를 사용했습니다.

인도에서 방금 끝난 델리 주 의회 선거에서 바라티야 자나타당(BJP) 후보 중 한 명인 마노즈 티와리는 비디오 사기 기술을 사용하여 자신이 모르는 언어로 "말"하여 소수 언어 유권자의 마음을 사로잡았습니다.

불행히도 운명은 우리에게 장난을 쳤습니다. AI의 도움에도 불구하고 선전은 어느 정도 홍보 효과를 거두었지만, BJP는 결국 선거에서 패하여 주에서 총 70석 중 8석만 차지했습니다.

유창한 방언을 구사하면 후보자가 지지를 얻는 데 도움이 됩니다.

2월 7일, 델리 의회 선거 전날, 바라티야 자나타당의 마노즈 티와리는 자신의 당을 홍보하기 위해 소셜 미디어에 두 개의 짧은 영상을 공유했습니다.

첫 번째 영상(영어)

두 번째 영상(하리아나)

두 영상은 각각 영어와 하리안비어(인도 방언)로 제작되었으며, 주로 현 델리 주지사 아르빈드 케지리왈을 비판하고 유권자들에게 바라티야 자나타당에 투표할 것을 독려했습니다.

영상 속에서 하리아나어에 서툴렀던 티와리는 유창한 하리아나어를 구사하며 모든 사람에게 BJP에 투표해 달라고 호소했습니다. 이러한 움직임은 해당 언어를 사용하는 사람들 사이에서 열광적인 반응을 불러일으켰고, 이 영상은 WhatsApp을 통해 널리 퍼졌습니다.

BJP의 수장은 언론을 통해 이러한 움직임이 좋은 결과를 가져왔다고 주장했습니다. 많은 주부들은 자신의 방언으로 말하는 후보자들과 매우 친밀감을 느낀다고 말했고, 이는 일부 사람들의 투표 결정에 영향을 미쳤다고도 합니다.

하지만 조심스러운 몇몇 사람들이 영상에서 이상한 점을 발견했습니다.

홍보 회사, 정당의 요구에 따라 딥페이크 활용

티와리의 영상을 주의 깊게 살펴본 네티즌들은 캐릭터의 입 움직임이 어색한 느낌이 들고 자연스럽게 촬영된 것 같지 않다고 지적했습니다.

이후 유명 기술 미디어 Vice와 뉴욕의 로체스터 공과대학(RIT)의 연구자들도 영상에서 이상 징후를 발견했습니다.

Vice는 나중에 이 사실을 확인하고 영상 뒤에 숨겨진 비밀을 공개했습니다.

두 번째 하리아나 영상은 실제로 촬영된 것이 아니라 BJP의 IT 부서가 홍보 회사인 The Ideaz Factory와 협력하여 만든 딥페이크 제품이라는 것이 확인되었습니다.

BJP와 아이디어 팩토리는 후보자들이 다른 언어권의 유권자들을 끌어들일 수 있도록 손을 잡고 티와리가 방언으로 말하고 화면에 "나타나도록" 했다는 의혹을 받고 있습니다.

델리주 BJP 미디어 및 기술 책임자인 박시는 Vice에 티와리 후보의 가짜 영상은 델리의 수많은 하리아나어를 사용하는 이주 노동자들을 표적으로 삼아 그들이 경쟁자에게 표를 던지는 것을 막기 위한 것이라고 말했습니다.

박시는 또한 DeepFake 기술을 사용하여 캠페인의 양성 소통이 전례 없이 확대되었다고 자랑스럽게 밝혔습니다.

인도에는 30개의 언어와 2,000개의 방언이 있습니다

후보팀이 딥페이크를 방언으로 말하게 하기 위해 고심한 데에는 이유가 있습니다.

인도에서는 다양한 민족 집단 간에 많은 언어가 사용됩니다. 현재 통계에 따르면 적어도 30개의 다양한 언어와 2,000개의 방언이 존재합니다.

인도 헌법은 힌디어, 산스크리트어, 영어가 인도 정부의 공식 언어라고 규정하고 있지만, 인구 500만 명 이상의 경우 14개의 다른 인기 언어가 있습니다. 기사에서 언급된 하리아나어(일반적으로 힌디어의 하위 유형으로 간주됨)가 그 중 하나입니다.

통계에 따르면 하리아나어로 된 이 짧은 영상은 5,800개의 WhatsApp 그룹에서 공유되었고 약 1,500만 명이 시청했습니다.

사실은 DeepFake가 확산 효과에 큰 기여를 했다는 것을 증명합니다.

알고리즘을 사용하여 비디오에 "가짜 음성" 추가

이 기술은 어떻게 구현되나요?

아이디어즈 팩토리는 티와리어 영상을 바탕으로 다른 언어의 음성 매칭 작업을 진행했다고 주장했습니다.

구체적으로, 입술 움직임 기술이 적용된 딥페이크 알고리즘을 사용하여 티와리의 목소리로 학습시킨 후, 최종적으로 외부 오디오와 입 움직임을 융합했습니다.

회사는 훈련된 모델을 확보한 후, 티와리가 하리안비어로 쓰여진 대사를 읽는 것을 모방하기 위해 성우를 고용했고, 마침내 그 음성을 영상에 삽입했습니다.

즉, 티와리가 방언으로 말하는 영상은 티와리 자신의 실제 모습에 다른 사람의 목소리를 더한 것이며, 입술 움직임만 수정하여 실제처럼 보이게 한 것입니다.

또한 이 회사는 현재 기술이 알고리즘을 사용해 대상자의 음성을 직접 생성할 만큼 충분히 성숙되지 않았다고 주장합니다. 하지만 그들은 기술에 자신감을 가지고 있으며 이를 대규모로 홍보할 계획입니다. 예를 들어, 다가올 비하르 총선과 2020년 미국 선거에서 이를 활용할 계획입니다.

아이디어즈 팩토리 측은 사용된 기술에 대한 세부 정보를 공개하기를 거부했지만, RIT 연구원들은 몇 가지 단서를 바탕으로 엔비디아의 vid2vid 모델을 사용했을 가능성이 있다고 추측했습니다.

안타깝게도 DeepFake는 그들이 최종 승리를 거두는 데 도움이 되지 않았습니다.

이번이 딥페이크가 선거 운동에 사용된 첫 번째 사례는 아니지만, 상황이 비교적 복잡한 인도에서는 전례 없는 최초 사례입니다.

이전에도 영국과 미국은 모두 선거 기간에 가짜 영상 사건을 경험했습니다. 이러한 이유로 많은 지역에서는 더욱 엄격한 법적 규제 조치를 도입했습니다.

트위터, 페이스북, 레딧 등 소셜 미디어 플랫폼에서도 선거 캠페인에서 딥페이크 사용을 단속하기 위해 엄격한 규제가 마련되었습니다.

하지만 현재 인도 선거에서 나타난 딥페이크와 관련된 관련 법률 조항은 없습니다. 일부는 불법으로 선언해도 집권당의 국민적 지지를 받지 못할 것이기 때문에 단기적으로는 시행되기 어려울 것이라고 믿기도 합니다.

딥페이크 기술을 사용했음에도 불구하고 BJP는 이번 선거에서 참패를 당했다는 점은 언급할 가치가 있습니다.

2월 11일, 델리 선거 결과가 발표되었는데, BJP는 70석 중 8석만 차지했고, AAP(평민당)는 나머지 62석을 차지했습니다.

따라서 지금으로서는 인도가 DeepFake의 영향에 대처할 생각을 하지 않을 것 같습니다.

참고문헌:
https://www.vice.com/en_in/article/jgedjb/the-first-use-of-deepfakes-in-indian-election-by-bjp?utm_source=reddit.com
http://www.fx361.com/page/2020/0210/6345716.shtml

-- 위에--