플라톤 데이터 인텔리전스.
수직 검색 및 인공 지능.

마이크로소프트, 공개하기엔 너무 좋은 딥페이크 기술 공개

시간

이번 주 Microsoft는 스틸 이미지, 오디오 샘플 및 텍스트 스크립트를 사용하여 사람들이 말하는 비디오를 제작하기 위한 프레임워크인 VASA–1을 시연했으며, 대중에게 공개하기에는 너무 위험하다고 주장했습니다.

사람들이 복제된 목소리로 스크립트된 단어를 말할 수 있도록 설득력 있게 애니메이션을 적용할 수 있는 이러한 AI 생성 비디오는 미국 연방 무역위원회(Federal Trade Commission)와 같은 종류입니다. 약 경고 지난 달, 이전에 이어 규칙을 제안하다 AI 기술이 사칭 사기에 사용되는 것을 방지하기 위한 것입니다.

Microsoft 팀은 그들의 의견을 최대한 인정합니다. 발표, 윤리적 고려로 인해 기술이 공개되지 않는다고 설명합니다. 그들은 누군가를 사칭하는 것이 아니라 가상 상호작용 캐릭터를 생성하기 위한 연구를 제시하고 있다고 주장합니다. 따라서 제품이나 API가 계획되어 있지 않습니다.

"우리 연구는 긍정적인 적용을 목표로 가상 AI 아바타에 대한 시각적 정서적 기술을 생성하는 데 중점을 두고 있습니다."라고 Redmond Boffins는 말합니다. “호도하거나 속이는 데 사용되는 콘텐츠를 만들려는 의도가 없습니다.

“그러나 다른 관련 콘텐츠 생성 기술과 마찬가지로 인간을 사칭하는 데 여전히 잠재적으로 오용될 수 있습니다. 우리는 실제 인물을 대상으로 오해의 소지가 있거나 유해한 내용을 생성하는 어떠한 행위에도 반대하며, 우리의 첨단 위변조 탐지 기술을 적용하는데 관심이 있습니다.”

생체 인식 인증 기업인 Token의 회장이자 생성 AI에 대해 자주 강연하는 Kevin Surace는 다음과 같이 말했습니다. 등록 스틸 프레임과 복제된 음성 파일에서 애니메이션된 얼굴에 대한 이전 기술 시연이 있었지만 Microsoft의 시연에는 최신 기술이 반영되어 있다고 이메일에서 밝혔습니다.

“이메일 및 기타 비즈니스 대중 커뮤니케이션을 개인화하는 데 미치는 영향은 엄청납니다.”라고 그는 말했습니다. “오래된 사진에도 애니메이션을 적용합니다. 어느 정도 이것은 단지 재미일 뿐이고 다른 한편으로는 앞으로 몇 달, 몇 년 동안 우리 모두가 사용할 견고한 비즈니스 애플리케이션이 있습니다.”

딥페이크의 "재미"는 96%가 합의되지 않은 포르노였습니다. 평가 [PDF] 사이버 보안 회사 Deeptrace가 2019년에 발표했습니다.

그럼에도 불구하고, 마이크로소프트 연구원들은 현실적으로 보이는 사람을 만들고 입에 단어를 넣을 수 있는 능력이 긍정적인 용도가 있다고 제안합니다.

"이러한 기술은 디지털 의사소통을 풍부하게 하고, 의사소통 장애가 있는 사람들의 접근성을 높이고, 대화형 AI 개인교습을 통한 교육과 방법을 변화시키며, 의료 분야에서 치료 지원과 사회적 상호 작용을 제공할 수 있는 가능성을 담고 있습니다."라고 그들은 제안합니다. 연구 논문 '포르노' 또는 '잘못된 정보'라는 단어가 포함되지 않은 콘텐츠입니다.

AI가 생성한 비디오는 딥페이크와 완전히 동일하지는 않지만, 후자는 논쟁의 여지가 있습니다. 한정된 생성 방법과 달리 디지털 조작을 사용하면 잘라서 붙여넣는 방식을 접목하지 않고도 설득력 있는 가짜를 만들어낼 수 있을 때 구별이 중요하지 않게 됩니다.

Microsoft가 오용에 대한 두려움 때문에 이 기술을 대중에게 공개하지 않는다는 사실에 대해 어떻게 생각하는지 묻는 질문에 Surace는 제한의 실행 가능성에 대해 의구심을 표명했습니다.

“마이크로소프트와 다른 업체들은 개인정보 보호와 사용 문제가 해결될 때까지 보류해 왔습니다.”라고 그는 말했습니다. "이것을 올바른 이유로 사용하는 사람을 어떻게 규제할 수 있나요?"

Surace는 이미 비슷하게 정교한 오픈 소스 모델이 있다고 덧붙였습니다. EMO. “GitHub에서 소스 코드를 가져와 Microsoft의 결과물과 맞먹는 서비스를 구축할 수 있습니다.”라고 그는 말했습니다. “공간의 오픈소스 특성상 어떠한 경우에도 규제가 불가능할 것입니다.”

즉, 전 세계 국가에서는 AI로 제작된 사람들을 규제하려고 노력하고 있습니다. Canada, 중국UK, 특히 모든 국가에는 딥페이크에 적용될 수 있는 규정이 있으며, 그 중 일부는 더 광범위한 정치적 목표를 달성합니다. 이번 주에만 영국 불법으로 만들었 어. 동의 없이 성적으로 노골적인 딥페이크 이미지를 만드는 것. 이러한 이미지의 공유는 영국의 2023년 온라인 안전법에 따라 이미 금지되었습니다.

지난 1월, 미국 국회의원들로 구성된 초당파 단체 소개 2024년 명시적 위조 이미지 및 합의되지 않은 편집 중단법(DEFIANCE Act)은 합의되지 않은 딥페이크 이미지의 피해자가 법원에 민사 소송을 제기할 수 있는 방법을 마련하는 법안입니다.

그리고 16월 XNUMX일 화요일, 미국 상원 사법위원회, 개인 정보 보호, 기술 및 법률 소위원회가 열렸습니다. 청문회 제목은 "AI 감독: 선거 딥페이크"입니다.

딥페이크 탐지 기업인 DeepMedia의 CEO인 Rijul Gupta는 준비된 연설에서 다음과 같이 말했습니다.

[T] 딥페이크의 가장 놀라운 측면은 악의적인 행위자에게 그럴듯한 부인 가능성을 제공하여 실제 콘텐츠를 가짜로 무시할 수 있는 능력입니다. 이러한 대중의 신뢰의 침식은 우리 사회 구조의 핵심과 민주주의의 기초를 공격합니다. 보고 듣는 것을 믿도록 만들어진 인간의 두뇌는 특히 딥페이크의 속임수에 취약합니다. 이러한 기술이 점점 정교해짐에 따라 우리 사회를 뒷받침하는 공유된 현실감을 약화시키고 시민들이 접하는 모든 정보의 진실성에 의문을 제기하게 만드는 불확실성과 회의주의 분위기를 조성할 위험이 있습니다.

하지만 마케팅 애플리케이션을 생각해 보세요. ®

spot_img

최신 인텔리전스

spot_img

우리와 함께 채팅

안녕하세요! 어떻게 도와 드릴까요?