AI 패권 경쟁이 계속됨에 따라 Microsoft는 이제 최신 도구인 VASA-1을 사용하여 사람들의 인물 사진을 말하는 얼굴이나 비디오로 변환하려고 합니다.

거대 기술 기업의 연구 논문에 따르면, 마이크로소프트는 AI 경쟁을 한 단계 더 발전시키고 있습니다. 바사 1, 시각적 감정 기술(VAS)을 갖춘 가상 캐릭터의 실제와 같은 말하는 얼굴을 만들기 위한 프레임워크, 모두 인물 사진에서 제공됩니다.

또한 읽기 : AI를 두고 비디오 게임 업계가 노조를 결성하다

인물 사진부터 말하는 얼굴까지

아직 대중에게 제공되지는 않지만 이 도구는 단일 인물 사진과 음성 오디오를 촬영하고 실시간으로 생성되는 정확한 립오디오 동기화, 실제와 같은 얼굴 동작 및 자연스러운 머리 움직임을 통해 초현실적으로 말하는 얼굴 비디오를 생성합니다.

이 도구는 아직 Microsoft Research 팀의 연구 미리 보기 단계에 있으며 데모 비디오는 "인상적으로 보입니다."

Nvidia 및 Runway와 같은 회사는 이미 유사한 머리 움직임 및 립싱크 기술을 보유하고 있지만 VASA-1은 "훨씬 더 높은 품질과 사실성을 제공하는 것"으로 보이며 입 인공물을 줄입니다. 톰 가이드.

또한 오디오 기반 애니메이션에 대한 이러한 접근 방식은 최근의 애니메이션과도 같습니다. 블로거 AI Google Research의 모델입니다.

Microsoft에 따르면 데모 예제의 모든 이미지는 Dall-E에서 만든 합성 이미지이지만 VASA-1은 여전히 ​​실제 그림에 애니메이션을 적용할 수 있습니다.

데모에서는 다양한 사람들이 거의 자연스러운 움직임, 얼굴 표정, 눈 움직임으로 대화하는 모습을 보여줍니다. "다른 도구에서 볼 수 있는 입의 윗부분과 아랫부분에 인공물이 없습니다."

또한 작동하기 위해 얼굴이 앞으로 향한 인물 스타일 이미지가 필요하지 않습니다.

Microsoft는 방금 VASA-1을 출시했습니다.

사진 1장과 오디오 1장을 완전히 실물과 같은 인간 딥페이크로 바꿀 수 있는 새로운 AI 모델입니다.

선거 직전에 이것을 떨어뜨리고 싶습니다 😬pic.twitter.com/MuLkZVOKRM

— 로완 청(@rowancheung) 2024 년 4 월 18 일

VASA-1을 통해 사람들이 대화를 나누게 되었습니다.

이미 AI 열광자들은 X 플랫폼에서 AI를 "야생적"이고 "미친" 것으로 묘사하는 기술에 매료된 것 같습니다.

"각 릴리스 사이에 우리가 얻고 있는 개선 사항은 놀라울 정도입니다." 말했다 리누스 에켄스탐.

다른 사람들은 세계가 "미디어 콘텐츠가 생성되는 방식과 소비 방식에 있어서 엄청난 변화"를 목격하고 있다는 견해를 가지고 있습니다.

Sam이라고 밝힌 또 다른 열광자는 “이것은 놀라운 일입니다. 현실감은 최고 수준입니다.”라고 말했습니다.

다른 사람들은 도구의 기능을 인정하지만 Microsoft가 쉽게 조작할 수 있는 도구를 도입하는 것은 다소 무책임하다고 생각합니다. 선거 딥페이크.

“선거 직전에 이 문제를 철회하고 싶습니다.” 쓴 X 플랫폼의 Rowan Cheung.

다른 사용자 에반 커스텔 "Microsoft Research의 VASA-1은 사진과 오디오만으로 초현실적인 AI 생성 비디오를 생성하는 획기적인 제품입니다."라고 단호하게 경고했습니다.

“고전 영화의 전설을 되살리는 것부터 개인화된 미디어에 이르기까지 가능성은 무궁무진합니다. 하지만 딥페이크 위험에 항상 주의를 기울이자.”

이미 전 세계에는 AI를 사용해 정치인의 목소리나 이미지를 조작해 선전을 퍼뜨리는 선거 딥페이크가 유입되는 것을 목격했습니다. 올해 전 세계 인구의 약 3분의 1이 투표에 참여합니다.

그러나 Microsoft 연구원들은 이는 단지 시연용일 뿐이며 현재 공개 릴리스나 개발자에게 제공할 계획이 없다고 밝혔습니다.

VASA-1은 어떻게 작동하나요?

Tom's Guide에 따르면 연구원들은 "훈련 데이터 세트에 음악이 사용되지 않았음에도 불구하고 문제 없이 가수의 가사를 반영하여 노래에 완벽하게 립싱크하는" 모델의 능력에 놀랐습니다.

또한 VASA-1은 유명한 인물 사진과 같은 역사적 인물 사진을 포함하여 다양한 이미지 스타일을 처리했습니다. 모나리자.

이 도구는 고급 립싱크 기능을 통해 게임에 사용할 수 있습니다. 전문가들은 이것이 몰입의 판도를 바꿀 수 있다고 말했습니다.

또한 이 기술은 Synthesia 및 HeyGen과 같은 회사의 경우처럼 소셜 미디어 비디오용 아바타를 만드는 데 중요한 역할을 할 수 있습니다.

AI 기반 영화 및 뮤직 비디오 제작에서도 VASA-1 기술을 활용하여 더욱 사실적인 비디오를 제작할 수 있습니다.

Microsoft가 OpenAI에 지분을 갖고 있는 경우 VASA-1이 "미래의 Copilot"의 일부가 될 가능성이 있습니다. 소라 완성."

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://metanews.com/enthusiasts-smitten-by-image-to-video-tool-vasa-1/