Microsoft demonstrerade denna vecka VASA–1, ett ramverk för att skapa videor av människor som pratar från en stillbild, ljudexempel och textmanus, och hävdar – med rätta – att det är för farligt för att släppas till allmänheten.
Dessa AI-genererade videor, där människor på ett övertygande sätt kan animeras för att tala skriptade ord med en klonad röst, är precis sånt som US Federal Trade Commission varnade för förra månaden, efter tidigare föreslå en regel för att förhindra AI-teknik från att användas för bedrägeri efter identitetsstöld.
Microsofts team erkänner så mycket i sina meddelande, vilket förklarar att tekniken inte släpps på grund av etiska överväganden. De insisterar på att de presenterar forskning för att skapa virtuella interaktiva karaktärer och inte för att utge sig för någon. Som sådan är det ingen produkt eller API planerad.
"Vår forskning fokuserar på att generera visuella affektiva färdigheter för virtuella AI-avatarer, med sikte på positiva tillämpningar", säger Redmond boffins. "Det är inte avsett att skapa innehåll som används för att vilseleda eller vilseleda.
"Men liksom andra relaterade tekniker för innehållsgenerering kan det fortfarande potentiellt missbrukas för att imitera människor. Vi motsätter oss alla beteenden för att skapa vilseledande eller skadligt innehåll hos verkliga personer, och är intresserade av att tillämpa vår teknik för att avancera förfalskningsdetektering.”
Kevin Surace, ordförande för Token, en biometrisk autentiseringsaffär, och frekvent talare om generativ AI, berättade Registret i ett e-postmeddelande om att även om det har förekommit tidigare teknikdemonstrationer av ansikten animerade från en stillbildsram och klonad röstfil, så återspeglar Microsofts demonstration den senaste tekniken.
"Konsekvenserna för att anpassa e-postmeddelanden och annan affärsmasskommunikation är fantastiska", menade han. ”Till och med animera äldre bilder också. Till viss del är det bara roligt och till en annan har det solida affärsapplikationer som vi alla kommer att använda under de kommande månaderna och åren.”
Det "roliga" med deepfakes var 96 procent porr utan samtycke, när bedömas [PDF] 2019 av cybersäkerhetsföretaget Deeptrace.
Trots det menar Microsofts forskare att det har positiva fördelar att kunna skapa människor som ser realistiskt ut och lägga ord i deras mun.
"Sådan teknik har löftet att berika digital kommunikation, öka tillgängligheten för personer med kommunikativa funktionsnedsättningar, förvandla utbildning, metoder med interaktiv AI-handledning och tillhandahålla terapeutiskt stöd och social interaktion i vården", föreslår de i en uppsats som inte innehåller orden "porr" eller "desinformation".
Även om det kan hävdas är AI-genererad video inte riktigt detsamma som en deepfake, den senare definierade genom digital manipulation i motsats till en generativ metod, blir distinktionen oväsentlig när en övertygande förfalskning kan trollas fram utan klipp-och-klistra ympning.
På frågan om vad han tycker om det faktum att Microsoft inte släpper denna teknik till allmänheten av rädsla för missbruk, uttryckte Surace tvivel om begränsningarnas genomförbarhet.
"Microsoft och andra har hållit tillbaka för nu tills de har löst sekretess- och användningsproblemen", sa han. "Hur kommer någon att reglera vem som använder detta av rätt anledningar?"
Surace tillade att det redan finns modeller med öppen källkod som är lika sofistikerade, vilket pekar på EMO. "Man kan hämta källkoden från GitHub och bygga en tjänst runt den som utan tvekan skulle konkurrera med Microsofts produktion," observerade han. "På grund av utrymmets öppen källkod kommer det att vara omöjligt att reglera det i alla fall."
Som sagt, länder runt om i världen försöker reglera AI-tillverkade människor. Kanada, Kina, Och den UK, bland andra nationer, har alla regler som kan tillämpas på deepfakes, av vilka några uppfyller bredare politiska mål. Storbritannien bara den här veckan gjorde det olagligt att skapa en sexuellt explicit deepfake-bild utan samtycke. Delning av sådana bilder var redan förbjuden enligt Storbritanniens onlinesäkerhetslag från 2023.
I januari, en tvåpartisk grupp av amerikanska lagstiftare introducerade lagen om Disrupt Explicit Forged Images and Non-Consensual Edits från 2024 (DEFIANCE Act), ett lagförslag som skapar ett sätt för offer för djupfalska bilder utan samtycke att lämna in ett civilrättsligt anspråk i domstol.
Och tisdagen den 16 april höll den amerikanska senatens kommitté för rättsväsendet, underkommittén för integritet, teknologi och lagen en utfrågning med titeln "Oversight of AI: Election Deepfakes."
I förberedda kommentarer sa Rijul Gupta, VD för DeepMedia, en deepfake-detektionsbiz:
[D]en mest alarmerande aspekten av deepfakes är deras förmåga att förse dåliga skådespelare med rimlig förnekelse, vilket gör att de kan avfärda äkta innehåll som falskt. Denna urholkning av allmänhetens förtroende slår mot själva kärnan av vår sociala struktur och grunderna för vår demokrati. Den mänskliga hjärnan, som är ansluten till att tro vad den ser och hör, är särskilt sårbar för bedrägeri av deepfakes. När dessa tekniker blir allt mer sofistikerade hotar de att undergräva den gemensamma känsla av verklighet som ligger till grund för vårt samhälle, vilket skapar ett klimat av osäkerhet och skepsis där medborgarna lämnas ifrågasätter sanningshalten i varje bit av information de möter.
Men tänk på marknadsföringsapplikationerna. ®
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://go.theregister.com/feed/www.theregister.com/2024/04/20/microsoft_deepfake_vasa/
