La police de Baltimore a arrêté Dazhon Leslie Darien, l'ancien directeur sportif de la Pikesville High School (PHS), pour avoir prétendument usurpé l'identité du directeur de l'école à l'aide d'un logiciel d'IA pour donner l'impression qu'il tenait des propos racistes et antisémites.

Darien, de Baltimore, Maryland, a ensuite été accusé de représailles, de harcèlement criminel, de vol et de perturbation du fonctionnement de l'école. Il a été arrêté tard dans la nuit alors qu'il tentait de monter à bord d'un vol à l'aéroport BWI Thurgood Marshall. Le personnel de sécurité l'a arrêté parce que l'arme à feu déclarée qu'il avait avec lui n'était pas correctement emballée et une vérification des antécédents qui a suivi a révélé un mandat d'arrêt ouvert contre lui.

« Le 17 janvier 2024, le service de police du comté de Baltimore a pris connaissance d'un enregistrement vocal circulant sur les réseaux sociaux », a déclaré Robert McCullough, chef de la police du comté de Baltimore, lors d'une conférence de presse diffusée aujourd'hui. « Il a été allégué que la voix capturée dans le fichier audio appartenait à M. Eric Eiswert, le directeur du lycée de Pikesville. Nous disposons désormais de preuves concluantes que l'enregistrement n'était pas authentique.

« Le département de police du comté de Baltimore est parvenu à cette décision après avoir mené une enquête approfondie, qui comprenait notamment le recours à un analyste médico-légal engagé par le FBI pour examiner l'enregistrement. Les résultats de l’analyse ont indiqué que l’enregistrement contenait des traces de contenu généré par l’IA.

McCullough a déclaré qu'un deuxième avis d'un analyste médico-légal de l'Université de Californie à Berkeley avait également déterminé que l'enregistrement n'était pas authentique.

"Sur la base de ces découvertes et d'une enquête plus approfondie, il a été déterminé que l'enregistrement a été généré grâce à l'utilisation de la technologie de l'intelligence artificielle", a-t-il déclaré.

Selon le mandat d'arrêt émis contre Darien, le fichier audio a été partagé sur les réseaux sociaux le 17 janvier après avoir été envoyé par courrier électronique aux enseignants de l'école. L'enregistrement donnait l'impression que le directeur Eric Eiswert avait tenu des propos suffisamment incendiaires pour déclencher une visite de la police afin de donner des conseils sur les mesures de sécurité à prendre pour le personnel.

« Il convient de noter que les commentaires contenus dans l'enregistrement faisaient état des prétendues frustrations [d'Eiswert] concernant les résultats des tests des étudiants afro-américains et des affirmations selon lesquelles ils (les étudiants afro-américains) étaient incapables de « sortir par des tests d'un sac en papier » » dit le mandat.

« L'enregistrement contenait des commentaires désobligeants à l'égard de personnes juives et de deux enseignants qui 'n'auraient jamais dû être embauchés' à l'école. L'enregistrement représentait une conversation entre [Eiswert] et l'un des directeurs adjoints de PHS.

Et puis tout le monde s'est entassé

Selon le mandat d’arrêt, le clip a entraîné la destitution temporaire d’Eiswert de son poste et « une vague de messages haineux sur les réseaux sociaux et de nombreux appels à l’école », et a considérablement perturbé le fonctionnement de l’école. La police affirme que cela a conduit à des menaces contre Eiswert et à des inquiétudes quant à sa sécurité.

Eiswert a déclaré aux enquêteurs qu'il pensait que le clip audio était faux car "il n'a jamais eu les conversations dans l'enregistrement". Et il a déclaré qu'il pensait que Darien était responsable en raison de sa connaissance technique de l'IA et qu'il avait un motif possible : Eiswert a déclaré qu'il « y avait eu des conversations avec Darien au sujet de son contrat qui ne serait pas renouvelé le semestre prochain en raison de fréquents problèmes de performance au travail ».

Ces contestations sont décrites en termes plus précis dans le mandat. Un incident a impliqué Eiswert réprimandant Darien pour avoir licencié un entraîneur de longue date sans approbation.

Une autre est qu'Eiswert enquêtait sur la gestion des fonds scolaires par Darien. "En décembre 2023, Darien a fait l'objet d'une enquête potentielle pour vol [Eiswert] ouverte", indique le mandat. D’où l’accusation de représailles du témoin.

L'autre partie entendue sur l'enregistrement a déclaré aux enquêteurs que la conversation n'avait pas eu lieu et que les remarques ne ressemblaient pas à ce qu'Eiswert aurait dit.

Des entretiens avec Darien et des associés de l'école suggèrent que le fichier a été envoyé aux adresses des écoles publiques du comté de Baltimore à partir d'un compte Gmail, TJFOUST9. L'une des personnes interrogées a noté que Darien lui avait « incité à vérifier son compte de messagerie BCPS pour détecter un message "bizarre". »

Par la suite, une autre membre du personnel – qui « a eu du mal à travailler sous la direction [d'Eiswert] pour diverses raisons » – a révélé qu'elle avait transféré l'e-mail sur le téléphone portable d'un étudiant de PHS, dont elle savait qu'il diffuserait rapidement le message sur divers médias sociaux et dans l'ensemble du pays. l'école." Une assignation à comparaître pour son ancien compte de messagerie universitaire indiquait que le dossier avait été transmis aux agences de presse et à la NAACP.

Lors de son premier entretien avec les enquêteurs, Darien a nié connaître quelqu'un nommé « TJ Foust » et a nié toute implication dans la création et la distribution de l'enregistrement.

La faute à la grand-mère

Par la suite, les enquêteurs ont envoyé des assignations à comparaître à Google et AT&T pour obtenir des informations sur la propriété du compte et des informations sur l'adresse IP. Ils ont déterminé que l'adresse Gmail avait été créée le 15 août 2022 sur une adresse IP associée à la résidence de Los Angeles de la grand-mère de Darien. Ils ont en outre découvert que le numéro de téléphone de récupération du compte TJFOUST9 était associé à un compte T-Mobile US enregistré auprès de Darien.

Les outils d'IA spécifiques qui auraient été utilisés par Darien n'ont pas été divulgués. Le mandat indique cependant que le bureau des technologies de l'information du BCPS a examiné l'accès au réseau de Darien et a trouvé plusieurs cas où il a recherché des outils OpenAI via Bing Chat.

Nous entrons dans une nouvelle frontière profondément inquiétante

OpenAI Voice Engine, un outil de création de voix synthétiques, n'était pas accessible au public au moment des crimes présumés. C'était annoncé le 29 mars 2024. Cependant, d'autres sociétés comme OnzeLabs proposent la technologie de clonage vocal depuis plus longtemps.

Lors de la conférence de presse, John Olszewski, directeur du comté de Baltimore, a appelé à plus de prudence à l'égard des médias publics.

« Il est clair que nous entrons également dans une nouvelle frontière profondément préoccupante alors que nous continuons à adopter les technologies émergentes et leur potentiel d’innovation et de bien social », a-t-il déclaré.

« Il faut aussi rester vigilant face à ceux qui l’auraient utilisé à des fins malveillantes. Cela nous obligera à être plus conscients et plus perspicaces quant au son que nous entendons et aux images que nous voyons. Nous devrons être prudents dans notre jugement. ®

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://go.theregister.com/feed/www.theregister.com/2024/04/25/ai_voice_arrest/