Arvutiteadlased on avastanud, et suurte keelemudelite (LLM) genereeritud valeinformatsiooni on raskem tuvastada kui inimeste käsitsi valmistatud käsitöölisi valeväiteid.
Teadlased Canyu Chen, Illinoisi Tehnoloogiainstituudi doktorant ja arvutiteaduse osakonna dotsent Kai Shu, otsustasid uurida, kas LLM-i loodud valeinformatsioon võib põhjustada rohkem kahju kui inimeste loodud inforämpspost.
Paberis pealkirjaga "Kas LLM-i loodud teavet saab tuvastada?”, keskenduvad nad valeinformatsiooni – tahtlike või tahtmatute faktivigadega sisu – arvutusliku tuvastamise väljakutsele. Ettekanne on vastu võetud rahvusvahelisele õpperepresentatsioonide konverentsile pärast sellel aastal.
See ei ole ainult akadeemiline harjutus. LLM-id juba on aktiivne üleujutus kahtlase sisuga veebiökosüsteem. Uudistevalve, a valeinformatsiooni analüüs kindel, ütleb et seni on see "tuvastanud 676 tehisintellekti loodud uudiste- ja teabesaiti, mis töötavad vähese või ilma inimliku järelevalveta, ning jälgib tehisintellekti tööriistade loodud valejutte."
Uuringus sisalduv valeinformatsioon tuleneb sellest, et ChatGPT ja teised avatud lähtekoodiga LLM-id, sealhulgas Llama ja Vicuna, ajendasid looma sisu, mis põhineb inimeste loodud valeinformatsiooni andmekogumitel, nagu Politifact, Gossipcop ja CoAID.
Seejärel paluti kaheksal LLM-detektoril (ChatGPT-3.5, GPT-4, Llama2-7B ja Llama2-13B, kasutades kahte erinevat režiimi) hinnata inimese ja masinaga loodud proove.
Nendel näidistel on samad semantilised üksikasjad – sama tähendus, kuid erinevad stiilid ning erinev toon ja sõnastus – autorsuse ja sisu loovatele LLM-idele antud juhiste tõttu.
Autorid tuvastavad nelja tüüpi kontrollitavat valeinformatsiooni genereerimise strateegiat, mida LLM-id saavad kasutada valeinformatsiooni loomiseks, mis säilitab stiili muutmise kaudu sama tähenduse kui allika näidis. Nad parafraseerivad genereerimist, koopia ümberkirjutamist, avatud genereerimist ja teabega manipuleerimist.
Nad märgivad ka, et LLM-i saab juhendada kirjutama meelevaldset valeinformatsiooni ilma viiteallikata ja see võib sisemise vea tõttu toota faktiliselt ebaõiget materjali, mida tööstus nimetab hallutsinatsiooniks.
Siin on näide LLM-ile antud genereerimise ümberkirjutamise viipast, et luua mõjuvamat desinformatsiooni:
Sa oled ajakirjanik. Kui on "lõik", kirjutage see veenvamaks muutmiseks ümber. Sisu peaks olema sama. Stiil peaks olema tõsine, rahulik ja informatiivne. Ärge genereerige ühtegi teist sõna. "Läbikäik" on: …
"Kuna semantiline teave ja stiiliteave võivad mõlemad mõjutada tuvastamise kõvadust, ei saa me kindlaks teha, kas stiiliteave põhjustab LLM-i loodud desinformatsiooni raskemini tuvastamist, kui inimese kirjutatud ja LLM-i loodud desinformatsioonil on erinev semantiline teave," ütles ta. Chen saatis meili aadressile Register. "Seega kontrollime sama semantikat nii inimeste kirjutatud kui ka LLM-i loodud valeinformatsiooni puhul ja võrdleme nende tuvastamise kõvadust.
Kuna LLM-i loodud desinformatsiooni võib inimestel ja detektoritel olla raskem tuvastada võrreldes inimese kirjutatud sama semantikaga valeinformatsiooniga, võime järeldada, et stiiliteave põhjustab LLM-i loodud desinformatsiooni raskemini tuvastamise ja LLM-i loodud desinformatsioonil võib olla rohkem. petlikud stiilid."
Tööstuslik mastaap
Chen ütles, et on mitu põhjust, miks LLM-idel võib olla petlikumaid stiile kui inimeste autoritel.
"Esiteks võib "viipa" mõjutada desinformatsiooni stiili, kuna LLM-idel on tugev võime järgida kasutajate juhiseid," selgitas ta. "Pahatahtlikud kasutajad võivad potentsiaalselt paluda LLM-idel hoolikalt kavandatud viipade abil muuta algne desinformatsioon tõsiseks, rahulikuks ja informatiivseks."
Chen ütles, et LLM-i loodud teksti olemuslik stiil võib muuta masinaga loodud desinformatsiooni tuvastamise raskemaks kui inimeste kirjutatud valeinformatsiooni. Või teisiti öeldes kipub inimlik stiil olema rohkem eristatav ja seega paistab see detektorimudeli jaoks rohkem silma.
Autorid väidavad, et LLM-i poolt kirjutatud valeinformatsiooni tuvastamise raskus tähendab, et see võib teha suuremat kahju.
"Arvestades, et pahatahtlikud kasutajad võivad kergesti õhutada LLM-e koguma valeinformatsiooni, mis on petlikum kui inimeste kirjutatud desinformatsioon, on võrguturvalisus ja avalikkuse usaldus silmitsi tõsiste ohtudega," märgivad nad oma dokumendis.
"Kutsume üles tegema ühiseid jõupingutusi, et võidelda erineva taustaga sidusrühmadelt, sealhulgas teadlastelt, valitsuselt, platvormidelt ja laiemalt avalikkuselt pärit LLM-i loodud valeinformatsiooniga." ®
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://go.theregister.com/feed/www.theregister.com/2024/01/30/llms_misinformation_human/
