COMENTÁRIO

OWASP lançou recentemente seu lista dos 10 principais aplicativos de modelo de linguagem grande (LLM), em um esforço para educar o setor sobre possíveis ameaças à segurança que você deve conhecer ao implantar e gerenciar LLMs. Este lançamento é um passo notável na direção certa para a comunidade de segurança, já que desenvolvedores, designers, arquitetos e gerentes agora têm 10 áreas nas quais focar claramente. 

Semelhante ao Estrutura do Instituto Nacional de Padrões e Tecnologia (NIST) e Diretrizes da Agência de Segurança Cibernética e de Infraestrutura (CISA) fornecida para o setor de segurança, a lista da OWSAP cria uma oportunidade para um melhor alinhamento dentro das organizações. Com esse conhecimento, os diretores de segurança da informação (CISOs) e os líderes de segurança podem garantir que as melhores precauções de segurança sejam implementadas em relação ao uso de tecnologias LLM que estão evoluindo rapidamente. LLMs são apenas código. Precisamos aplicar o que aprendemos sobre autenticação e autorização de código para evitar uso indevido e comprometimento. É por isso que a identidade fornece o kill switch para IA, que é a capacidade de autenticar e autorizar cada modelo e suas ações, e interrompê-lo quando ocorrer uso indevido, comprometimento ou erros.

Os adversários estão capitalizando as lacunas nas organizações

Como profissionais de segurança, temos há muito falado o que os adversários estão fazendo, como envenenamento de dados, vulnerabilidades na cadeia de suprimentos, agência e roubo excessivos e muito mais. Esta lista OWASP para LLMs é a prova de que a indústria está reconhecendo onde estão os riscos. Para proteger nossas organizações, temos que corrigir o rumo rapidamente e ser proativos. 

A inteligência artificial generativa (GenAI) está destacando uma nova onda de riscos de software que estão enraizados na mesmas capacidades isso o tornou poderoso em primeiro lugar. Cada vez que um usuário faz uma pergunta a um LLM, ele rastreia inúmeros locais da Web na tentativa de fornecer uma resposta ou resultado gerado por IA. Embora cada nova tecnologia apresente novos riscos, os LLMs são especialmente preocupantes porque são muito diferentes das ferramentas com as quais estamos acostumados.

Quase todas as 10 principais ameaças LLM giram em torno de um compromisso de autenticação para as identidades usadas nos modelos. Os diferentes métodos de ataque abrangem toda a gama, afetando não apenas as identidades das entradas do modelo, mas também as identidades dos próprios modelos, bem como suas saídas e ações. Isso tem um efeito indireto e exige autenticação nos processos de assinatura e criação de código para interromper a vulnerabilidade na origem.

Autenticação de treinamento e modelos para prevenir envenenamento e uso indevido

Com mais máquinas conversando entre si do que nunca, deve haver treinamento e autenticação na forma como as identidades serão usadas para enviar informações e dados de uma máquina para outra. O modelo precisa autenticar o código para que possa espelhar essa autenticação para outras máquinas. Se houver um problema com a entrada ou modelo inicial — porque os modelos são vulneráveis ​​e são algo para ficar de olho — haverá um efeito dominó. Os modelos e suas entradas devem ser autenticados. Caso contrário, os membros da equipe de segurança questionarão se este é o modelo correto que treinaram ou se está usando os plug-ins que aprovaram. Quando os modelos podem usar APIs e autenticação de outros modelos, a autorização deve ser bem definida e gerenciada. Cada modelo deve ser autenticado com uma identidade única.

Vimos isso acontecer recentemente com Análise da AT&T, que foi apelidado de “erro de configuração de software”, deixando milhares de pessoas sem serviço de celular durante o trajeto matinal. Na mesma semana, o Google enfrentou um bug muito diferente, mas igualmente preocupante. Gerador de imagens Gemini do Google deturpado imagens históricas, causando preocupações de diversidade e preconceito devido à IA. Em ambos os casos, os dados usados ​​para treinar modelos GenAI e LLMs — bem como a falta de proteções em torno deles — foram a raiz do problema. Para evitar problemas como este no futuro, as empresas de IA precisam de gastar mais tempo e dinheiro para treinar adequadamente os modelos e informar melhor os dados. 

Para projetar um sistema seguro e à prova de balas, os CISOs e líderes de segurança devem projetar um sistema onde o modelo funcione com outros modelos. Dessa forma, um adversário que rouba um modelo não colapsa todo o sistema e permite uma abordagem kill-switch. Você pode desligar um modelo e continuar trabalhando e protegendo a propriedade intelectual da empresa. Isso posiciona as equipes de segurança de forma muito mais forte e evita maiores danos. 

Agindo de acordo com as lições da lista 

Para os líderes de segurança, recomendo seguir a orientação do OWASP e perguntar ao CISO ou aos executivos de nível C como a organização está pontuando essas vulnerabilidades em geral. Essa estrutura nos torna mais responsáveis ​​pelo fornecimento de insights e soluções de segurança no nível do mercado. É encorajador termos algo para mostrar ao nosso CEO e ao conselho para ilustrar como estamos nos saindo no que diz respeito à preparação para riscos. 

À medida que continuamos a ver riscos surgirem com LLMs e ferramentas de atendimento ao cliente de IA, como acabamos de fazer com Chatbot da Air Canada dando reembolso a um viajante, as empresas serão responsabilizadas por erros. É hora de começar a regulamentar os LLMs para garantir que eles sejam treinados com precisão e estejam prontos para lidar com negócios que possam afetar os resultados financeiros. 

Concluindo, esta lista serve como uma excelente estrutura para as crescentes vulnerabilidades da Web e os riscos aos quais precisamos prestar atenção ao usar LLMs. Embora mais de metade dos 10 principais riscos sejam essencialmente mitigados e exijam a interrupção da IA, as empresas terão de avaliar as suas opções ao implementar novos LLMs. Se existirem as ferramentas certas para autenticar os inputs e os modelos, bem como as ações dos modelos, as empresas estarão mais bem equipadas para aproveitar a ideia do interruptor de interrupção da IA ​​e evitar mais destruição. Embora isso possa parecer assustador, existem maneiras de proteger sua organização em meio à infiltração de IA e LLMs em sua rede.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.darkreading.com/vulnerabilities-threats/top-lessons-cisos-owasp-llm-top-10