最近発表された調査結果によると、ソフトウェア開発者による大規模言語モデル (LLM) の使用は、攻撃者にとって、悪意のあるパッケージを開発環境に配布するこれまで考えられていたよりも大きな機会をもたらしています。
LLM セキュリティ ベンダー Lasso Security によるこの調査は、次のような可能性に関する昨年のレポートのフォローアップです。 攻撃者はLLMの幻覚傾向を悪用する、または、ユーザーの入力に応じて、一見もっともらしいが事実に基づいていない結果を生成します。
AIパッケージ幻覚
過去の研究 ソフトウェア開発者が開発環境で AI 対応チャットボットの助けを求めたときに、ChatGPT がコード ライブラリの名前を捏造する傾向に焦点を当てました。言い換えれば、チャットボットは、開発者がプロジェクトで使用するパッケージの提案を要求した場合に、パブリック コード リポジトリに存在しないパッケージへのリンクを吐き出すことがありました。
この研究の著者で現在は Lasso Security に所属するセキュリティ研究者の Bar Lanyado 氏は、攻撃者が ChatGPT が指す場所に実際の悪意のあるパッケージを簡単にドロップし、幻覚パッケージと同じ名前を付けることができることを発見しました。 ChatGPT の推奨に基づいてパッケージをダウンロードした開発者は、開発環境にマルウェアを導入してしまう可能性があります。
ラニャドの 追跡調査 GPT-3.5-Turbo、GPT-4、Gemini Pro (旧名 Bard)、Coral (Cohere) という XNUMX つの異なる大規模言語モデルにわたるパッケージ幻覚問題の広がりを調査しました。彼はまた、さまざまなプログラミング言語間で幻覚パッケージを生成する各モデルの傾向と、同じ幻覚パッケージを生成する頻度をテストしました。
Lanyado は、テストのために、さまざまなプログラミング環境 (Python、node.js、go、.net、ruby) の開発者が最も一般的に開発環境の LLM に支援を求める数千の「ハウツー」質問のリストを作成しました。次に、Lanyado は各モデルにコーディング関連の質問と、その質問に関連するパッケージの推奨事項を尋ねました。同氏はまた、同じ問題を解決するためにさらに 10 個のパッケージを推奨するよう各モデルに依頼しました。
反復的な結果
結果は憂慮すべきものでした。ラニャドがジェミニと交わした「会話」のうち、驚くべきことに64.5％が幻覚症状を引き起こした。 Coral の場合、その数字は 29.1% でした。 GPT-4 (24.2%) や GPT3.5 (22.5%) などの他の LLM の成績はそれほど良くありませんでした。
Lanyado が各モデルに同じ質問を 100 回行って、モデルが同じ荷物をどのくらいの頻度で幻覚を見るかを調べたところ、その繰り返し率も驚くべきものであることがわかりました。たとえば、Cohere は 24% 以上の確率で同じ幻覚を起こしたパッケージを吐き出しました。チャット GPT-3.5 と Gemini は約 14%、GPT-4 は 20% です。いくつかの例では、異なるモデルが同じまたは類似のパッケージを幻覚させました。このような交差幻覚モデルの最も多くは、GPT-3.5 とジェミニの間で発生しました。
Lanyado 氏は、たとえ異なる開発者が同じトピックについて LLM に質問し、質問の作成方法が異なっていたとしても、LLM はそれぞれのケースで同じ幻覚パッケージを推奨する可能性があると述べています。言い換えれば、コーディング支援に LLM を使用している開発者は、同じ幻覚を起こしたパッケージの多くに遭遇する可能性があります。
「質問がまったく異なるものであっても、似たような主題に関するものである可能性があります。それでも幻覚は起こるため、このテクニックは非常に効果的です」とランヤド氏は言います。 「現在の調査では、多くの異なる質問や主題、さらには異なるモデルにわたる『繰り返しパッケージ』を受け取りました。これにより、これらの幻覚パッケージが使用される可能性が高まります。」
悪用されやすい
たとえば、幻覚を見せたいくつかのパッケージの名前を持った攻撃者は、LLM が開発者にそのパッケージを指し示す可能性が高いことを知りながら、同じ名前のパッケージを適切なリポジトリにアップロードする可能性があります。この脅威が理論上のものではないことを証明するために、Lanyado 氏はテスト中に遭遇した「huggingface-cli」と呼ばれる幻覚パッケージを取得し、同じ名前の空のパッケージを機械学習モデル用の Hugging Face リポジトリにアップロードしました。開発者はそのパッケージを 32,000 回以上ダウンロードした、と彼は言います。
脅威アクターの観点から見ると、パッケージの幻覚はマルウェアを配布するための比較的簡単なベクトルを提供します。 「研究結果から分かるように、それはそれほど難しいことではありません」と彼は言います。 Lanyado氏は、平均すると、ほぼ35の質問に対して、すべてのモデルが48,000%一緒に幻覚を起こしたと付け加えた。 GPT-3.5 は幻覚の割合が最も低かった。 Gemini のスコアが最も高く、18 つのモデルすべての平均反復性は XNUMX% であったと同氏は述べています。
Lanyado は、開発者が LLM のパッケージ推奨事項の正確性を完全に確信していない場合は、そのパッケージ推奨事項に基づいて行動するときは注意することを推奨しています。また、開発者が見慣れないオープンソース パッケージに遭遇した場合、パッケージ リポジトリにアクセスし、そのコミュニティの規模、メンテナンス記録、既知の脆弱性、全体的なエンゲージメント率を調べる必要があるとも述べています。開発者は、開発環境にパッケージを導入する前に、パッケージを徹底的にスキャンする必要もあります。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
