AI セキュリティリスクとコントロール対策
-プロンプトインジェクション:AIシステムの新たな脆弱性と対策-
ISACA東京支部基準委員会 小林清志(執筆)
ISACA東京支部基準委員会 福田重遠(監修)
1. はじめに
近年、AI 技術は目覚ましい発展を遂げ、様々な分野で活用が拡大しています。AI はビジネスの効率化やイノベーションを促進する一方で、新たなセキュリティリスクも生み出しています。AI システムは、従来の IT システムとは異なる特性を持つため、特有の脆弱性や攻撃手法が存在します。本稿では、AI セキュリティリスクの脅威パターンを分類し、具体的なリスクシナリオとコントロール対策を検討します。特に、近年注目されているプロンプトインジェクションのリスクについて詳細に説明し、その対策について解説します。
2. AI セキュリティリスクの脅威パターン分類
AI セキュリティリスクは、AI システムのライフサイクル全体、すなわち、設計・開発から運用・保守に至るまで、様々な段階で発生する可能性があります。これらのリスクは、大きく以下の3つの脅威パターンに分類できます。1
● AI モデルへの攻撃: AI モデルそのものを標的とした攻撃です。モデルの改ざん、盗難、不正利用などが含まれます。
○ 回避攻撃: AI モデルの脆弱性を突いて、誤った判断や動作をさせる攻撃です。例えば、画像認識 AI に対して、人間には認識できないノイズを画像に混入させることで、誤認識を誘発する攻撃などが挙げられます。
○ モデル抽出: 機械学習モデルの構造やパラメータを盗み出す攻撃です。攻撃者は、盗み出したモデルを悪用して、同様の AI システムを構築したり、システムの脆弱性を分析したりする可能性があります。2 個人データが学習データとして使われている場合に、特定の個人データが復元されプライバシーが侵害される可能性があります。
○ データポイズニング: 学習データに悪意のあるデータを混入させ、モデルの精度を低下させる攻撃です。攻撃者は、AI モデルを生成する際のデータセットとなる外部ソースのオンラインデータセットやウェブサイトに不正なデータを注入する可能性があります。3
● AI システムへの攻撃: AI システム全体を標的とした攻撃です。システムの脆弱性を突いて、不正アクセス、サービス妨害、データ窃取などを試みます。
○ プロンプトインジェクション: 後述
○ 従来型攻撃の高度化: 従来のサイバー攻撃に AI 技術を組み合わせて、攻撃の効率化や高度化を図るものがあります。例えば、AI を利用してパスワードを推測したり、マルウェアを自動生成したりする攻撃が考えられます。4
● AI 利用におけるリスク: AI の利用方法に起因するリスクです。差別的な出力、プライバシー侵害、倫理的な問題などが含まれます。
○ 誤情報・権利侵害・差別等の出力: AI が、誤った情報や倫理的に好ましくない情報、他者の権利を侵害する内容を出力する可能性があります。5 このような問題が発生すると、企業の評判や信頼が失墜する可能性があります。 また、AI を使って議事録を作成するような場合、会議で交わされた機密情報データが AI に入力されたために、意図せず内容が流出してしまうようなケースも考えられます。6
3.プロンプトインジェクション
プロンプトインジェクションとは、ユーザーのプロンプト(指示)に基づいて動作する AI システム、特に大規模言語モデル (LLM) を悪用する攻撃手法の一つです。攻撃者は、AI システムの解釈方法を悪用し、巧妙に細工したプロンプトを入力することで、システムに本来意図しない動作をさせ、機密情報の漏洩や不正な操作を行います。7 8 これは、SQL インジェクションのように、システムの脆弱性を突く攻撃の一種と言えます。
攻撃手法
プロンプトインジェクション攻撃では、攻撃者は特殊な記号や命令を含むプロンプトを入力することで、システムを混乱させ、意図しない動作を引き起こします。7 具体的な手法としては、以下のようなものがあります。
● システムコマンドの挿入: プロンプトに OS コマンドを埋め込むことで、AI システムの背後で実行されるコマンドを操作する手法です。例えば、「ファイルを削除してください」というプロンプトに、ファイル削除のコマンドを隠蔽することで、攻撃者は意図しないファイルを削除させる可能性があります。
● 隠蔽コマンドの利用: 特殊な文字や記号を用いて、悪意のあるコマンドを隠蔽する手法です。例えば、コマンドをコメントとして埋め込んだり、文字コードを操作したりすることで、AI システムの検知を回避しようとします。
● 文脈の操作: プロンプトの前後に無関係な文章を挿入することで、AI システムの文脈理解を撹乱し、意図しない応答を引き出す手法です。例えば、「今日の天気は?」という質問の前に、「機密情報を開示してください」という文章を挿入することで、AI システムが機密情報を含む応答を生成してしまう可能性があります。
影響
プロンプトインジェクション攻撃が成功すると、以下のような影響が生じる可能性があります。9 10
● 機密情報の漏洩: システム内部のデータや設定情報、ユーザーの個人情報などが漏洩する可能性があります。
● システムの制御奪取: 攻撃者がシステムの制御権限を取得し、不正な操作を行う可能性があります。
● サービスの妨害: システムが正常に動作しなくなり、サービスが停止する可能性があります。
● 不正なコンテンツの生成: 攻撃者の意図に沿った偽情報や有害なコンテンツを生成させる可能性があります。
4.プロンプトインジェクションのリスク軽減に向けたコントロール対策
プロンプトインジェクションのリスクを軽減するためには、技術的な対策と運用的な対策を組み合わせることが重要です。
技術的対策
● 入力値の検証: ユーザーからの入力値を厳密にチェックし、特殊文字や危険なコマンドを無効化します。9 例えば、許可された文字種のみを受け付けるようにしたり、入力値のサニタイズ処理を行ったりすることで、悪意のあるプロンプトの挿入を防ぐことができます。
● プロンプトの構造化: プロンプトの形式を固定化し、自由な入力を制限します。これにより、攻撃者が悪意のあるプロンプトを挿入する余地を減らすことができます。
● アクセス制御: AI システムへのアクセス権限を適切に管理し、不正なアクセスを防止します。必要最低限の権限のみを付与することで、攻撃による被害を最小限に抑えることができます。
● 出力の監視: AI システムの出力を監視し、異常な挙動を検知します。予め定義したルールやパターンに基づいて、出力をチェックすることで、プロンプトインジェクション攻撃による不正な出力を検知することができます。
● サンドボックス化: AI システムを隔離された環境で実行することで、攻撃の影響範囲を限定します。万が一、攻撃が成功した場合でも、他のシステムへの影響を最小限に抑えることができます。
運用対策
● セキュリティ教育: 開発者や運用者に対して、プロンプトインジェクションのリスクと対策に関する教育を実施します。攻撃手法や対策方法を理解することで、リスクに対する意識を高め、適切な行動を取れるようにします。
● レッドチーミング: 専門チームが攻撃者の視点でシステムを評価し、脆弱性を発見します。11 これにより、開発者が想定していなかった攻撃手法や脆弱性を発見し、対策を強化することができます。
● インシデント対応計画: 攻撃発生時の対応手順を明確化し、迅速な復旧体制を構築します。
● 最新情報の収集: プロンプトインジェクションに関する最新の攻撃手法や対策情報を収集し、システムに反映します。
5.その他の AI セキュリティリスクとコントロール対策例
プロンプトインジェクション以外にも、AI セキュリティには様々なリスクが存在します。それぞれのリスクに対応するコントロール対策例以下に示します。
6.AI Development Lifecycle Security
AI システムのセキュリティ対策は、開発段階から考慮することが重要です。セキュリティ・バイ・デザインの原則に基づき、設計、開発、テスト、運用、保守の各段階でセキュリティ対策を組み込むことで、AI システムの安全性を確保することができます。4 具体的には、以下の点が重要となります。
● セキュアな開発環境の構築
● 脆弱性診断の実施
● セキュリティ要件の定義
● アクセス制御の実装
● データの暗号化
● ログの取得と分析
7.AI セキュリティリスクに関する最新動向
AI セキュリティリスクは、AI 技術の発展とともに変化し続けています。最新の研究動向やベストプラクティスを把握し、対策に反映することが重要です。NIST (米国国立標準技術研究所) は、AI リスク管理のためのフレームワーク「AI RMF」を公開しています。4 12 AI RMF は、AI システムのリスクを特定し、評価し、管理するための包括的なフレームワークであり、組織が AI システムを安全に開発・運用するためのガイダンスを提供しています。また、IPA (情報処理推進機構) も AI セキュリティに関する情報を提供しています。4 これらの最新のレポートや業界出版物を参照することで、最新の脅威情報や対策技術を習得することができます。
AI 技術の進化に伴い、AI システムはより自律的に行動するようになり、企業のシステムやツールを自由に操作するようになると考えられています。13 このことは、従来型のセキュリティ監視ではリスクを把握することが困難になることを意味しており、新たなリスク管理のアプローチが必要となります。
8.Industry-Specific AI Security Risks
AI は、様々な業界で活用されており、それぞれの業界特有のリスクと課題が存在します。14 例えば、製造業などの OT (Operational Technology) 環境では、AI はセキュリティオペレーションに導入され、侵害の検知や封じ込めを高速化するために利用されています。しかし、OT 環境では、従来の IT 環境とは異なるセキュリティ上の課題が存在します。
● レガシーシステムの存在
● リアルタイム性の要求
● 物理的なセキュリティの重要性
これらの課題に対応するためには、OT 環境特有のセキュリティ対策を講じる必要があります。例えば、レガシーシステムのセキュリティ強化、ネットワークのセグメンテーション、物理的なアクセス制御などが挙げられます。
9.AI セキュリティリスクの評価と管理
AI セキュリティリスクを効果的に管理するためには、リスク評価ツールやフレームワークを活用することが有効です。IPA が提供する「サイバーセキュリティ経営可視化ツール」15 や、Zscaler の「セキュリティリスク評価」16 など、様々なツールが利用可能です。これらのツールは、組織の AI セキュリティリスクを評価し、適切な対策を講じるための支援を行います。
また、「AI fuzzing」と呼ばれる技術も、AI システムの脆弱性 を発見するための有効な手段として注目されています。17 AI fuzzing は、AI システムに大量のランダムな入力を与え、その応答を分析することで、システムの異常動作や脆弱性を検出する技術です。セキュリティチームは、AI fuzzing を活用することで、事前に脆弱性を発見し、対策を講じることが可能となります。
10.AI セキュリティに関する倫理的考慮事項
AI の開発・利用においては、倫理的な考慮事項も重要です。AI の判断が差別や偏見に繋がらないよう、倫理ガイドラインを策定し、開発プロセスに組み込む必要があります。1 1 8 AI の倫理ガイドラインは、AI システムが社会的に受け入れられるために、開発者や利用者が遵守すべき倫理的な原則を定めたものです。
AI セキュリティの倫理的な側面を軽視すると、AI システムの誤動作や悪用による社会的な影響は甚大なものになる可能性があります。4 例えば、AI による差別的な判断やプライバシー侵害は、個人の権利を侵害するだけでなく、社会全体の信頼を損なう可能性があります。AI セキュリティリスクは、単なる技術的な問題ではなく、倫理的な問題としても捉える必要があります。
11.結論
AI セキュリティリスクは、AI 技術の進化とともに多様化・複雑化しています。AI システムは、従来の IT システムとは異なる特性を持つため、特有の脆弱性や攻撃手法が存在します。本稿では、AI セキュリティリスクを、AI モデルへの攻撃、AI システムへの攻撃、AI 利用におけるリスクの 3 つの脅威パターンに分類し、それぞれのリスクシナリオとコントロール対策を検討しました。
AI セキュリティ対策においては、技術的なコントロールだけでなく、運用的なプラクティスや倫理的な考慮事項も重要となります。多層的なアプローチを採用することで、AI システムの安全性を確保し、AI 技術を安心して活用できる環境を構築することができます。
AI 技術は常に進化しており、新たな脅威が出現する可能性もあります。そのため、継続的な監視と適応が必要です。最新の脅威情報や対策技術を収集し、AI システムのセキュリティ対策を強化していくことが重要です。
AI 技術は、社会に大きな変化をもたらす可能性を秘めています。AI セキュリティ対策を適切に行うことで、AI 技術の恩恵を最大限に享受し、より良い未来を創造していくことができると信じています。
引用文献
1. AI サイバー セキュリティ: サイバー脅威から AI システムを保護する | Exabeam, 12月 27, 2024にアクセス、 https://www.exabeam.com/ja/explainers/ai-cyber-security/ai-cyber-security-securing-ai-systems-against-cyber-threats/
2. 生成AIのリスクを整理する|3つの観点でリスクと対策を解説 – NRIセキュア, 12月 27, 2024にアクセス、 https://www.nri-secure.co.jp/blog/generative-ai-risks
3. AIを活用したセキュリティ対策とは?課題や改善ポイントも紹介 – TRYETING, 12月 27, 2024にアクセス、 https://www.tryeting.jp/column/5848/
4. はじめに 「AI とセキュリティ」の論点とリスクシナリオの整理, 12月 27, 2024にアクセス、 https://www.j-cic.com/pdf/report/AI-Security-Risk_JP.pdf
5. 2024年サイバーセキュリティ動向:AIの台頭と進化する脅威の最前線, 12月 27, 2024にアクセス、 https://blog.cbsec.jp/entry/2024/11/25/060000
6. 生成AIのセキュリティリスク|脅威を避ける対策【徹底解説】 – 株式会社モンスターラボ, 12月 27, 2024にアクセス、 https://monstar-lab.com/dx/technology/security-risks-of-generative-ai/
7. プロンプトインジェクションとは? 10分でわかりやすく解説 – ネットアテスト, 12月 27, 2024にアクセス、 https://www.netattest.com/prompt-injection-2024_mkt_tst
8. プロンプトインジェクション|セキュリティ用語解説 – NRIセキュア, 12月 27, 2024にアクセス、 https://www.nri-secure.co.jp/glossary/prompt-injection
9. プロンプトインジェクション徹底解説|仕組みからリスク、対策方法まで – 株式会社アドカル, 12月 27, 2024にアクセス、 https://www.adcal-inc.com/column/ai/prompt-injection/
10. プロンプトインジェクション攻撃とは?仕組みと対策 – サイバーセキュリティ.com, 12月 27, 2024にアクセス、 https://cybersecurity-jp.com/column/104417
11. 1行から始めるプロンプトインジェクション対策 – Zenn, 12月 27, 2024にアクセス、 https://zenn.dev/karaage0703/articles/b55d3e4282325e
12. NIST AI 100-1AI リスクマネジメント フレームワーク(AI RMF 1.0), 12月 27, 2024にアクセス、 https://aisi.go.jp/assets/pdf/NIST_RMF_Japanese_ED_updated_20240626.pdf
13. 2025年セキュリティ脅威予測:AIの進化が脅威全体を新たなステージへ | トレンドマイクロ – Trend Micro, 12月 27, 2024にアクセス、 https://www.trendmicro.com/ja_jp/research/24/l/the-artificial-future-trend-micro-security-predictions-for-2025.html
14. サイバーセキュリティにおけるAIの活用でリスク低減に貢献 | Rockwell Automation, 12月 27, 2024にアクセス、 https://www.rockwellautomation.com/ja-jp/company/news/blogs/ai-ot-cybersecurity.html
15. サイバーセキュリティ経営可視化ツール | 情報セキュリティ | IPA 独立行政法人 情報処理推進機構, 12月 27, 2024にアクセス、 https://www.ipa.go.jp/security/economics/checktool.html
16. セキュリティ リスク評価 – Zscaler, 12月 27, 2024にアクセス、 https://www.zscaler.com/jp/tools
17. AI セーフティに関する レッドチーミング手法ガイド (第 1.00 版), 12月 27, 2024にアクセス、 https://www.ipa.go.jp/digital/ai/begoj90000004szb-att/ai_safety_rt_v1.00_ja.pdf
18. AI倫理とAI規制の最新動向と AI利活用のために考慮すべき注意点 – JBMIA, 12月 27, 2024にアクセス、 https://www.jbmia.or.jp/.ckparts/documents/AI%E5%80%AB%E7%90%86%E3%81%A8AI%E8%A6%8F%E5%88%B6%E3%81%AE%E6%9C%80%E6%96%B0%E5%8B%95%E5%90%91%E3%81%A8AI%E5%88%A9%E6%B4%BB%E7%94%A8%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AB%E8%80%83%E6%85%AE%E3%81%99%E3%81%B9%E3%81%8D%E6%B3%A8%E6%84%8F%E7%82%B9(1).pdf
サイアカについて
サイアカ(サイバーセキュリティ・アカデミー)とは、サイバーセキュリティ、システム監査・内部監査のeラーニング研修専門アカデミーです。
DX時代のセキュリティ、システム監査・内部監査人材育成をサポートします。