【サイバーインテリジェンス】AIビジネスのリーダーが認識すべき「AIセキュリティ対策で重要な3つの視点」（岡山大学共同執筆）

2．AIのセキュリティリスクが顕在化する

幸い現在はこうしたAIへのサイバー攻撃は日常的に見聞きするものではありません。しかし、DXが進行する社会において、AIが扱う対象の経済的・社会的価値が増していくと、AIそのものがサイバー攻撃の標的になることが予想されます。

米国では国防高等研究計画局などがAIセキュリティの研究開発への予算を年々増やしています。また、中国も2021年8月4日に「機械学習アルゴリズムのセキュリティ評価に関する情報セキュリティ技術仕様書」のドラフトを公開しており、実践的な知識体系を確立する努力をしていることが分かります。

日本の場合は2021年9月に閣議決定された「サイバーセキュリティ戦略」において、中長期的な対応が必要な領域としてAIセキュリティを挙げています^*3。将来を見越した危機意識の高まりを伺うことができますが、現状の進捗としては他国に比べると一歩出遅れているともいえそうです。

AIの普及が進めば進むほど、敵対者にとってAIは魅力的なターゲットとなります。そして、敵対者の関心や試みを高める可能性のあるBlackHatやDEFCONのようなセキュリティカンファレンスでもAIセキュリティのセッションが増え続けています。ある日、敵対者のインフラが確立された時点で、セキュリティの甘いAIへの攻撃が一斉に行われることも十分考えられます。

4．AIセキュリティ対策で重要な3つの視点

実際にAIを利用したサービスを提供する際は、AIモデルをITシステムに組み込んだAIシステムを構築することになります。複雑なAIシステムを脅威から守るためには、戦略的な視点が不可欠です。

AIビジネスに携わる日本企業が費用対効果の高い対策を実践するためには、3つの視点から検討することが重要です。

1. AIシステムのリスクアセスメントを実施する

AIシステムが実現するビジネスアプリケーションはさまざまであり、全てにおいて完全な対策を目指すことは非現実的です。AIシステムのリスク分析を行うことで、対策とコストのバランスを客観的に検証すべきです。

AIシステムが侵害される確率とその際に生じる被害の大きさを掛け合わせることで、リスクを評価することが可能です。AIシステムはその利用環境やアクセス経路によって外部からの脅威へ晒される度合いが異なります。また、AIモデルが担うタスクや扱うデータに応じて被害の種類・性質に違いがあり、これを考慮した影響評価を行うことがポイントになります。評価軸の設定にあたってはAI原則やガイドラインなどが参考になります。

例えば、自動運転車は実環境でオープンアクセスが可能なさまざまな脅威に晒されるAIシステムですが、敵対的AI攻撃によって人体や生命に危機が及ぶ可能性があるため、徹底したセキュリティ対策が求められます。一方で、社内利用のチャットボットなどのクローズドな環境で限定的タスクを実行するAIシステムは、攻撃者の動機に乏しく、攻撃を実行することも難しいため、最低限の対策で済ませるという判断が考えられます。

2. 攻撃シナリオ分析に基づき対策をデザインする

より具体的なセキュリティ対策を実装するためには、AIシステムの特性を理解して設計を行う必要があります。これまで見てきたように、AIモデルにはトレーニング中と本番運用中にそれぞれの脅威が存在し、AIモデルに固有の対策と従来のITシステム用の対策を組み合わせることが重要でした。

AIシステムへの詳細な攻撃シナリオは、米国の非営利団体が「ATLAS」（アトラス）という体系的ナレッジベースにまとめています^*6。AIシステムに対する偵察、攻撃手段の用意、モデル情報への不正アクセス（物理・デジタル）、攻撃（中毒・回避）の実行といったステージ別の手口と事例が整理されています。

攻撃シナリオを読み解き、対策をデザインする際には、攻撃者目線の考え方と技術を理解することができる、サイバーセキュリティの専門家が必要になります。AIセキュリティ対策の実装は、AIの専門家もしくはサイバーセキュリティの専門家がどちらか単独で行うことは不可能です。チームとしてAIセキュリティの能力を持たなければなりません。

3. AIサプライチェーンのセキュリティを保護する

最後に、AIシステムへの脅威を理解した企業との協力体制を構築することが重要となります。AIモデルの訓練には学習データや学習済モデル、AIフレームワークといった多くの外部リソースを活用するため、サプライチェーンリスク管理が大きな課題となります。できる限り多くのデータを学習させることがAIモデルの性能を高めるといった誤った考えに基づいて、出自の不確かなデータを収集してしまうことは、かえってセキュリティリスクを高めることになってしまうということです。

学習データなどの外部リソースのセキュリティを確保するためには、それぞれのリソースの提供元が信頼性を保証する必要があります。つまり、AIシステムへの脅威を理解した信頼できるパートナーとの協力体制を構築することが重要となります。PwCが実施した調査からは、データトラストリーディングカンパニーは、ベンダーがデータ処理、セキュリティ、プライバシーについて求められる基準を確実に遵守するよう、積極的に管理を行っているという傾向が見て取れます^*7。

AIシステムのセキュリティ対策は技術的視点に留まらず、事業への影響や企業間のパートナーシップを考慮した経営的視点の判断が重要になります。ある企業では一度提供を開始したAIシステムに問題が発生したため、AIへの一からの再学習を強いられ、事業継続に致命的な影響を受けてしまいました。こうした事態を防ぐことができるかは、事前にどれだけ対策ができていたかにかかっています。今のうちからAIシステムのセキュリティ対策を実践していくことで、手遅れになる前にサービスを救うことができるはずです。

※本稿におけるAIは「機械学習および深層学習（ディープラーニング）によって実装されたシステム」のことを指します。