AIサービスを取り巻く環境とAIレッドチームの必要性

はじめに

昨今のAIサービスの急速な普及に伴い、多くの企業はAIサービス特有のリスクに直面しています。このため、攻撃者視点でAIサービスのリスク評価を行う「AI レッドチーム」が注目を集めています。本稿では「AIレッドチーム」の必要性や実施の要諦について、連載形式で解説します。第1弾の今回は、企業におけるAIサービスの活用状況とAIサービス特有のリスクやインシデントを紹介し、「AIレッドチーム」の必要性に迫ります。

AIサービスの急速な普及

多くの企業の経営計画を見ると、AIサービスの利用について言及されています。AIサービスをいかに自社の事業に取り込むかが重要な経営アジェンダとなっており、AIサービスのビジネス活用が加速しています。実際、グローバルでのAI市場は急速に拡大しており、今後も順調に成長することが見込まれています^（※1）。
その大きなきっかけとなったのが、「大規模言語モデル」をはじめとした生成AIの登場です。実際に、PwCコンサルティング合同会社（以下、PwCコンサルティング）が2024年春に実施した調査では67%の国内企業が生成AIを「活用中」あるいは「推進中」と回答しており、昨今のAIサービスの普及が見て取れます^（※2）。
生成AIサービスは自然言語による指示が可能です。調査では「報告書や議事録などの要約」といった用途で利用が広がっていることが確認され、身近なタスクへの活用に取り入れられたことが普及の要因と考えられます。
また、大量の学習データ、高い計算処理能力を持つ計算機などの必要なリソースもAIサービスの提供者側が用意するため、利用者はリソースを気にすることなく、スマートフォンなどの身近なデバイスで安価にAIサービスを利用することができるようになりました。

AIサービスのリスク

AIサービスが多くの人々にとって身近で便利なツールとなり、ビジネス活用が急速に拡大する一方で、企業はAIサービス特有の新しいリスクに直面しています。
一例として「データポイズニング」というAIサービスに狙いを定めた攻撃と、生じ得るリスクについて紹介します。従来のITサービスと異なるAIサービスの特徴として、学習データを使って構築されたモデルから確率的プロセスによって出力を行うことが挙げられます。データポイズニングでは、学習データに不正なデータを追加することによって、モデルの精度低下を引き起こします。結果として、差別的な言動など、AIサービス提供者の意図しない出力を招くことがあり「倫理リスク」、「法律リスク」を生じさせる可能性があります。

このように、AIサービスのリスク領域は「技術リスク」に留まることなく、法律リスクや倫理リスクと広範にわたります。これもAIサービスのリスクの特徴であり、企業においてはさまざまな専門性を駆使しての対応が求められています。

こうしたリスクは世界各国で顕在化し、以下のように実際にのインシデントも発生し始めてきている状況です。

AIに関するインシデント事例

一般消費者向けに提供する、AIを搭載したチャットボットサービスが、提供者の意図しない回答を出力し、一般消費者を巻き込んだトラブルに発展
生成AIサービスが、外部から悪意ある指示文（プロンプト）を用いた攻撃を受け、内部情報を出力し情報漏洩事案に発展
一般消費者の行動をレコメンドする生成AIサービスが、一般消費者を危険に晒す可能性のある内容を出力し倫理的な問題が顕在化

企業の取り組みの現状

こうした状況から、多くの企業では「AIガバナンス」の態勢を整備し始めています。しかし、外部のガイドラインなどを参照して構築した一般的な管理態勢の整備に留まるケースも多く、具体的かつ有効な対策を講じられているとはいえない状況です。実際、生成AIの出力に対する基本的な対策の導入が十分に進んでいないことはPwCコンサルティングの調査結果^（※2）からも見て取れます。

AIサービスのリスクはビジネスユースケース（AIサービスの用途、性質）やAIサービスにおけるビジネス上の立場（AI開発者、AI提供者、AI利用者）によって顕在化する形が大きく異なります。ブラックボックス化しやすいAIサービスにおいて、安全にAIサービスを利用する、安全なAIサービスを開発・提供するためには、自社の立場やAIサービスの特徴を踏まえ、「どのような脅威が表面化し得るのか」、「どのようなリスクがあるのか」、「どのような対策を行っていくべきか」を攻撃者の視点で評価し、改善を行うこと（=「AIレッドチーム」による取り組み）が必要不可欠と言えます。
実際に昨今の社会や企業では「AIレッドチーム」の必要性・重要性が認知され注目を集め始めています。この点については次回の記事で、詳細を説明します。

^※1 総務省, 2024, 情報通信白書令和6年版, 2024/7/25閲覧,
https://www.soumu.go.jp/johotsusintokei/whitepaper/r06.html

^※2 PwCコンサルティング合同会社, 生成AIに関する実態調査2024 春, 2024/7/25閲覧
https://www.pwc.com/jp/ja/knowledge/thoughtleadership/2024/assets/pdf/generative-ai-survey2024.pdf