PwCコンサルティング合同会社（以下、PwCコンサルティング）はAIセキュリティに精通したエンジニアによる「AIレッドチーム」を組成し、クライアント企業が開発・提供するAIサービスに対して疑似攻撃を行うことで、AIサービスの脆弱性、成立し得る脅威、生じ得るビジネスリスクを特定し、改善に向けた具体的なアドバイスを提供します。AIサービスのリリース前や運用中に実施することで、AIサービスにおけるビジネスリスクを能動的に特定し、インシデントを未然に防ぐことが期待できます。
AIサービスの急速な普及に伴い、多くの企業はAI特有のリスクに直面しています。AIサービスは従来のITサービスとは異なり、確率的プロセスに基づいて動作するため、想定外の結果を招く恐れがあります。そのためAIを活用したサービスをリリースするにあたっては、想定されるリスクを従来以上に予見し、十分な対策を講じることが求められます。
こうした対応が不十分であった場合、技術的なインシデントにとどまらず、法律上や倫理上のインシデントを生み出すリスクがあります。経済開発協力機構（OECD）が公開している「OECD AI Incidents Monitor」によると、生成AIサービスが普及した2023年2月頃からAIサービスに関連するインシデントが急増し、それまで1カ月あたり100件に満たなかったのが、2024年2月には800件を超えたことが報告されています。
AIサービスに関連するインシデントが多発する状況を踏まえ、多くの企業では「AIガバナンス」態勢を整備し始めています。しかし、外部のガイドラインなどを参照して構築した一般的な管理態勢の整備に留まるケースも多く、具体的かつ有効な対策を講じられているとはいえない状況です。実際、生成AIの出力に対する基本的な対策の導入が十分に進んでいないことはPwCコンサルティングの調査結果からも見て取れます。
AIサービスにおけるリスクは、ビジネスユースケース（AIサービスの性質など）やAIサービスにおけるビジネス上の立場（AI開発者、AI提供者、AI利用者）によって大きく異なります。アルゴリズムがブラックボックス化したAIを安全に利用し、サービスを開発・提供するためには、自社の立場やAIサービスの特徴を踏まえ、「どのような脅威が成立し得るのか」「どのようなリスクがあるのか」「どのような対策を行っていくべきか」を攻撃者の視点で評価し、改善を提言する、いわゆる「AIレッドチーム」による取り組みが不可欠と言えます。
「AIレッドチーム」については各国・地域のさまざまな団体において活発に議論されており、その必要性が提唱されています。2023年5月に日本で開催されたG7広島サミットでは、広島AIプロセスの成果文章として「全てのAI関係者向けの広島プロセス国際指針」および「高度なAIシステムを開発する組織向けの広島プロセス国際行動規範」が策定されましたが、これらの文章の中では、「AIライフサイクル全体にわたるリスクを特定、評価、軽減するために、高度なAIシステムの開発全体を通じて、その導入前及び市場投入前も含め、適切な措置を講じる」という原則を遵守するための具体的な取り組みの1つとして、AIレッドチームによる取り組みの実施が提唱されています。
PwCコンサルティングのAIレッドチームは、AIを利用したサービスに対して、リスク起因者（サイバー攻撃者、犯罪者、愉快犯など）の観点から疑似攻撃を行うことで、脆弱性とそれに伴うビジネスリスクを特定し、その改善のためのアドバイスを提供します。サービスのリリース前・運用中に実施することで、実際にインシデントが発生する前にビジネスリスクを特定し、クライアントが能動的に対策を講じることを支援します。
AIの不正利用に伴って考慮すべきリスクの種類とインパクトは、そのビジネスユースケースに大きく依存します。本サービスでは、テスト対象となるAIを用いたサービスのビジネスケースを分析したうえで、想定されるリスクおよびリスクシナリオを洗い出し、当該シナリオに沿ったテストを設計します。これにより発見された課題がどのようなビジネスリスクに影響するかを特定します。
AIセキュリティに精通したエンジニアが、MITRE ATLAS、NIST RMF、OWASP Top10などにおいて公開されるベストプラクティス（業界標準）や、日々発見・報告される新たな攻撃手法のリサーチ結果に基づいて、最新の脅威を模したテストを実施します。
検出された課題に対して、各種ベストプラクティスとの紐づけを行い、AIモデルの構築や精度評価といったデータサイエンスに長けた専門チームと連携し、改善に向けたアドバイスを提供します。入出力のフィルタといった実装レベルのアドバイスだけでなく、MLOps（Machine Learning Operations）の改善・高度化、AIガバナンスの整備・改善といったサービスの設計から運用まで広範なアドバイスを提供します。
まず「1. 現状把握」を行い、AIサービスのビジネスユースケースや、関連するビジネス環境、システム環境を特定します。次に「2. 脅威分析」を行い、蓋然性のある脅威を特定し、「3. テスト計画」を立案します。そしてAIセキュリティに特化したエンジニアが疑似攻撃を仕掛け、「4. テストの実施」を行います。その後、検出されたAIサービスの脆弱性・ビジネスリスクを「5. 報告」するとともに、「6. 対策定義」を行い、改善に向けた具体的な対策などのアドバイスを行います。
