AIガバナンスの成功に向けた6つのステージゲート

概要

9つのステップのプロセスに沿ってガバナンスに重点を置いた際、「誰がどのような論理的根拠に基づいて、どのような決定を下しているのか」という重要な問いに答えたいと思います。このプロセスには9つのステップがありますが、ここでは重要な決定を行うポイントだけを押さえていきます。9つのステップのプロセス、主要な成果物、主要な決定を行うための6つのステージゲートの関係は図1のとおりです。

（Six stage gates to a successful AI governance:https://towardsdatascience.com/six-stage-gates-to-a-successful-ai-governance-14ab0787a380より引用。作成はPwC）
 

6つのステージゲートにおける主要な決定事項は以下のとおりです。

1. AIソリューションを使う価値はありますか
2. AIソリューションをどのように設計（構築、購入、またはレンタル）しますか
3. モデルは私たちの期待を満たしていますか
4. モデルを本番環境にデプロイしますか
5. モデルを本番稼働に移行させる準備はできていますか
6. モデルをそのまま継続するか、再トレーニングするか、再設計するか、それとも廃止する必要がありますか

ステージゲート2：AIソリューションをどのように設計（構築、購入、またはレンタル）しますか

ステージゲート2は、プロジェクトにおける価値のスコープ設定をするためにソリューション設計を実施するステップ2の段階で発生します。ステップ1で作成されたビジネスの仕様書は、このステップ2でさらに洗練され、必要なデータとモデルの両面での調査を開始します。ステップ2では、AIソリューションを新たに構築する必要があるか、それともアナリティクス、AIベンダー、クラウドプラットフォームといったプロバイダーが所有する大規模なエコシステムから購入するか、レンタルするかなどを決定します。

このステップで考慮すべき重要な検討項目は次のとおりです。

• 成功と受け入れの基準：ステップ1で検討したビジネスの仕様書は、自動化すべき重要なアクティビティを策定したり、AIによって強化すべきアクティビティを選別したりするにあたって活用されます。そのためには、このモデルがどのように利用され、どのデータがモデルの学習に使用されるかを考慮する必要があります。これらに基づき、モデルのパフォーマンス基準（例えば、精度、特異性、偽陽性率など）、説明可能性（解釈性）、安全性、プライバシー、セキュリティ、堅牢性について合意する必要があります。これを広く成功基準と呼びます。これらの成功基準は、成功基準を満たしているかどうかを確認する一連のハイレベルなテストおよび検証手順に合致する必要があります。これを広く受け入れ基準と呼びます。
• 構築vs購入vsレンタル：上記の成果物を使用することで、組織は必要なAIソリューションが既に世の中に存在し、マネージドサービスとしてレンタルできるかどうかを判断できます。ここで重要なのは、既存の汎用モデルが、既に組織内で合意されているビジネス要件、成功基準、受け入れ基準をどの程度満たしているかを検討することです。また、推論を行うにあたって必要なデータを、セキュリティや機密性を担保した上で保存できる場所があるのかどうか、という点も重要な判断要素になります。ソリューションをレンタルできないけれども購入できる場合には、ビジネス要件、成功基準、受け入れの基準を満たしているだけでなく、費用対効果が高いかどうかを確認する必要があるため、同様のデューデリジェンスを実行しなければいけません。また、独自のデータを使用したモデルの再トレーニングも考慮する必要があります。最後になりますが、もしモデルを構築するのであれば、全体的なソリューション設計を構築する必要があります。つまり、トレーニングフェーズにおいてはどのように構築するのか、そしてモデルを最終的にどのようにデプロイして使用するのかも検討しなくてはいけません。例えば、システムの説明可能性（解釈性）が成功基準において非常に重要である場合、より単純なモデル構造とするか、または説明可能なAI要素が追加されたソリューションとすることが必要になります。
• （暫定版）データセットのデータシート：データセットのデータシートを用意することは、データサイエンスコミュニティで一般的な手法の1つになりつつあります。データシートの中には、データセット内の主要なデータ項目とその定義だけでなく、データ収集の動機、構成、収集プロセス、前処理、クレンジング、必要なラベル付け、推奨される使用方法、データの共有と配布、メンテナンス、データの廃止状況が記載されます。プロセス2の段階では、データシートは包括的ではない可能性がありますが、これらの要素の一部を捉えた予備のデータシートは、モデル構築の情報に基づいた合否の決定を行う際に役立ちます。
• （暫定版）モデルカード：データセットのデータシートと同様に、機械学習におけるモデルのドキュメント化に利用されるモデルカードもデータサイエンスコミュニティで広く使用されるようになっています。モデルカードは、モデルの詳細、使用されているアルゴリズム、モデルの使用目的、倫理的な考慮事項（バイアス、公平性、説明可能性＜解釈性＞の要件など）、トレーニング、検証、テストデータなど、AIソリューションを構築する際のモデルの仕様を記述しています。プロセス2のような初期段階でのモデルカードは予備的なものであり、後続のフェーズで改良されます。また、モデルの仕様には、ステップ1で説明した社会的影響とリスク評価を考慮に入れておく必要があります。
• ソリューション設計：ソリューション設計の概念は、ソフトウェアの開発にあたって広く受け入れられている手法です。より高度なAIを活用する企業となり、1つのモデルを個別にデプロイする状態から、数百・数千のモデルをデプロイし、トレーニングを半自動もしくは自動化された状態へと移行するにつれて、従来からのソリューション設計にさまざまな要素を追加し、充実させることができます。多様なモデルが互いにどのような相互作用を起こすかを保存しておく設計方法としては、ソリューション設計全体の一部分に組み入れてエンドユーザーがデータにラベル付けや検証する方法や、モデルを収集、クレンジング、処理、フィードするためにデータパイプラインを構築する方法などがあります。
• 詳細な開発計画：上記の全ての分析を活用することで、AIソリューションの実験に必要な合理的な計画や初期費用の見積もりを作成することができます。AIソリューションの該当プロジェクト、もしくはアジャイル／スクラム開発におけるスプリント計画では、主要な役割と責任を明確に定義し、AIソリューションのトレーニング、テスト、開発のタイミングを決定する必要があります。特に、これまでにない新たなモデルに対してプロジェクトのスコープを設定する際には、より一層の注意が必要です。

※本稿はPwCが寄稿したSix stage gates to a successful AI governanceを翻訳したものです。翻訳には正確を期しておりますが、英語版と解釈の相違がある場合は、英語版に依拠してください。

このステージのステージゲートカードは以下のとおりです。

（Six stage gates to a successful AI governance:https://towardsdatascience.com/six-stage-gates-to-a-successful-ai-governance-14ab0787a380より引用。作成はPwC）
 

成功と受け入れ基準は、ビジネス領域の専門家とデータサイエンスチームが共同で決定します。構築vs購入vsレンタルの決定は、ビジネススポンサーと協力しながら製品の所有者が実行しなければなりません。データシートはデータの所有者とデータサイエンティストが共同で提供し、モデルカードはデータサイエンティストが主導して提供します。ソフトウェアのソリューション設計は、機械学習またはモデルの設計者およびデータ設計者と協力して、ソリューション全体の設計書を完成させる必要があります。

AIソリューションを構築するのか、購入するのか、レンタルするのか、それとも全ての作業を放棄するのかという最終決定は、製品の所有者とビジネススポンサーが共同で行います。ステップ2とステップ1で詳しく説明されたドキュメントは、全て次のプロセスへのインプットとして使用されます。

ステージゲート4：モデルを本番環境にデプロイしますか

ステージゲート4は、ステージゲート3にてモデルのデプロイが承認された場合に限り発生します。また、ステージゲート4は、プロジェクトの価値の提供フェーズにおける、モデルをデプロイさせるステップの最後に発生します。ステージゲート4まで到達すれば、モデルをデプロイする準備が整ったと言えます。ステージゲート4の最後に行われる重要な決定事項は、本番環境で使用するためにデプロイすることです。

• 統合とデプロイのテスト結果：ステージゲート3までのステップで定められた統合とデプロイの要件に基づき、モデルはAPIエンドポイントとするか、独自のウェブインターフェイスを持たせるか、またはUIを備えたスタンドアロンアプリケーションとするか、このいずれかの形で提供することになります。統合テストは、このステージゲート4で実行する必要があります。さらにステージゲート4では、パフォーマンステスト、負荷分散（特に本番環境でモデルを学習させる場合は注意が必要）、モデルのバイアステスト、エンドユーザーへの説明可能性（解釈性）テスト、堅牢性テスト、敵対的攻撃に対するテストのそれぞれを実行する必要があります。
• プロセスチェックリスト：デプロイされたモデルと人間との相互作用モードに基づくプロセス（例えばHITL、HATL、HOOTL）に対する全ての変更をチェックする必要があります。モデル検証のプロセスフローは、必要に応じて、例外、エスカレーション、承認の適切な基準を使用して実施する必要があります。ModelOps、DataOps（データ・運用合同チーム）、SecOps（セキュリティ・運用合同チーム）のプロセスは、このステージゲート4のタイミングで準備する必要があります。
• トレーニングチェックリスト：新たな役割（ModelOps、DataOpsなど）が作られたり、既存の役割を変更したりする際には、責任と活動内容を明確にした上で文書化する必要があります。多数のユーザー（一般ユーザーやパワーユーザー）に対し、新たな役割または変更された役割に関するトレーニングが必要な場合は、デプロイ前に実施する必要があります。

このステージのステージゲートカードは以下のとおりです。

（Six stage gates to a successful AI governance:https://towardsdatascience.com/six-stage-gates-to-a-successful-ai-governance-14ab0787a380より引用。作成はPwC）
 

統合とデプロイのテスト結果は、データサイエンティスト、MLエンジニア、ソフトウェアエンジニアが作成し、2次モデル検証者と倫理チームが検証します。プロセスチェックリストとトレーニングチェックリストは、さまざまなXops（ModelOps、DataOps、SecurityOps）グループが担当します。トレーニングの責任は、ビジネスチームと変更管理の専門家が負うことになります。

ステージゲート6：モデルをそのまま継続するか、再トレーニングするか、再設計するか、それとも廃止する必要がありますか

ステージゲート6は、価値の管理フェーズにおける評価の最中および、チェックインステップ中に定期的に発生します。モデルを評価する頻度は、BAU（本番稼働）に移行する段階または価値の提供フェーズの最後に決定されます。各評価で行われる決定は、変更なしでモデルを続行するか、モデルを再トレーニングするか、再設計するか、モデルを廃止するかです。この決定を行うにあたって考慮すべき重要事項は次のとおりです。

• BAU（本番稼働）モニタリング結果：ステージゲート5までに確認していたモデルのモニタリング結果の全てを、BAU（本番稼働）のモニタリング結果に含める必要があります。また、モデルの老朽化については、当期と前期の比較、モデルのデプロイ当初とトレーニング後の結果の比較により評価する必要があります。モデルが老朽化し、不安定化してくると、モデルの再トレーニングや再設計が必要となる可能性があります。
• ROI値：モデルの性能に加えて、ビジネスにおいてはROI、もしくはモデルの価値評価を検討事項に含める必要があります。つまり、モデルの利点（効率化、有効性、エクスペリエンスの向上、コスト削減、収益増加など）を考慮に入れ、モデルを本番環境で稼働することで得られる利点が、モデルの維持コストを上回っているかどうかを判断しなければいけません。その上で、現行のモデルを廃止するか、別のモデルや新しいモデルに置き換えるべきかを判断します。

このステージのステージゲートカードは以下のとおりです。

（Six stage gates to a successful AI governance:https://towardsdatascience.com/six-stage-gates-to-a-successful-ai-governance-14ab0787a380より引用。作成はPwC）
 

BAU（本番稼働）モニタリング結果は、データサイエンティストとビジネスチームの支援を受けながら、運用の役割を持つ各チーム（ModelOps、DataOps）が作成します。ROI値の分析は、データサイエンティストやModelOpsの担当者とともに協力して働いているビジネスチームが責任を負います。また、モデルの再トレーニング、再設計、または廃止するかの最終決定は、製品の所有者が行う必要があります。

本稿で解説した、モデルの開発や管理を行うための9つのステップにおいて生じる6つのステージゲートは、Software2.0における管理プロセスにおいて必要不可欠な重要なマイルストーンの1つです。本稿の中で概説した仕様書の精密さと深堀り具合は、モデルのスケール、スコープ、複雑さ、および社会的な影響度に基づいて調整することが望ましいです。