AI活用の拡大とともに注目される「説明可能なAI」――第3回 説明可能なAI（Explainable AI）の評価

II. 説明可能なAI（Explainable AI）の重要性

1. 説明が可能であることの重要性はユースケースごとに異なる

AIを活用する場面により、説明可能性が求められる理由とタイミングが異なってきます。AIに対する検証と妥当性確認のプロセスでは、必要となる厳密さのレベルに応じ、説明可能な要素をユースケースごとに考慮する必要があります。例えば、

1. 適用対象への影響度合を考慮
   
   ターゲティング広告用AIシステムの場合、予測結果が外れてもユーザーへの影響が軽微であるため、説明可能性が比較的低いレベルであっても問題ありません。一方、AIを組み込んだ医療診断システムでは、エラーを起こした場合、患者の生命に関わるおそれがあるため、高い説明可能性が求められます。
2. AIに対する制御度合を考慮
   
   AIが意思決定まで全てを自律的に行うか、または人間がAIの出力結果に従い意思決定を行うかを区別する必要があります。特に前者の場合においては、AIが人間の介入なしに意思決定を下すため、人間がAIシステムを完全に理解することが重要です。

2. AIの説明可能性の重要性を決定する要因

説明可能性の重要性は主に3つの要因によって決定されます。

1. 予測結果がもたらす効果の程度、影響範囲
2. 予測が行われた理由、説明変数と予測結果の関係性
3. 業界トレンドや国の政策・方針を考慮したモデルの構築／解釈

上記3要因に加え、組織としては経営リスク、評判、システムの正確性などを含む以下（図表1）の要素を重視する必要もあります。

図表1：AIの説明可能性の重要性を決定する要因

「Explainable AI - Driving business value through greater understanding」PwC英国（2018）参照

IV. モデルの説明手法

1. 説明可能性の種類

説明のタイミングや推論方法等、複数観点からAIモデルの説明手法を分類できますが、説明の対象に基づき、「グローバルな説明可能性」（Global Interpretability）と「ローカルな説明可能性」（Local Interpretability）の2種類に分けられます。

「グローバルな説明可能性」とは、特定のモデルの最も重要な説明変数とともに、予測全体についての説明の可能性を指します。例えば、住宅ローンの審査の場合、承認・拒否を判断するには、「信用スコア」「返済の遅延／延滞」「平均負債残高」などの要因がプラス、もしくはマイナスの方向に影響します（図表4）。

図表4：グローバルな説明可能性（PwC作成）

モデル全体に対する各変数の影響を提示。例えば、住宅ローン審査結果の予測モデルでは、申請の承認に対し各変数がプラス／マイナスに影響：

• 信用スコア：＋
• 返済の遅延／滞納：－
• 平均負債残高：－
  

それに対し、「ローカルな説明可能性」は個々の予測結果が行われた理由の説明を指します。例えば、住宅ローンの申請承認（信用スコアが高い）（図表5）や、大学進学の成功（成績が良い）などの理由を説明します。

図表5：ローカルな説明可能性（PwC作成）

個別の予測結果に対する各変数の影響を提示。例えば、申込者Aの住宅ローン審査で申請の承認が予測された際、予測結果に影響を与える各変数は：

• 信用スコア：高
• 返済の遅延/滞納：中
• 平均負債残高：低
  

2. AIモデルの説明可能性を提示する手法

AIの「ブラックボックス問題」を解決するため、AIの説明可能性を提示する手法に関する研究が盛んに行われており、中には科学やエンジニアリングで長年使われている古典的な線形回帰分析から、ディープニューラルネットワーク（DNNs）の特性を活かした新興の手法まで、さまざまなものがあります。QA4AI（Consortium of Quality Assurance for Artificial-Intelligence-based products and services）が発行している『AIプロダクト品質保証ガイドライン』では、AIモデル説明手法における分類の方法論および代表的な手法に関する説明がまとめられています。

そのうち、本稿では、主に機械学習のコミュニティなどで使われているポピュラーな手法や、直近の技術的発展についてピックアップし、ご紹介します。

AIモデルの説明手法（以下「手法」）は、適用対象から大きくモデル汎用型（model-agnostic approaches）とモデル特化型（learning algorithm specific approaches）に分類できます。モデル汎用型は、アルゴリズムの仕組みを理解せず、ただ入力を微調整しながら結果を観察する手法で、あらゆるモデルに適用可能です。一方、モデル特化型はモデル内部の動作・仕組みを探索する必要があり、特定のアルゴリズムに対応していることが多いです。

以下、「モデル汎用型」「モデル特化型」別に典型的な手法の概要をご説明します。

１）モデル汎用型

①感度分析（Sensitivity analysis）

感度分析（Sensitivity analysis）とは、説明変数の値を微調整し、モデル出力の変化を観測することで、説明変数が出力結果に与える影響を探索する手法です。広告効果の測定や商品の売上分析など、多くの場面で広く使われています。

感度分析の最大の特徴は、直感的で分かりやすいことです。「変数Aの値を10％増やせば、予測値が5％増える」といったように、非常にシンプルな「WHAT-IF」式のシミュレーションです。この手法を応用し、単一もしくはセットとなる一連の説明変数と出力結果との相互関係を可視化する手法として、部分依存プロット（PDP: Partial Dependence Plots）や条件付き期待値（ICE: Individual Conditional Expectation）プロットがあります。両者とも、説明変数の変動に応じ、予測確率の分布を線形的にプロットすることで、説明変数の影響度を説明できます。ただし、前提条件として各説明変数が独立であることに注意が必要です。

感度分析のシンプルさゆえに、DNN等複雑なモデルから、画像認識におけるピクセルの重要性の抽出などにも効果的です。一方、感度分析だけでは、説明変数間の相互関係が捉えられません。また、不連続のカテゴリーデータを扱う場合、変数の値を微調整しても予測結果が大きく変化する可能性があります。そのため、例えば変数の変動幅を機械的に上下10％に決めるのではなく、現実に起こり得る可能性を考慮しつつ、変数ごとに変動幅を決めた方が望ましいと考えられます。

②LIME（Local Interpretable Model-Agnostic Explanations）

LIMEは、2016年に発表された論文（Tulio Riberio et al.2016）に由来し、Local Interpretable Model-Agnostic Explanations（ローカルかつ解釈可能で、モデルにとらわれない説明）の頭文字を取り、「LIME」と略称されています。

LIMEは個別の予測を説明するモデルで、感度分析と異なり、特徴間の相互作用を捉えられます。これは、特定の予測結果に対し、対象とするサンプルの周囲のデータ空間から、サンプリングと予測を繰り返して行うことで得られるデータをトレーニングデータとし、線形モデルを作成してこれらの結果に適合させ、各要因の重要性を取得し、要因間の相互作用をキャプチャします。

LIMEは、機械学習アプリケーションで頻繁に見られる非連続入力機能を処理することもできます。現在、オープンソースの実装（GitHub）が利用可能であり、多くの開発者に採用されています。

③SHAP（Shapley Additive Explanations）

SHAPとは、各説明変数がモデルの予測結果に対する貢献度をシャープレイ値（ゲーム理論で、協力で得られた利得を各プレーヤーに公正に分配するよう、プレーヤーごとの貢献度を表す指標）で表現する手法です。

例えば、小売店の売上予測モデルで、平均的な予測値をベースに、来店客数や客単価、購買率などの変数をさまざまな組み合わせでモデルに投入し、ある変数がモデルに加わった際、予測値の変動量の平均を取る（シャープレイ値を算出する）ことで、当該要因が予測結果に対する貢献度を表します。

SHAPは、変数がモデルに対する貢献度を十分に説明できますが、すべての変数の組み合わせを探索するための計算量は、変数の数とともに指数関数的に増大します。そのため、SHAPでの完全実装は非現実的と考えられており、その結果を近似的に捉える必要があります。

図表6：モデル汎用型手法3種の比較（PwC）

２）モデル特化型

①ツリーインタプリタ（Tree Interpreters）

決定木はツリー構造で表現できるため、分析結果が直感的で解釈が容易ですが、予測精度が低くなってしまう場合があります。ランダムフォレスト（Random Forest）は決定木モデルを拡張したもので、より高い予測精度を実現できます。

ランダムフォレストにはツリーインタプリタが使用されており、これは、決定木における複数の分類木を統合させ、多数決を取るアンサンブル手法です。決定木インタプリタは、フォレスト内の個々のツリーに適用でき、それぞれの重要性が集約されます。そのため、ランダムフォレストはモデル全体と個別の予測の双方において、理解・解釈可能かつ高精度なモデルで、多くの商用アプリケーションに採用されています。

Ando Saabas氏が提供しているオープンソースのパッケージ「tree interpreter」（Github）のおかげで、ランダムフォレストアルゴリズムの実装は比較的簡単ですが、マルチラベル分類問題を扱う際は、その分野に関する豊富な知識が必要となる場合があります。

②ニューラルネットワークインタプリタ（Neural Network Interpreters）

ニューラルネットワーク、特にDNN（Deep Neural Networks）は、構造の複雑さで知られており、解釈が非常に難しいと広く認識されています。ニューラルネットワークの内部構造にインサイトを求めることは特段問題ではありませんが、ランダムフォレストで各要因の重要性を抽出するプロセスに比べ、ケースバイケースで膨大な専門知識と労力を必要としていることこそが、モデルの説明可能性を阻む問題だと考えられます。

そのため、DNNで予測結果を解釈する場合、問題を階層（例：局所的vs大域的）、空間（1次元vs多次元）、クラスごとに分解した方がより有益なインサイトが得られます。

③AM（Activation Maximization）

前述の図表2で示した通り、機械学習や深層学習で応用されているニューラルネットワークは人間の脳神経回路を模し、入力層・中間層・出力層から構成され、各層には複数のノード（グループ）でつながっています。入力層にデータを投入し、ノード同士のつながりの強さを表す重みやノードの数等パラメータを設定したうえ、入力層⇒中間層⇒出力層と順番に計算が進むと、最終的に予測結果が出力されます。

AMは、特に中間層を多数持つDNN、「畳み込みニューラルネットワーク」（CNN、Convolutional Neural Network）などで、特定の予測結果が出る際に、関連ノードの出力が最大となるような入力を探索する手法です。例えば、画像認識用DNNでは、AM手法を用いてDNNにおける猫の概念を視覚的に表現できます。特定の予測結果（例えば、ある画像が猫であるという予測結果）が出る時の入力パターンを探索することにより、典型的な「猫」を予測する要因が抽出できます。そのため、AM手法はDNNの内部表現に対し、直感的な解釈を提供することが可能です。

DNNにおける要因の重要性を説明するに感度分析が一般的に使用されますが、「逆伝播法」（Relevance Propagation）より、より正確かつロバストな説明ができます。これは感度分析とは逆の順で、モデル出力から始まり、ネットワークを介して逆戻りし、入力層に到達するまで前の層からの入力の関与度を割り当てます。

この手法には複数のバリエーションがありますが、特注ベースで実装される傾向があります。ただし、インタプリタを最初から作成したくない場合は、「DeepLIFT」と呼ばれるオープンソースのパッケージを使用できます。

図表7：モデル特化型手法3種の比較（PwC）

３）その他

「説明可能性」はモデル説明手法の選定にとどまらず、モデルの評価／検証においても、AIの安全かつ効果的な活用と密接な関係にあります。

①モデルの評価

機械学習モデルの評価は、システムが意図された目的と機能要件を満たしていることを検証するために重要です。検証データでハイパーパラメータを調整し作成したモデルの適合率を、テストデータで定量的に確認することにより、過適合を避け、新しいデータにより対応できるモデルを作ることが可能です。

これら定量的アプローチに加え、分野固有の知識を用いて定性的にモデルを理解・評価することが重要です。例えば、1990年代に、肺炎患者を入院または自宅療養させるべきかを判断する研究で、ニューラルネットワークを用いた予測モデルが構築されました。モデルは、肺炎患者の回復状況に関する過去データに基づいてトレーニングされました。どちらのモデルも、患者の回復を高精度で予測し、喘息を罹患している肺炎患者は死亡リスクが低いため、入院すべきではないと予測しました。

実際、喘息を罹患している肺炎患者も高リスクと判断され、集中治療室で積極的に治療された結果、高い生存率を示しました。解釈可能なモデルであったため、「患者が喘息を患っている場合、生存リスクが低い」ことをモデルが学習したことが理解できます。定量的な指標だけでは、一見精度の高いモデルのように見えますが、臨床的観点からすると、この結論が直感に反しており、モデルが本番環境に導入されていたとしたら、予想外の患者リスク、場合によっては患者の死亡につながる可能性があります。

現在、上記のように明らかに直感に反するモデルが導入される可能性は極めて低いですが、例えば、人口統計学的特性を推測するために個人の氏名などのデータの使用、マイニングされたテキストにあるURLを使うドキュメント分類、著作権タグを使用した画像分類など、アルゴリズムが不適切にトレーニングされてしまうケースはまだ数多くあります。これらのモデルはテスト段階ではうまく機能するかもしれませんが、本番環境で重大な障害や意図しない結果を招く可能性があり、モデル構築の初期で回避すべきです。

②持続的なモデル評価

機械学習モデルは、新しいインスタンスから学習する際、定期的に再トレーニングするか、継続的に更新（オンライン学習）することができます。説明可能なAI（Explainable AI）を構築するには、モデルの動作における予期しないもしくは望ましくない既知の弱点に対し、堅牢な定性的ルールを設け、保護手段を適用することが重要です。

例えば、モデルの予測結果において、画像内の単一ピクセルが最も重要な特徴として識別された場合、そのピクセルを変更した画像をわざとモデルに間違って認識させ、敵対的画像の生成など特定の結果を返すよう誘導する「1ピクセル攻撃」等、モデルが犯罪者攻撃の標的になる可能性があります。そのため、「単一ピクセルがモデル説明の大半を示している場合は、自動的にアラートを上げる」というルールを設けることで、上記のような攻撃を防ぐことができます。

③モデルの透明性

モデルの透明性とは、モデル構造の詳細、トレーニングデータの統計的・記述的特性、およびモデルの評価指標に関するユーザーへの周知です。これらは機械学習アルゴリズムに関する基礎的情報で、説明可能なAI（Explainable AI）でなくとも、モデルを運用するには必要不可欠です。

特に自社開発ではなく、外部よりモデルを導入／購入する場合、開発側としては購入者にモデルを説明する責任があり、購入者は購入する前にモデルの透明性を考慮する必要があります。