注目が高まるAIと人権リスク―人権マネジメント担当者はどのようにしてAIによる人権リスクに向き合うべきか―

はじめに

AIによる人権への負の影響は、ここ数年で注目が高まっている新たな人権リスクであり、人権マネジメントに際しAIのリスクを取り扱うことが要求されるのも、そう遠くない未来だと考えられます。本稿ではかかる状況を踏まえ、AIと人権を取り巻く環境を整理しつつ、人権マネジメント担当者が取り組むべき論点について検討しました^¹。

＜コンテンツ＞

AIの利用が進み、人権への影響が問題視され始めている
AIの誤った利用が、重大な結果につながることもある
企業もAIの利用を誤り、人権を侵害するおそれがある
AIの責任ある利用に対する圧力が高まりつつある
OECD原則とEU包括規制、そして日本のAI原則
迫りくる投資家要求
AIによる人権侵害のリスクは、どの企業も例外ではない
AIによる差別はどのように発生するのか
与信における社会的バイアス：何が「公平な区別」で何が「差別」か
人権マネジメントに「AIの利用によって人権を侵害するリスク」を組み込む
人権マネジメントでAIをどう取り扱うか

AIの利用が進み、人権への影響が問題視され始めている

AIの利用がここ数年で大きく進んでいます。PwCは2016年、AIの利用は2030年までに世界中で15.7兆米ドルの経済効果をもたらすと予測していましたが、昨今の市場の成長を見るに、この予測は現実に近いものであるといえるでしょう²。

出所：PwC 「想定されるリスクと各国の法規制」

AIの利用が進むにつれて、AIが社会に及ぼす負の影響への懸念も増大しています。例えば、学術界でも「AIによる人権への影響」というトピックが重要視され、NeurIPSという世界最大級のAIカンファレンスにおいては、AIの「公平性」「バイアス」に言及する論文・ワークショップの数が増え続けています³。

AIの誤った利用が、重大な結果につながることもある

AIに対する懸念はすでに現実のものともなっています。例えば、2021年のオランダでは、同国の児童手当の電子申請システムにおいて不正な申請や詐取を通知するAIが差別的な動作をし、要支援世帯からの貸しはがしの直接的原因となりました。この結果、27,000世帯が経済的に困窮し、多数の破産者、一家離散、自殺者を生み出す結果を招き、その責任を取るかたちで当時のルッテ内閣は総辞職をしています。また、同種の例はオーストラリアでも発生しています。ここでも困窮世帯支援金の不正検知にAIが用いられ、不正のない国民40万人から、計12億豪ドルの支援金返還を強制しました。この結果、オランダの事例と同様に、生活苦が原因とみられる自殺者も発生することになりました。

企業もAIの利用を誤り、人権を侵害するおそれがある

社会的不平等や不適切な学習を行うことで、人種や性別などの中立性を担保できないAIによる人権侵害は企業でも発生しています。いずれもAIの開発中止による特別損失の計上といった財務インパクトから、人権問題の発生による企業の信用やブランド価値の低下、そして人権被害の発生といった、重大な影響を及ぼす結果となっています。

AIの責任ある利用に対する圧力が高まりつつある

これらのような事例を踏まえて、AIを利用する企業に対する社会からの圧力が高まりつつあります。

OECD原則とEU包括規制、そして日本のAI原則

実務的圧力の第一として、各国・地域における法や実質的な拘束力を持つ原則・ガイドラインの整備が挙げられます。例えばOECDが2019年に発表した「人工知能に関する理事会勧告（Recommendation of the Council on Artificial Intelligence）」は、OECD加盟国におけるAIに関する政府間スタンダードであり、「全てのステークホルダーに関係する5つの相互に補完的な原則を提示」⁴しています。5つの原則は以下のとおりです。

包摂的な成長、持続可能な開発および幸福
人間中心の価値観および公平性
透明性および説明可能性
頑健性、セキュリティおよび安全性
アカウンタビリティ

また、EUの「人工知能法（Artificial Intelligence Act）」はAI利用に関する罰則を伴う包括規制であり、数年以内の施行が予定されています。国内では、拘束力のない「人間中心のAI社会原則」「AI利活用ガイドライン」等、原則・ガイドラインの制定が進んでいます。

図表3：主な指針・規制・ガイドライン

国・地域	原理原則	ガイドライン等
日本	・人間中心のAI 社会原則（内閣府）・我が国のAIガバナンスの在り方（経済産業省）	・AI原則実践のためのガバナンス・ガイドライン（経済産業省）・AI・データの利用に関する契約ガイドライン（経済産業省）・農業分野におけるAI・データに関する契約ガイドライン（農林水産省）・機械学習品質マネジメントガイドライン（経済産業省）・AI利活用ガイドライン（総務省）・AI利活用ハンドブック（消費者庁）・自動運転車の安全技術ガイドライン（国土交通省）・大学・高専におけるAI教育に関する認定制度（文部科学省、経済産業省）・プラント保守分野AI信頼性評価ガイドライン（消防庁、厚生労働省、経済産業省）・人口知能を用いた診断、治療等の支援を行うプログラムの利用と医師法第17条の関係について（厚生労働省）・人工知能技術を利用した医用画像技術支援システムに関する評価指標（厚生労働省）・医療機器の特性に応じた承認制度の導入（厚生労働省）・医用画像診断支援システム開発ガイドライン（経済産業省）
米国	・AI規制に係るガイダンス・AIに係る権利の章典（OSTP）	・ビジネス向けのAIアルゴリズム利用に係るガイダンス（FTC）・AI倫理ガイドライン（DOD）・AIリスクマネジメント枠組み（NIST）
欧州	・人口知能法（Artificial Intelligence for Europe）	・AI法案（Proposal for a Regulation laying down harmonised rules on Artificial intelligence）
他	・AIのガバナンスと倫理のイニシアティブ（シンガポール）・北京AI原則／次世代AIガバナンス原則（中国）・AI国家戦略（ドイツ）等	・モデルAIガバナンスフレームワーク（シンガポール）・信頼できる人口知能についての白書（中国）等

出所：PwC 「想定されるリスクと各国の法規制」

迫りくる投資家要求

規制当局に加え、機関投資家、その他NGO等のステークホルダーもまた、企業に対しAIの責任ある利用を迫っています。例えば、最大規模の投資家イニシアティブはAIの利用によって人権を侵害するリスクの特定を促しており、人権領域に多大な影響を及ぼす機関投資家はAIの可監査性の確保を求めています。また、別のイニシアティブはAIに関する倫理原則を遵守するというコミットメントの開示を求めており、市場の要求は強まっているといえるでしょう。

AIによる人権侵害のリスクは、どの企業も例外ではない

では、こうした実務的圧力に応える必要のある、AIによる人権侵害リスクを抱える企業とは、具体的にはどのような企業でしょうか。

リスクの有無という観点でいえば、自社の事業にデータ・AIを利用する全ての企業に人権侵害リスクがあります。

AIによる差別はどのように発生するのか

生成AIなど、AIはデータを学習し、その結果に基づいて将来予測や関係性の記述を行います。この予測や記述のモデル化を行う際、データの偏りや学習ロジックに誤りがあると、差別的な結果が生み出されることがあります。特に人権リスクの発生に非常に大きな影響を与えるのが、データバイアスです。以下では、金融業界でAIが利用される場合を想定し、「与信」の例をとって、AIによる差別が発生するケースを考えます。

与信における社会的バイアス：何が「公平な区別」で何が「差別」か

個人の「返済能力（与信力）」をデータから予測し、与信を行うケースを考えます⁵。このモデルでは、与信力という目的変数に対して特徴量を持つ説明変数に重みづけをし、モデル化を行うこととします。例えば、以下のデータセットがあるとしましょう。

性別（男／女）⁶
年収
民族的出自

学習の結果、説明変数の重みは以下という結論が出たとします⁷。

性別 30％
男性の場合は返済能力が高い。
年収 45％
年収が高ければ高いほど、返済能力が高い。
民族的出自 15％
移民の場合は返済能力が低い。

上記の結論のうち、「公平な区別」と、人権侵害となる「差別」の違いはどこにあるかを考えます。

性別
この学習結果に従えば、「女性」は与信で不利益を被ることになります。マクロ統計的に男性のほうが女性より年収の平均値・中央値が高いのは多くの社会において事実ですが、これは歴史的なジェンダー不平等の結果であり、そのバイアスを無批判に学習し、現実の与信に適用することは、一般には「差別」と捉えられます。

年収
年収は一般には「公平な区別」と考えられる指標ですが、状況次第では「差別」だとステークホルダーに認識される可能性もあります。例えば、年収と性別の相関関係が強い社会では、年収に過度な重みを与えることにより、年収が低い傾向にある性別（多くは女性）に与信上の不利益を与えることにつながるからです。また、現在年収の重みが過度に大きい与信では、真摯かつ堅実な性格で返済能力はある者が、収入をより増やすためにローンを希望する場合（配送業者の車購入等）を排除するおそれがあります。これは、事業上のリスクもあるため妥当だとされる場合もありますが、社会格差の固定化を招く、金融機関にとっての見込み顧客を逃すなどの可能性も考えられます。
民族的出自
民族的出自に説明変数として一定の重みづけをするのは、性別と同種の問題を孕みます。特定の民族グループの収入が低いことは社会の実態としてありますが、それは歴史的な社会バイアスの結果だといえ、「性別」「民族的出自」のように自らの意志や努力によっては変えることのできないような属性に説明力を持たせることは、一般には「差別」と捉えられます。

「性別」と「民族的出自」のような不変の属性を用いた学習は人権侵害リスクを高め、「年収」のような一般に妥当と思われるデータでさえも社会的公平性を損なうことがあります。このように、「公平な区別」と「差別」のいずれに該当するかは、区別事由と当該区別に係る権利などを総合的に考慮して判断する必要があり、その判断は容易ではないことから、いかなる企業も人権侵害を行うリスクがあるといえるのです。

人権マネジメントに「AIの利用によって人権を侵害するリスク」を組み込む

人権マネジメントでAIをどう取り扱うか

では、企業の人権マネジメントの担当者は、どのようにAIによる人権侵害リスクに向き合うべきなのでしょうか。国連が策定した「ビジネスと人権に関する指導原則」における企業に求められる要素をもとにしながら、AI関連部署と連携することが重要だと私たちは考えます。ここからは、基本となる人権マネジメントの3つの領域を紹介しながら、論点を検討します。

AIの利用による人権侵害に対して、人権方針として経営者のトップコミットメントを持たせる
人権デュー・ディリジェンスにおける影響評価やリスクのモニタリングに、AIが及ぼす負の影響を組み込む
AIの利用による人権侵害も提起可能な、社内外に開かれた救済機関の設置や救済プロセスの構築

1. AIの利用による人権侵害に対して、人権方針として経営者のトップコミットメントを持たせる

人権マネジメントの第一のステップは、企業の最上級レベルで承認された人権尊重に対するコミットメントを、人権方針として対外的に示していくことです。AIが及ぼす負の影響についても、企業としての対処姿勢を人権方針で明確に示し、AIが及ぼす負の影響に対して全社的な人権マネジメントの観点から取り組むことが出発点となります。

その際の留意点として、人権担当者は必ずしもAI倫理全てを担う必要はないということが挙げられます。AI倫理、またより広い意味でのAIガバナンスは、技術統括部やAI倫理室といった専門性を有した別部署が担うことが多いと想定されます。そういった部署と方針について十分な議論がなされず、人権方針でのコミットメントに齟齬が発生する場合には、組織ごとに対応が違ったり、あるいは過度な要求で事業開発に支障を来したりといった問題が生じ得ます。そのため、関係部署と連携を図り、整合性を取ることが重要です。

このように部署間の認識の一致が必要とされるため、なおさら経営者のトップコミットメントが重要となります。

2. 人権デュー・ディリジェンスにおける影響評価やリスクのモニタリングに、AIが及ぼす負の影響を組み込む

企業にとって人権マネジメントの第二のステップは、人権への負の影響を特定・防止・軽減し、そしてどのように対処するかということに責任を持つために、人権デュー・ディリジェンスを実行することにあります。デュー・ディリジェンスは以下の流れで実施します。

a. 人権問題の影響評価を行い、顕著な人権問題を特定する

b. 顕著な人権問題による負の影響の防止・軽減を実現するモニタリングを行う

a. 人権問題の影響評価を行い、顕著な人権問題を特定する

顕著な人権問題を特定するにあたっては、「深刻度」と「影響が生じる可能性」の観点から評価するのが一般的です。一方で、AIが及ぼす負の影響は、通常の観点では推定が困難であると思われます。その理由は以下のとおりです。

深刻度
AIが及ぼす負の影響は新興リスクであり、未知数であるため、特定のインジケーター等によって人権リスクを見積もることが難しい。
影響が生じる可能性
人権リスクの発生可能性は、事業活動を行う国や産業の状況から評価するのが一般的であるものの、AIはその利用方法によっては、越境性・産業横断性を有するため、従来の方法では推定が難しい。データバイアスやユースケースに着目して地域別・ユースケース別リスクを算定できる可能性はあるが、いずれにせよ、通常の国別・産業別リスクとは別の軸でリスクを捉える必要がある。

以上のことから、AI利用にあたっては、従来のリスク評価とは視点を変えてリスクを検討する必要があると思われます。また検討の際には、経営トップのコミットメントのもとでAI統括部署等と連携し、以下の観点での問いかけを行っていくことが有用となるでしょう。

利用状況の観点
- AIをどの領域（与信等のビジネスサイド、採用等のコーポレートサイド）で利用しているか
データの観点
- データはどの地域から取得したか
- データはどのような情報を含んでいるか
- 社会的バイアスのリスクについて、どのような検討を行っているか
- データはどのように入手したものか。入手にあたる倫理上・道義上のリスクは明らかか
- 購入・共同利用などデータを自社以外から入手している場合であっても、上述のリスクが十分に検討されているか
学習の観点
- 学習はどのように行っているか
- 学習の手法によって発生し得る人権リスクは検討されているか
- 人権リスクがある場合、学習過程は説明可能か
- 学習過程が説明不可能な場合、人権リスクについてどのようなリスク判断をしているか。それは人権方針と整合しているか

なお、AI倫理方針を持ち、AI統括組織・部署がすでにある場合は、こういった問いかけへの答えも得やすいと考えられますが、仮にそういった体制がない場合は、社内の体制整備から取り掛かる必要があります。この場合、経営トップの強いコミットメントのもと、まずAI倫理・ガバナンスという観点から社内体制の整備を行う必要があります。

b. 顕著な人権問題による負の影響の防止・軽減を実現するモニタリングを行う

次に、人権の負の影響の防止・軽減に取り組むため、企業には、人権問題を特定した領域においてモニタリングを行うことが求められます。モニタリングの手法はアンケート調査やヒアリングなどさまざまですが、いずれの手法においても、以下のような項目を確認することが肝要です。

モニタリング項目例：

前提確認
- AIがもたらす人権の負の影響についての認識の度合い
マネジメント
- 方針として、AIがもたらす人権の負の影響に対処するコミットメントを掲げているか
- AIがもたらす人権の負の影響のマネジメント体制を構築しているか（担当者の配置、エスカレーションプロセスなど）
- AIがもたらす人権の負の影響の発生を緩和するための具体的な施策を導入しているか
- AIがもたらす人権の負の影響が発生した際の救済の仕組みを構築しているか
インシデントの発生状況
- AIがもたらす人権の負の影響に係るインシデントは過去発生したか
- 発生したインシデントに対してどのような救済の取り組みを実施したか

なお、AIのシステム的評価が技術的な領域にあることからも、企業の人権担当者は社内の担当部署と連携しながら、人権の観点・専門性から関与していくことが重要です。

3. AIの利用による人権侵害も提起可能な、社内外に開かれた救済機関の設置や救済プロセスの構築

人権マネジメントにおいては、負の影響を受けた個人および地域社会のために、社内外のステークホルダーが利用可能な救済メカニズムの構築が求められます。しかしながら、そもそも内部通報制度の対象が限定されており、個人や地域社会が利用可能な仕組みがないか、あるいは仕組みが存在していても利用の周知がなされていない、という現状も多いと推察されます。

したがって、救済メカニズムは、AI固有の観点に限らず、社外の個人や地域社会に開かれた苦情処理メカニズムとして構築を推進し、周知徹底や実効性の確保を進めていくことが重要となります。また、「苦情は人権という視点から構成されていないことがしばしばで、当初は人権への懸念を提起しないことも多い⁸」ため、企業は、提起された苦情内容から、AIが及ぼす負の影響も含めた人権問題との関連性を判断することが求められるでしょう。

特にAIによる負の影響という新興の人権リスクは、プライバシー侵害や差別など、引き起こす影響を見通すことが難しい場合が多いと考えられます。そのため、苦情が提起された際に、どのように苦情を整理し、人権部署とAI統括部署の連携を図っていくかという、社内エスカレーション体制の整備も重要です。

おわりに

以上、AIと人権を取り巻く環境を整理しつつ、人権マネジメント担当者が取り組むべき論点を検討しました。AIによる人権への負の影響は新興的な人権リスクであり、リスクの影響度や発生可能性（影響が生じる可能性）を見積もることが難しいものです。しかしだからこそ、経営層の強いコミットメントのもと、人権マネジメント担当者とAI統括組織が効果的な連携を行う必要があります。

なお、AI利用状況の整理や利用データの網羅的な把握といった管理体制の前提条件が整っていない場合は、AI利用・統括組織を中心とした管理体制の整備から取り掛かる必要があります。通常、整備の必要性は人権観点以外から提起されるものですが、仮にそのような体制整備の提起がなされない場合は、人権方針を基準として問題提起を行う役目も人権担当部署にはあるでしょう。

AIによる人権リスクの開示を求める直接的な定めはまだありませんが、法規制の検討状況や、市場からの要求の高まりおよび人権侵害が実際に発生している現状に照らすと、アクションは喫緊に求められると私たちは考えています。

¹なお、当論考は著者一同の現時点での見解であり、人権リスクの取り扱いの妥当性を保証するものではないことにご留意ください。

² https://www.pwc.com/gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html

³ Daniel Zhang, Nestor Maslej, Erik Brynjolfsson, John Etchemendy, Terah Lyons, James Manyika, Helen Ngo, Juan Carlos Niebles, Michael Sellitto, Ellie Sakhaee, Yoav Shoham, Jack Clark, and Raymond Perrault, “The AI Index 2022 Annual Report,” AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University, March 2022.

⁴ OECD「人工知能に関する理事会勧告」OECD/LEGAL/0449

⁵ なお、AIに深い知見がない方にもリスクのイメージを掴んでいただくため、大幅な単純化を行っています。

⁶ 本文の趣旨に鑑みて、性を「男／女」の二分法で記載していますが、これは著者のジェンダー観を表明するものではありません。

⁷説明変数の重みは、実際には「％」という表れ方ではなく、数式の係数のかたちで表現されます。

⁸ 国連広報センター「ビジネスと人権に関する指導原則：国際連合『保護、尊重及び救済』枠組実施のために（A/HRC/17/31）」