リスク&ガバナンス法務ニュースレター(2024年7月)

EUは、2024年7月12日、AIに関する世界初の包括的な法規制(Artificial Intelligence Act)として、Regulation (EU) 2024/1689(以下、「AI法」といいます*1。)を官報で公表しました。AI法案については、欧州委員会による2021年4月21日の公表後、日々急速に進歩する生成AI等に追従する形で議論が続けられていましたが、2024年5月21日にEU理事会(Council of the EU)が承認したことにより、遂にAI法として成立しました。

AI法は、2024年8月1日に発効し、その大半の規定については、2026年8月2日より施行されます(特定の規定については、異なる時期に適宜施行されます)。

AI法は、EU域内の企業のみならず、EU域内にてAIシステムや関連するサービスを提供している企業なども広く適用対象とするものであり、日本企業にとっても無視することができないものとなっています。

そこで以下では、企業の観点から、必要と考えられる対応策についていくつかのステップに分けて整理しつつ、AI法の概要を説明します。

1. Step 1 AIシステム等の特定

AI法は、主に「AI system」(以下「AIシステム」といいます。)*2と「general-purpose AI model(GPAI)」(以下、「汎用AIモデル」といい、AIシステムと併せて「AIシステム等」といいます。)*3規制対象としており、AI法におけるそれぞれの定義は以下のとおりです。事業者*4としては、まず、自らが開発・利用等しているAIを洗い出し、それらが定義に該当するかを確認する作業が求められます。

AIシステム

(AI法3条1項)

様々なレベルの自律性で動作するように設計され、導入後に適応性を示す可能性があり、かつ、明示的又は黙示的な目的のために、提供を受けたインプットから物理的又は仮想的な環境に影響を与え得るアウトプット(予測、コンテンツ、推奨又は決定など)生成する法則を有する機械ベースのシステム

汎用AIモデル

(同63項)

顕著な汎用性*5を示し、当該モデルが市場に展開される態様にかかわらず、広範で明確なタスクを適切に実行することができ、かつ、様々な下流のシステム又はアプリケーションに統合可能なAIモデル*6(大規模な自己監視機能を有して大量のデータ学習をするものを含む。)

(ただし、上市前に行われる研究、開発又は試作品製造のために用いられるAIモデルを除く。)

なお、汎用AIモデルは、AIシステムに組み込まれる形で市場に展開されることも十分想定されますが、その場合は、AIシステムに係る規制と汎用AIモデルに係る規制が重畳的に適用されることになります(AI法前文(97))。

2. Step2 規制対象者の特定

AI法は、AIシステム等に関わる様々な利害関係者に適用されますが、主な規制対象者は以下のとおりです(AI法2条1項(a)~(c))。

  • その設立・所在がEU域内であるか否かを問わず、AIシステムをEU市場で上市し、又は実用化し*7、若しくは汎用AIモデルをEU市場で上市するProviders(以下「提供者」といいます。)
  • EU域内に設立された、又は所在するAIシステムのDeployers(以下「利用者」といいます。)
  • AIシステムによって生成されたアウトプットがEU域内で利用される場合における、EU域外に所在するAIシステムの提供者及び利用者*8

これを提供者及び利用者ごとに表にすると以下の形になります。

提供者

所在地

EU圏内

EU圏外

行為地

EU圏内

以下の場合に適用

  • AIシステムの上市・実用化
  • 汎用AIモデルの上市

以下の場合に適用

  • AIシステムの上市・実用化
  • 汎用AIモデルの上市
  • AIシステムの生成物の利用

EU圏外

適用外

適用外

利用者

所在地

EU圏内

EU圏外

行為地

EU圏内

以下の場合に適用

  • AIシステムの利用

以下の場合に適用

  • AIシステムの生成物の利用

EU圏外

以下の場合に適用

  • AIシステムの利用

適用外

提供者及び利用者の定義は以下のとおりです。

主体

定義

提供者
(AI法3条3号)

AIシステム等を開発する、又は開発させ、有償・無償を問わず、自己の名称又は商標の下に、当該AIシステム等を上市し、又は実用化する自然人、法人、公的機関、代理店その他の団体

利用者
(同4号)

自己の権限に基づき、AIシステムを使用する自然人、法人、公的機関、代理店その他の団体(ただし、当該AIシステムを個人的かつ非専門的活動の過程で使用する場合を除く)

これらの主体については、EU域内で設立されているかに関わらず、行為地を基準としてAI法の適用が判断されます。したがって、事業者は自らがどの類型の規制対象者に該当するかを確認した上で、Step 1で洗い出したAIシステム等について、どの地域で開発、上市、利用等しているかを確認する必要があります。

3. Step 3 適用除外該当性

AI法は、特定のAIシステム等について、適用除外規定を設けています。Step 1及びStep 2にて、規制の要件を満たす場合でも、適用除外に該当するときは規制を受けません。そこで、事業者としては、規制の対策に入る前にこれらの適用除外規定に該当しないか、確認する必要があります。

AI法2条において規定される、AI法の適用除外となるAIシステム等として、主として以下のものがあります。

  • 軍事、防衛、国家安全保障の目的のみに上市、実用化又は利用されるAIシステム、又はアウトプットされた生成物が同目的のためにEU域内で利用されるAIシステム(3項)
  • 第三国の公的機関又は第1項の規定によりAI法の適用対象となる国際機関であって、当該公的機関又は国際機関が、個人の基本的権利及び自由の保護に関して適切な保護措置を提供する場合(4項)
  • 科学的研究開発のみを目的として特別に開発され、又は実用化されるAIシステム又はAIモデル(その出力結果を含む。)(6項)
  • AIシステム又はAIモデルが上市又は実用化される前の研究、試験又は開発活動(ただし、実社会における条件でのテストに用いられる場合を除く。)(8項)
  • 純粋に個人的かつ非専門的活動の過程で使用されるAIシステム(10項)
  • 無償のオープンソースライセンスでリリースされるAIシステム(ただし、ハイリスクAIシステムとして利用される場合等を除く。)(12項)

また、後述Step 4のシステムの分類において、許容できないリスク・ハイリスク・限定リスクのいずれのリスクにも該当しないAIシステムも規制を受けません。

4. Step 4 AIシステムの分類

AI法は、AIシステムについて、そのもたらすリスクの大きさによりカテゴリーに分け、リスクが大きいものほど規制を重くする手法(いわゆるリスクベースアプローチ)を採用しています。このカテゴリーによって事業者が採るべき措置が異なるため、事業者としては、自らが関与するAIシステムについて、どのカテゴリーに該当するかを確認する必要があります。

各カテゴリーの内容は以下のとおりです。

(1) 禁止されるAIプラクティス

最もリスクが大きいとされるカテゴリーは、禁止されるAIプラクティス(Prohibited AI Practice)と呼ばれます(以下「禁止されるAIプラクティス」といいます。)。人の身体的・心理的健康や経済的利益に対して重大な悪影響を及ぼす可能性があり、かつ人の行動を実質的に歪めることを目的とする、又はその様な効果を持つAIシステムがこれに分類されます(AI法前文(29)参照)。具体的には以下のAIシステムがこれに該当します(AI法5条(a)ないし(h))。

① サブリミナル技術を用いたAIシステム (5条a)

② 個人等の脆弱性(年齢・障害等)を悪用するAIシステム (5条b)

③ ソーシャルスコアリングを個人等の悪評価に用いるAIシステム (5条c)

④ プロファイリング等に基づき個人等の犯罪リスクの評価を行うAIシステム (5条d)

⑤ インターネットや監視カメラから無制限に収集した画像を元に、顔認識データベースを作成するAIシステム (5条e)

⑥ 職場や教育の場における、個人等の感情を推測するAIシステム (5条f)*9

⑦ バイオメトリクスデータを用いて、個人の人種・政治的意見・宗教的信条等の機微情報を推測するAIシステム (5条g) *10

⑧ 公衆がアクセス可能な空間における法執行目的でのリアルタイム遠隔生体認証システム(5条h)*11

(2) ハイリスクAIシステム

禁止されるAIプラクティスに次いでリスクが高いとされるカテゴリーは、ハイリスクAIシステム(high-risk AI systems)と呼ばれます(以下「ハイリスクAIシステム」といいます。)。ハイリスクAIシステムは、(i)AI法のAnnex Iに列挙される各EU整合法令(Union harmonisation legislation)のうち、適用を受ける製品又はその安全部品であって、それらのEU整合法令に基づいて上市に際して第三者による適合性評価が必要とされるものと、(ii)AI法のAnnex IIIに列挙される8つの特定の分野におけるAIシステム(個人等の意思決定に重大な影響を及ぼさない*12など、健康・安全・基本的人権に重大なリスクとならないものは除きます。ただし、人のプロファイリングを行う場合には常にハイリスクとされます。)の2つに大別されます(AI法6条1項ないし3項)。

(ii)において、Annex Ⅲで列挙されている8つの分野は以下のとおりです。

① 生体認証

② 重要インフラ

③ 教育・職業訓練

④ 雇用・労働者管理

⑤ 民間・公共サービスへのアクセス

⑥ 法執行

⑦ 移民・亡命・国境管理

⑧ 司法及び民主的プロセスの運営

(3) 限定リスクを伴うAIシステム

AI法は、限定的なリスクを伴う特定の類型のAIシステムについて、透明性確保に関する義務の対象としています(以下「限定リスクを伴うAIシステム」といいます*13。)(AI法50条)。

具体的には、以下のAIシステムが該当します。

① 自然人とやりとりをすることを目的とするAIシステム

② 音声、画像、動画又はテキストを生成するAIシステム

③ 感情の認識又は生体の分類に用いられるAIシステム

(4) その他のAIシステム

上記(1)ないし(3)以外のAIシステムについては、現在のAI法では規制の対象外とされます。

5. Step 5 適用される規制の特定

事業者は、Step 4にて分類したカテゴリーに基づき、それぞれ異なるアプローチを行う必要があります。

(1) 禁止されるAIプラクティス

禁止されるAIプラクティスについては、上市し、実用化し、又は利用することが禁止されます。違反に対しては、35百万ユーロ又は全世界における年間売上高の7%のいずれか高い方の金額を上限とする制裁金が課されます(AI法99条3項)。事業者は、かかるカテゴリーに該当するAIプラクティスを上市等していることが判明した場合、これをやめるか、又は別のカテゴリーに該当するよう修正等を行う必要があります。

(2) ハイリスクAIシステム

AI法は、ハイリスクAIシステムについて、(i)システム自体について遵守すべき要件を規定するとともに(AI法8条)、(ii)提供者及び(iii)利用者に一定の義務を課しています。事業者は、かかるカテゴリーに該当するAIシステムへの関与が判明した場合、その属性に従った措置を講じることが要求されます。

(i)ハイリスクAIシステムが遵守すべき要件の概要は以下のとおりです。

システム要件

根拠条文

概要

①リスク管理システムの構築・実施

AI法9条

以下の各ステップから構成されるリスク管理システムを構築・実施する。かかるリスク管理システムについては定期的な見直しが要求される。

  • 意図された目的に従って利用された場合の、健康・安全・基本的人権に対するリスクの特定・分析
  • 合理的に予見可能な誤用リスクの特定・分析
  • 市販後のモニタリングによるリスク評価
  • 適切なリスク管理措置

②データガバナンス

同10条

データによるモデル学習技術を利用する場合、一定の品質基準を満たすデータセット等を用いて、学習・検証・テストを行う。

③技術文書

同11条

一定の要件を満たす技術文書を、上市又は実用化前に作成し、常に最新の状態を維持する。

④記録保存

同12条

システムの稼働期間にわたって、自動的にログを記録する機能を配備する。

⑤透明性の確保及び情報提供

同13条

利用者がシステムのアウトプットを解釈し、適切に利用することができるよう、透明性を確保するような方法で設計・開発する。また、利用者がアクセス可能な一定の要件を満たす利用説明書を添付する。

⑥人の監視

同14条

利用に際して、人が効果的に監視できるような方法で設計・開発する。

⑦サイバーセキュリティ

同15条

適切なレベルの堅牢性を有するサイバーセキュリティを構築し、稼働期間中、常にその性能を発揮するよう設計・開発する。

(ii)ハイリスクAIシステムの提供者の義務の概要は以下のとおりです。違反に対しては、15百万ユーロ又は全世界における年間売上高の3%のいずれか高い方の金額を上限とする制裁金が課されます(AI法99条4項)。

① 遵守要件を満たすAIシステムの提供

② 名称・連絡先等の表示

③ 品質管理システムの策定

④ 技術文書の作成

⑤ 自動的に生成されたログの保管(管理下にある場合)

⑥ 上市又は実用化前の適合性評価手続の履践

⑦ EU適合宣言書の作成

⑧ CEマークの貼付

⑨ EUデータベースへの登録

⑩ 是正措置の実行及び情報の提供

⑪ (該当する場合)ログへのアクセス提供、要件遵守の証明

⑫ アクセシビリティ要件への準拠

⑬ EU域内代理人の設置(EU域外の提供者に限る。)

16条(a)

16条(b)

16条(c)、17条

16条(d)、18条

16条(e)、19条

16条(f)、43条

16条(g)、47条

16条(h)、48条

16条(i)、49条

16条(j)、20条

16条(k)

16条(l)

22条

(iii)ハイリスクAIシステムの利用者の義務の概要は以下のとおりです。26条違反に対しては、15百万ユーロ又は全世界における年間売上高の3%のいずれか高い方の金額を上限とする制裁金が課されます(AI法99条4項)。

① 利用説明書に沿った利用のための技術的・組織的措置の実施

② 必要な能力を有する監督者の設置

③ データガバナンスの保証(入力データを管理する場合)

④ モニタリングの実施及び関係者への通知

⑤ 自動的に生成されたログの保管

⑥ (職場でシステムを利用する場合)従業員代表等への通知

⑦ EU法の定めるデータ保護影響評価の実施

⑧ 事前承認の取得*14

⑨ AIシステム対象者への通知*15

⑩ 監督当局への協力

⑪ 基本的権利影響評価の実施

26条1項

26条2項

26条4項

26条5項

26条6項

26条7項

26条9項

26条10項

26条11項

26条12項

27条

(3) 限定リスクを伴うAIシステム

AI法は、限定リスクを伴うAIシステムについて、提供者及び利用者に透明性確保にかかる義務を課しています。したがって、事業者は、かかるAIシステムについて、提供者又は利用者として関与する場合に限り、そのAIシステムの内容によって、遅くとも最初の自然人との接触の時点までに、明確かつ判別可能な方法で、以下の透明性確保にかかる義務を履行する必要があります(AI法50条5項)。なお、ハイリスクAIシステムのうち、限定リスクを伴うAIシステムの要件も同時に満たすものについては、この透明性確保の義務が重畳的に課されます(AI法50条6項)。

システムの内容

根拠条文

透明性確保のための措置

自然人とやりとりをすることを目的とするAIシステム

50条1項

AIシステムとやりとりしていることを通知する。

(利用される状況及び文脈を考慮し、自然人から見て明らかな場合を除く。)

音声、画像、動画又はテキストを生成するAIシステム

同2項

人工的に生成されたものであることを生成物に表示する。

同4項

ディープフェイク*16の技術が用いられる場合は、それが人工的に生成されたものであることを開示する。

公衆に公共の利益に関する事項を伝える目的で公表されるテキストを生成する場合は、かかるテキストが人工的に生成されたものを開示する。

感情の認識又は生体の分類に用いられるAIシステム

同3項

適用される個人に対し、AIシステムが利用されていることを通知する。

(4) 汎用AIモデル

AI法は汎用AIモデルを、そのリスクの大きさに応じて(i)通常の汎用AIモデルと(ii)システミックリスクを伴う汎用AIモデルの2つに分けた上で、後者に対しては、より厳しい義務を課しています。したがって、汎用AIモデルの提供者に該当する事業者は、当該汎用AIモデルがシステミックリスクを伴う汎用AIモデルに該当するかを確認した上で、それぞれの義務を履行する必要があります。

ここで、「システミックリスク」とは、最先端の高性能汎用AIモデルに特有のリスクであり、その対象範囲の大きさにより、又は公衆衛生、安全、治安、基本的権利、社会全体に対する実際の、又は合理的に予見可能な悪影響により、EU市場に重大な影響を及ぼし、バリューチェーン全体に大規模に伝播するものを意味します(AI法3条64項、65項)。具体的には、指標やベンチマークを含む、適切な技術的ツールにより、高い影響力を有すると評価されたもの*17、又は欧州委員会が一定の基準に基づき、職権で認定したものがこれに該当します(同法51条1項)。

(i)通常の汎用AIモデルの提供者に課される義務の概要は以下のとおりです(AI法53条)。

① 一定の基準を満たす技術文書の作成

② 汎用AIモデルを自社のAIシステムに統合しようとする提供者に対する情報提供

③ EUにおける著作権に関する法令を遵守するためのガイドラインの策定

④ データ学習に利用される内容に関する概要書の作成・公表

(ii)システミックリスクを伴うAIモデルの提供者に課される義務の概要は以下のとおりです(AI法55条1項)。これらは上記(i)の通常の汎用AIモデルの提供者に課される義務と重畳的に適用されます。

① システミックリスクに該当することを認識してから2週間以内の欧州委員会への通知

② モデル評価の実施及びシステミックリスクの特定及び対策の文書化

③ システミックリスクが生じる可能性のある開発、販売、利用等に関するリスク評価及びその軽減措置の実施

④ 重大なインシデントに関する記録の作成及び当局への報告

⑤ 汎用AIモデル及びその物理的インフラに関するサイバーセキュリティの確保

6. Step 6 施行に向けた準備

AI法は、2024年8月1日に発効し、その大半の規定については、2026年8月2日に施行されます(AI法113条)。他方、AIシステム等のカテゴリーに応じた特定の規定については、以下のとおり、順次施行されます。

カテゴリー

施行日

第1章(総則)及び第2章(禁止されるAIプラクティス)

2025年2月1日(113条(a))

ハイリスクAIシステム

2027年8月2日(113条(c))

汎用AIモデル

2025年8月2日(113条(b))。ただし、2025年8月2日以前に上市した提供者については、2027年8月2日までに遵守を達成すれば足りる(111条3項)。

*1 本ニュースレターにおいては、AI法を一部簡略化して記述しています。AI法の詳細については以下の原文(英語)をご確認ください。
https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202401689

*2 AI法によれば、規制の対象となる「AIシステム」の概念は明確に定義されるべきであり、法的確実性を有し、かつ国際的な収斂と広い許容性を有する一方で、急速な技術発展に対応できる柔軟性を維持する必要があり、AI研究に取り組む国際機関の活動と密接に連携すべきであるとされます(AI法前文(12))。これを受け、上記定義は、OECDによる「AI system」の定義を踏襲したものとなっています。

*3 当初、汎用AIモデルに関する規制はAI法の対象外とされていましたが、昨今の生成AIの爆発的な進歩に伴い、急遽規制の対象として組み込まれることになりました。

*4 本ニュースレターにおいて、「事業者」とは、提供者であるか利用者であるかの立場を問わず、AIシステム等に関与する事業者を指し、以下も同様とします。

*5 汎用性はパラメータの数によって決定されることもありますが、AI法によれば、少なくとも10億のパラメータを有し、大規模な自己監視機能を用いて大量のデータ学習をするモデルは、汎用性を示すと考えられるべきである、としています(AI法前文(98))。

*6 大規模な生成AIモデルは、汎用AIモデルの典型例とされます(AI法前文(99))。

*7 上市(原文では”placing on the market“)とは、EU域内において、初めてAIシステム又は汎用AIモデルを使用可能な状態に置くことを意味します(AI法3条10項)。また、実用化(原文では”putting into service”)とは、EU域内において、提供者が意図した目的のために利用者に対して直接利用できるようAIシステムを提供することを意味します(AI法3条11項)。

*8 具体例として、EU域内に拠点を置く事業者が、ハイリスクAIシステムによって実行される活動に関連して、域外の第三国に拠点を置く事業者に特定のサービスを委託する場合が挙げられます。このような場合、当該事業者が第三国で利用するAIシステムは、域内で合法的に収集され、域内から移転されたデータを処理し、当該処理の結果得られる生成物をEU域内の事業者に提供することとなります(AI法前文(22))。

*9 ただし、医療・安全の目的のためのものは除きます。

*10 ただし、法執行の分野において適法に取得したバイオメトリクスデータに基づく場合を除きます。

*11 ただし、①特定の犯罪被害者(行方不明の子供等)の捜索、②重大かつ差し迫ったテロ活動の未然の防止、及び③一定の基準を満たす犯罪の実行者又は被疑者の発見を目的とする場合を除きます。

*12 例えば、多数の情報の中から重複を検出するために使用されるAIシステムなどの、限定的なタスクを実行することを目的とするAIシステムや、一度人間が作成した成果物を改善(表記の統一など)することを目的とするAIシステムなどがこれに当たるとされます(AI法前文(53))。

*13 AI法上、限定リスクを伴うAIシステムに関して、特段の定義は規定されていません。

*14 犯罪捜査等のために事後遠隔バイオメトリクスを使用する場合

*15 自然人の意思決定のためにAIシステムを利用する場合

*16 AIによって生成又は操作された画像、音声、映像コンテンツで、実在する人物、物体、場所に似ており、真実であると誤信させるものをいいます(3条60項)。

*17 データ学習のための累積計算量が浮動小数点演算で10の25乗を超える場合は、システミックリスクを伴うものと推定されます(AI法51条2項)。

PDF版ダウンロードはこちら

執筆者

茂木 諭

パートナー, PwC弁護士法人

茂木 諭茂木 諭

日比 慎

ディレクター, PwC弁護士法人

蓮輪 真紀子

蓮輪 真紀子

PwC弁護士法人

岩崎 康幸

パートナー, PwC弁護士法人

水田 直希

PwC弁護士法人

望月 賢

PwC弁護士法人

小林 裕輔

パートナー, PwC弁護士法人

阪本 凌

PwC弁護士法人

本ページに関するお問い合わせ