EU一般データ保護規則（General Data Protection Regulation）に関して、29条委員会は、2018年2月6日に「自動化された意思決定およびプロファイリングに関する2016/679規則ガイドライン（Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679）」を改訂・承認しました。このガイドラインの内容については、人工知能を用いたビジネスを欧州等で展開する場合に予め検討をしておくことが望ましいと思われます。
本記事では、前回解説したGDPRの内容を前提とした上で、同ガイドラインの内容を解説します。
ポイント
- 29条委員会は、2018年2月6日に「自動化された意思決定およびプロファイリングに関する2016/679規則ガイドライン（Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679）」を改訂・承認した。
- 同ガイドラインに照らせば、人工知能（AI）を用いる場合であっても、個人データの取扱いに取扱原則、適法性の根拠、データ主体の権利等に関する規律が及ぶことに変わりはない。
- ただし、人工知能（AI）を用いて完全自動意思決定を行う場合であって、かつ、かかる決定が、法的効果を発生させる、または、当該データ主体に対して同様の重大な影響を及ぼす場合には、原則として、その処理ロジックを含めて簡潔な説明を行うことが求められる。
- 上記の法的効果や重大な影響の欠如により、説明義務等の適用が除外される場合であっても、人工知能（AI）を用いて完全自動意思決定を行う場合には、(a)意思決定権を持つ人間の介在、および(b)データ主体が意見を述べ決定を争う機会の付与等の適切な保護手段を施すことが求められている。
- 適切な保護対応としては、①管理者が、取扱うデータセットを頻繁に評価し、偏りがないかをチェックし、相関に過度に依存している場合も含め、不利な要素に対処する方法を開発すること、②アルゴリズムを監査し、プロファイリングを含む自動化された意思決定の正確さと妥当性を定期的にレビューするシステムの導入が推奨されている。
解説
29条委員会とは
29条データ保護作業委員会（Article 29 Data Protection Working Party）はGDPRに先立つEUデータ保護指令29条に基づき発足した諮問機関です。
GDPRの施行により、欧州データ保護会議（European Data Protection Board。「EDPB」）が発足したことから、現在は発展的に解散されています。
GDPRの解釈ガイドライン
29条データ保護作業委員会は、GDPRの解釈等に際してガイドラインを公開しており、EDPBによっても承認されています。また、その一部については、日本の個人情報保護委員会により日本語仮訳が公開されています。
本稿は、29条委員会が、2018年2月6日に改訂・承認した「自動化された意思決定およびプロファイリングに関する2016/679規則ガイドライン（Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679）」（以下「本ガイドライン」といいます。）を解説します。
本ガイドライン理解のための前提知識
「プロファイリング」とは
GDPR上、「プロファイリング」は、次のとおり定義されており（4条4項）、①自動化された取扱形式であること、②個人データに関するものであること、および③目的が、自然人の個人的側面を評価するためのものであることが必要です。
(4) 「プロファイリング」とは、自然人と関連する一定の個人的側面を評価するための、特に、当該自然人の業務遂行能力、経済状態、健康、個人的嗜好、興味関心、信頼性、行動、位置および移動に関する側面を分析または予測するための、個人データの利用によって構成される、あらゆる形式の、個人データの自動的な取扱いを意味する。
個人データを用いたプロファイリングにより、データ主体が預かり知らないところで、特定のカテゴリーに分類されることにより（具体例として良く挙げられるのがクレジットカードの自動審査です。）、その自由が制約される可能性があることから、GDPRは、プロファイリングに特に言及しており、一定の場合には、加重された情報提供義務等を課しています。本ガイドラインは、プロファイリング等について、次のとおり説明をしています。
しかし、プロファイリングと自動化された意思決定は、適切な保護を必要とする個人の権利と自由に重大なリスクをもたらす可能性がある。
これらのプロセスは不透明であり得る。個人は、自分がプロファイリングされていることを知らないかもしれないし、何が関与しているのか理解できないかもしれない。
プロファイリングは、既存の固定観念や社会的分離を永続化させる。また、個人を特定に閉じ込め、その希望を制限することもできる。これは、個人の選択の自由、例えば、書籍、音楽、ニュースフィードなどの特定の製品やサービスの選択、を制約することがある。場合によっては、プロファイリングが不正確な予測につながる可能性がある。また、サービスや物品の拒否や不当な差別につながる場合もある。
「自動化された意思決定」とは
「自動化された意思決定」は、その言葉のとおり、機械により自動化された意思決定を指すところ、①人間による判断が介在する場合と、②人間による判断を全く介在せず、機械のみによる「もっぱら自動化された取扱い（Solely automated decision making。以下「完全自動意思決定」といいます。）に分けることができます。
完全自動意思決定に関する規制
完全自動意思決定について、GDPR22条1項が次のとおり定めており、該当する場合には、後述する加重された義務が課せられます。
データ主体は、当該データ主体に関する法的効果を発生させる、または、当該データ主体に対して同様の重大な影響を及ぼすプロファイリングを含むもっぱら自動化された取扱いに基づいた決定の対象とされない権利を有する。
この定めは、文理上は、データ主体が、22条1項のような完全自動意思決定の対象とならない「権利」を有していることを明記するものですが、このような完全自動意思決定を、権利行使を待つまでもなく、一般的に禁止するものとして理解されています（つまり、管理者は、データ主体による権利行使がなくとも、これを遵守する義務を負います。）。
もっとも、上記の定めから明らかであるとおり、完全自動意思決定に該当したとしても、直ちに、GDPRの規制対象となるわけではありません。具体的には、①完全自動意思決定のうち、②-a「法的効果を発生させる決定」または②-b「データ主体に対して同様の重大な影響を及ぼす決定」であることが必要です。
まず、①完全自動意思決定の該当性については、「自動化された意思決定」であっても、人間が最終決定を下す場合にはこれに該当しない反面、人間を形式的に介在させることでは、該当を免れることができないと理解されています。そのため、本ガイドラインは、人間が実質的に関与していると見なされるためには、人間による監視が意味のあるものであることを確実にしなければならず、具体的には、決定を変更する権限と能力を有する者によって監視が行われるべきであるとしています。
次に、②-a「法的効果を発生させる決定」とは、完全自動意思決定が、他人と提携したり、選挙で投票したり、法的措置を取ったりする自由など、自然人の法的権利に影響を及ぼすことを必要とするものです。ここでいう、法的効果は、個人の法的地位や契約上の権利に影響を及ぼすものでもよく、契約の解除や、児童または住居の給付その他の法律により与えられる特定の社会給付についての権利または否認、入国・市民権拒否等が含まれると考えられています。
加えて、②-b「データ主体に対して同様の重大な影響を及ぼす決定」との要件は、意思決定プロセスがデータ主体の法的権利そのものに影響を及ぼさなくても、その影響が同等または同様に重大な効果をもたらすならば、GDPR22条の適用を受け得ることを意味しています。
「プロファイリング」と「自動化された意思決定」の関係
プロファイリングと自動化された意思決定は、相互に関連するものの、別個の概念です。そのため、プロファイリングを伴わない自動化された意思決定がなされることもあり、逆に、自動化された意思決定がプロファイリングに基づき実行されることもあります。
「プロファイリング」・「自動化された意思決定」と人工知能・機械学習との関係
GDPRは、個人データ（personal data）について、人工知能（AI）研究、開発、利用を特に対象とした定めを置いていません。もっとも、本ガイドラインにおいては、「プロファイリング」と「自動化された意思決定」のいずれについても、その基礎技術として機械学習等が用いられることが想定されています。
テクノロジーの進歩とビッグデータ分析、人工知能、機械学習の能力の進歩により、プロファイルの作成や自動化された意思決定が容易になり、個人の権利と自由に大きな影響を及ぼす可能性がある。
インターネットおよびインターネット・オブ・シングス(IoT)装置からの個人データの広範な利用可能性、および相関を見つけてリンクを作成する能力は、個人の性格または行動、関心および習慣の側面を決定し、分析し、予測することを可能にする。…
そのため、EUで機械学習を用いた個人データを取り扱うビジネスを展開する等の場合には、これら「プロファイリング」および「自動化された意思決定」に関するGDPR上の規制内容には目を配ることが重要です。
本ガイドラインの概要
GDPRは「自動化された意思決定」のうち、完全自動意思決定（プロファイリングを実施する場合を含む）について、一定の場合に、加重された義務を課しています。
そのため、本ガイドラインでは、①「プロファイリング」および「自動化された意思決定」についての一般的な注意事項と、②完全自動意思決定について個別的な注意事項をそれぞれ説明しています。
結論を先取りすれば、本ガイドラインのスタンスは、概要、次のとおりです。なお、ここでいう「モデル」とは、「学習済みモデル」を指すものと思われます。
- 管理者は、個人の同意、個人との契約、またはこれを承認する法律に依拠することができない場合、個人に関するプロファイルに基づいて個人に大きな影響を与える、完全自動意思決定を行うような「モデル」の構築を進めるべきではない。
- 管理者は、自然人の関与のレベルを高めることにより、もはや完全自動意思決定を行わない、プロファイリングに基づく「モデル」を構築することができる。ただし、個人データの取扱いが個人の基本的な権利および自由を脅かす可能性があることから、GDPRの各規制を順守することが必要である。
一般的な注意事項
取扱原則
上述のとおり、GDPRは管理者に対して、各種取扱原則の遵守を求めていますが、機械学習においては、①適法性・公正性・透明性および②正確性が特に問題となり得ます。
①適法性・公正性・透明性については、データ主体にとっては、プロファイリングおよび自動化された意思決定のプロセスに含まれる複雑な技術を理解することが困難である場合があるため、管理者は、データ主体に対して、個人データの取扱いに関する、簡潔、透明、分かりやすく、かつ、容易にアクセス可能な情報を提供しなければならないとされています。また、プロファイリングにより公正および透明性のある取扱いがなされることを確保することが求められています。
②正確性については、プロファイリングのすべての段階、特に、データの収集・分析・個人のプロファイルの適用により個人に影響を及ぼす意思決定を行う際に、個人データの正確性を確保することが求められています。本ガイドラインにおいて、この懸念は、次のとおり言及されています。
自動化された意思決定またはプロファイル作成のプロセスで使用されるデータが不正確である場合、結果として生じる意思決定またはプロファイルに誤謬が生じる。決定は、古いデータまたは外部データの誤った解釈に基づいて行われることがある。不正確さは、例えば、誰かの健康、信用、保険のリスクに関する不適切な予測や発言につながる可能性がある。
生データが正確に記録されていても、データセットが完全に代表的でない場合や、分析には隠れたバイアスが含まれている場合がある。
管理者は、再利用または間接的に得られたデータが正確かつ最新のものであることを継続的に検証し保証するために、頑健な対策を導入する必要がある。このことは、データ主体が誤りを是正し、データの質を改善することができるように、取扱いされる個人データに関する明確な情報を提供することの重要性を強調する。
適法性の根拠
プロファイリングおよび自動化された意思決定のいずれも、GDPR上の個人データの取扱いである以上、同意・契約履行の必要性・法的義務遵守の必要性・重大な利益の保護・正当な利益追求等の適法性の根拠を確保することが必要です。
特に、プロファイリングに関しては、結果として、その元となったデータからは明らかではなかった相関関係が見いだされる結果、特別のカテゴリーに属する個人データが生成される可能性がありますが、このような場合には、個人データの取扱いが、当初のデータの取扱目的と異なることを明示した上で、特別なカテゴリーの個人データの取扱いの合法的な根拠を特定し、その取扱いについてデータ主体に通知することが必要になります。
データ主体の権利
上述のとおり、GDPRは、データ主体に対して、各種権利を付与していますが、本ガイドラインでは、特に、①情報提供を受ける権利（13条）、②アクセス権（15条）、③訂正権（16条）・削除権（17条）・取扱制限権（18条）および④異議申立権（21条）が取り上げられています。
①情報提供を受ける権利
本ガイドラインは、透明性の原則を考慮踏まえると、管理者は、プロファイリングまたは自動化された意思決定プロセスがどのように機能するかについて、明確かつ単純に個人に説明しなければならないとしています。
具体的には、個人データの取扱いがプロファイリングに基づく意思決定を伴う場合(22条の規定に拘束されるか否かにかかわらず)、その取扱いが(a)プロファイリングと(b)生成されたプロファイルに基づく意思決定の両方の目的のために行われるという事実は、データ主体に対して明らかにされなければならないとされています。
特に、GDPRの前文60は、データ主体に対して、プロファイリングに関する情報を提供することは、GDPR5条(1)(a)に基づく管理者の透明性義務の一部であると述べているところであり、データ主体は、プロファイリングに基づく個々の意思決定が完全自動意思決定によるか否かにかかわらず、「プロファイリング」に異議を申し立てる権利について、管理者から通知を受ける権利を有すると考えられています。
②アクセス権
本ガイドラインは、データ主体は、プロファイルを構築するために使用されるデータのカテゴリーを含むプロファイル作成に使用される個人データの詳細を入手する権利を有するとしています。
また、管理者は、取扱いに関する一般的な情報に加えて、15条3項に従い、プロファイルを作成するための入力として使用されるデータを利用できるようにする義務、並びにプロファイルに関する情報およびデータ主体が分類されたセグメントの詳細にアクセスする義務を負うとしています。
③訂正権・削除権・取扱制限権
本ガイドラインは、プロファイリングが予測を伴うことから、不正確性のリスクが介在することに言及しており、具体的には、入力データが不正確、無関係または文脈と無関係に抽出されている可能性があり、また、相関関係の分析アルゴリズムに誤りがある可能性を指摘しています。
その上で、本ガイドラインは、16条により、個人は、分析に用いられたデータの正確性および個人が分類された集団またはカテゴリーの正確性について異議を唱えることができるとしています。
また、訂正・削除権は、入力データのみならず、出力結果に対しても及ぶことを明示しています。
加えて、取扱制限権は、プロファイリングの過程のいずれにも適用され得るとしています。
④異議申立権
21条(1)に基づき、データ主体は、個人データの取扱い（プロファイリングを含む）に異議を申し立てることができます。
データ主体がこの権利を行使した場合、管理者は、データ主体の利益、権利および自由を無効にする説得力のある正当な理由を証明できない限り、プロファイリングプロセスを中断（または開始を回避）しなければならないとされています。
データ保護影響評価（DPIA）
データ保護影響評価（DPIA）は、個人データの取扱いに先立ち実施される、その保護に対する影響の評価を意味します。35条1項は、次の場合にDPIAを実施することを求めています。
取扱いの性質、範囲、過程および目的を考慮に入れた上で、特に新たな技術を用いるような種類の取扱いが、自然人の権利および自由に対する高いリスクを発生させるおそれがある場合、管理者は、その取扱いの開始前に、予定している取扱業務の個人データの保護に対する影響についての評価を行わなければならない。…
その上で、35条3項(a)は、特に、次の場合に、同条1項に基づくDPIAを実施することを求めています。
(a) プロファイリングを含め、自動的な取扱いに基づくものであり、かつ、それに基づく判断が自然人に関して法的効果を発生させ、または、自然人に対して同様の重大な影響を及ぼす、自然人に関する人格的側面の体系的かつ広範囲な評価の場合
本ガイドラインは、上記のGDPR35条3項(a)が「自動的な取扱い」としており、「完全自動意思決定」としていないことを根拠として、プロファイリングを含む「自動化された意思決定」については、それが、完全自動意思決定であるか否かを問わず、自然人に対して法的効果または重大な影響を及ぼす場合には、データ保護影響評価（DPIA）の実施が求められることになると説明しています。
そのため、機械学習技術を用いたプロファイリング等を行う場合には、データ保護影響評価（DPIA）を実施することが求められることは少なくないと思われます。
完全自動意思決定に関する注事事項
22条1項の規制対象となることの法的効果
22条1項の適用対象となる場合、13条(2)(f)および14条(2)(g)は、管理者に対し、完全自動意思決定について、特定の、容易にアクセス可能な情報を提供することを要求しています。具体的には、管理者は次の行動をとることが求められています。
- データ主体に、完全自動意思決定に従事していることを伝える。
- 「関連する論理（Relevant Logic）」に関する有意義な情報を提供し、取扱いの「意義」と「予想される結果」を説明する。
ここで、「関連する論理（Relevant Logic）」に関する有意義な情報とは、決定の背後にある理論的根拠や、決定に至る際に依拠する基準に関する簡潔な説明を意味しており、管理者が、使用されるアルゴリズムの詳細な説明または完全なアルゴリズムの開示を意味しません。
そのため、研究や実用化に際しては、どの程度の説明を行えば十分であるかについて、検討をしておくことが重要になります。
また、「意義」と「予想された結果」は、意図されたまたは将来の取扱いに関する情報と、自動化された意思決定がデータ主体にどのように影響を与えるかについての情報が提供されなければならないことを示唆しており、生じうる影響の種類について、現実の具体的な例を挙げるべきであるとされています。
22条1項の適用除外事由
22条2項は、22条1項の適用除外事由として、次の場合を挙げています。
- データ主体とデータの管理者の間の契約の締結またはその履行のために必要となる場合
- 管理者がそれに服し、かつ、データ主体の権利および自由並びに正当な利益の安全性を確保するための適切な措置も定めるEU法または加盟国の国内法によって認められる場合
- データ主体の明示的な同意（explicit consent）に基づく場合
もっとも、上記の適用除外を受ける場合には、22条3項は「そのデータの管理者は、データ主体の権利および自由並びに正当な利益、少なくとも、管理者の側での人間の関与を得る権利、データ主体の見解を表明する権利およびその決定を争う権利の保護を確保するための適切な措置を実装する」ことを求めています。
そして、本ガイドラインは、適切な保護処置（appropriate safe guards）を実装するための手段の最低限の要件として、(a)意思決定権を持つ人間の介在、および(b)データ主体が意見を述べ決定を争う機会の付与を挙げています。
特に、(b)については、71条が「当該評価後に到達した決定の説明を入手し、決定に異議を申し立てるデータ主体および権利に関する具体的な情報」の提供を適切な保護手段として挙げていることが根拠ですが、このような異議を唱えるためには、完全自動意思決定により、どのような取扱いが行われているかに関する情報提供が不可欠であり、したがって、透明性の要件の充足が重要になります。
また、本ガイドラインは、更に、収集または共有された個人データの誤りもしくは偏り、または自動化された意思決定プロセスにおける誤りもしくは偏りは、誤った分類、不正確な予測に基づく評価、そして、個人への悪影響を与えることに言及しています。
その上で、具体的な対応として、①管理者が、取扱うデータセットを頻繁に評価し、偏りがないかをチェックし、相関に過度に依存している場合も含め、不利な要素に対処する方法を開発すべきであるとしています。また、②アルゴリズムを監査し、プロファイリングを含む自動化された意思決定の正確さと妥当性を定期的にレビューするシステムの導入を推奨しています。
本ガイドラインの推奨する対応
本ガイドラインは、プロファイリングおよび自動化された意思決定について、次の対応をとることを推奨しており、実務上の参考になるものと思われます。
| 条文 | 対象 | 推奨対応 |
|---|---|---|
| 5(1)(a) 12 13 14 |
有する権利 情報 |
管理者は、一般的な透明性の要件に関しては、「透明性に関するWP29ガイドラインWP260」を参照すること。 一般要件に加えて、管理者が22条に定義されるデータを取扱う場合、管理者は、関連する論理に関する有意義な情報を提供しなければならない。 管理者は、データ主体に情報を伝えるに際して、アルゴリズムまたは機械学習がどのように機能するかについての複雑な数学的説明を提供する代わりに、明確で包括的な方法を使用することを考慮すべきである。その一例は以下のとおりである：
このような情報は、一般に、データ主体により関連性が高く、取扱いの透明性に寄与する。 管理者は、アルゴリズムの透明性を補助するため、可視化および対話型テクニックを考慮してもよい。 |
| 6(1)(a) | 取扱いの根拠としての同意 | 管理者が取扱いの根拠として同意に依存している場合は、「同意に関するWP29ガイドラインWP259」を参照すること。 |
| 15 | アクセス権 | 管理者は、データ主体がプロファイルをチェックするためのメカニズム（情報およびそれを開発するために使用した情報源の詳細を含む）を実装することを検討してもよい。 |
| 16 | 訂正権 |
管理者は、15条の権利に関連してプロファイルにアクセスできるように、データまたはプロファイルの誤りを更新または修正する機会をデータ主体に提供しなければならない。このことは、管理者が5条1項dの義務を果たすことにも役に立つ。 管理者は、プライバシーダッシュボードなどのオンライン環境設定管理ツールの導入を検討することができる。これにより、設定の変更、個人情報の更新、プロファイルの見直しや編集を行うために、さまざまなサービスで情報を管理することができる。 |
| 21(1) 21(2) |
異議申立権 |
21条1項および4項における異議申立権は、データ主体に明示的に注意を喚起し、他の情報とは明確かつ別個に提示しなければならない（21条4項）。
管理者は、この権利がウェブサイトまたは関連する文書に明瞭に表示され、他の条件で隠されないことを確実にする必要がある。 |
| 22 前文71 |
適切な保護処置 |
以下のリストは、網羅的ではないが、プロファイリング（22条1項に定義される）を含む、完全自動意思決定を行う際に、管理者が考慮すべき、望ましい実践方法の提案を提供するものである。
管理者は、以下のオプションも探索できる。
|
コメント
人工知能や機械学習は技術の発展の著しい分野であり、それが故に、個人データの取扱いに関しても、データ主体の権利に予期せぬ影響を与える可能性があります。このような人工知能と個人データの取扱いの関係性については、日本の個人情報保護法との関係では必ずしも十分に議論されていませんが、国際的なビジネス展開をする上では、GDPRを含め、問題となり得る法域の規制内容を十分に検討した上で、ビジネススキームを構築していくことが重要です。
GDPRに関しては施行されたばかりで、その解釈や運用に不透明なところがあることは否定できませんが、欧州で人工知能関連のサービスを提供する際には、本ガイドラインの内容を十分に理解・検討しておくことが重要になると思われます。
本記事に関するお問い合わせはこちらから。
（文責・松下）
- 投稿タグ
- AI, GDPR, プロファイリング, 自動化された意思決定
