意図せず情報倫理が問題となった事例

以下の例は、意図せずに、AIが人種差別的な動作をしてしまったという例である。

COMPASとルーミス判決

この事例は、簡単にいうと
「何で私がダメ人間なんだ! 納得する説明をしてくれ!
「説明はできないが、とにかくAIがそう言うんだからそうなんだろぅ」
なんてことが、許されるのだろうか?
という話である。

アメリカで、犯罪者の傾向を調べて、「この人はこれぐらいの確率で再犯を犯しやすい」ということを予測するシステムが開発された。
それが、Northpoint社によって開発された、COMPAS(Correctional Offender Management Profiling for Alternative Sanctions 代替制裁のための矯正犯罪者管理プロファイリング)というAIを用いた再犯予想プログラムである。
137の質問に対する犯罪者の回答を基に、再犯リスクを評価するものである。
137の質問の中には起訴内容、前科内容、薬物乱用歴などだけでなくジェンダー(性別)、年齢、宗教、人種、学歴、職歴などが含まれる。
そもそもCOMPASは再犯を犯す確率を求めるものであり、更生プログラムの必要性などを決定する目的で開発されたものであるが、裁判で2012年から量刑を決める作業を支援するシステムとして使われるようになった。

ただし、このシステムの詳細について、全ては公開されていない。
したがって、Northpoint社がどのようなデータを用いて、どのようにAIを教育したのか不明な部分がある。
言い換えれば、COMPASというシステムはブラックボックスである。

2013年、車両から銃弾が発射される事件があり、そのときの運転手役のEric Loomis(エリック ルーミス)の裁判が行われた。
その裁判でもCOMPASが使われ、ルーミスは発砲はしておらず、単なる運転手役であったにもかかわらず"地域社会にとって高いリスクとなる人物"と判定され、懲役6年の刑となった。
ここでルーミスは「正確性が担保されす、検証可能性もないブラックボックスのCOMPASで量刑判断されるのは不公正である。」と訴えた。
すでに、COMPASが正しく判定しているのかは何回か検証されていたが、この訴えによって、あらためて、COMPASを使うことの正当性をめぐる裁判が開始された。

まず、前提として、「この被告は〇〇教徒だから、量刑を軽くしよう」とか「この被告は〇〇系アメリカ人なので量刑を重くしよう」などということがあってはならない。
ジェンダーや宗教や人種だけを理由に、量刑の重さを決めるのは差別である。
しかし、137の質問項目にこれらが含まれている。
このような、ジェンダーや宗教や人種などの情報はどのように扱われているのか?
COMPASはこのような情報に基づいて、再犯リスク評価を変えるようなことをしていないか?
というところが、特に重要なポイントである。

検証の結果、COMPASは男女で情報処理を若干変えていることがわかったが、これについては必ずしも不適切な処理であるとは言えないということになった。

一方、人種については、COMPASはマイノリティーに対して厳しい判定をする傾向があり、これは差別的な傾向があるとされた。
また、そもそもCOMPASの再犯予想は当たるのかという問題がある。
これについても、COMPASの判定と実際の再犯率を比較して、「黒人の被告は白人の被告よりも再犯リスクが実態より高いと誤って判定される傾向がある」とされた。

このように、COMPASは人種については不適当な判定をする傾向があるとされた。
しかし、ルーミスの判決については、裁判所はCOMPASの結果を考慮したが、それだけで判決を決めたわけではなく、他の要素を含めて総合的に判断したものであり、判決自体は妥当であるとなった。
そして、COMPASは現在もアメリカの裁判所で使われている。
ただし、「説明はできないが、とにかくAIがそう言うんだからそうなんだ」というのはだめで、ちゃんと裁判官が理由を説明できるようにしなさいということになっている。

このケースはこのような決着になったわけであるが、このような中身がよくわからないブラックボックスのシステムを使うことの危険性が明らかとなり、おそらく今後もそういうシステムを使うことの妥当性や、正しいシステムの使い方、そのシステムが公正であることの検証方法などが議論されることが予想される。

また、このようなシステムは裁判だけでなく銀行のローンの審査などにも使われるようになってきており、このようなシステムを正しく使うためにどうすればいいのか、今後も議論が続いていくと思われる。

Googleの画像処理システムの不適切なタグ付け

画像の内容を認識するシステムについて、コアラの写真をおくると「コアラである」と認識するシステムをすでに紹介した。
そのようなシステムを利用し、Googleは写真データについて文章で写真の説明をつけて画像を検索しやすくするシステムを作成した。

2015年、Googleの画像認識システムが、黒人女性の写真に対して「ゴリラ」とタグ付けした事例が発覚した。
これについて、Googleは直ちに謝罪をした。
決して悪意や差別的意識があったわけではなく、原因は、AIを教育する際に黒人のサンプル写真が少なく、学習が不十分であったためということであった。

このように、意図せずとも差別的なシステムができてしまったという事例があった。
(ちなみに、同じように黒人男性の写真に「霊長類」とタグ付けする間違いをfacebookもやっている。)

教育が不完全なAIが公開されてしまったのが原因だったわけだが、AIの教育が不完全であることはどうやって検証できるのだろうかか?

チャットボットTay(テイ)

チャットボットTayはマイクロソフトが実験的に作ったおしゃべりシステムである。
Tayは話し方が19歳のアメリカ人女性という設定で、Twitterユーザーからやり取りを覚えるようになっていた。
2016年に一般公開され、Tayはインターネットを通していろいろな人と話をして、それを学習しながら、より人間らしい会話ができるように成長するはずであった。
Tayの反響は大きく、Twitterに登場すると5万人ものフォロワーを獲得し、約10万回ツイートした。
しかし、公開からわずか16時間で、Tayは汚い言葉や差別的な発言をするようになってしまった。

マイクロソフトがこの実験的サービスを停止したのはいうまでもない。

同じような現象は、2021年の韓国の イ ルダ でも起きた、

AIは入力されてデータを基に自ら成長をするが、入力するデータが不適切だとひどい成長をしてしまうということである。

ただし、似たようなシステムとして、中国の シャオアイス(小氷公司) や日本の りんな などは無事に稼働しているので、すべてのチャットボットが暴走するというわけではない。
正しく成長させるのはどうすればいいのか、今後も研究をする問題である。

My Friend Cayla(マイ フレンド ケイラ)

My Friend Cayla は音声認識機能を持った人形である。
子供が話しかけると、それに対する答えを返してくるという機能を持つ。
これはネットにも接続されており、Wikipediaなども参考にして、これまでにない複雑な会話ができるというものであった。
教育上、ふさわしくない質問や会話は応答しないというような配慮もされている人形であった。

これの問題は、子供が話しかけた言葉がメーカーに送信され、それがAIの教育に利用され、さらにおしゃべりの精度を上げるようになっているのだが、それが明示されていなかったことである。
これはプライバシーや個人情報保護の観点から、不適切なことである。
そのため、2017年ドイツではCaylaの使用が禁止になった。

ただ、AIの教育には基になる大量のデータが必要である。
このような会話データや、顔写真なども大量に必要になるわけであるが、そういうものを個人情報やプライバシーに触れずにどうやって集めるかということに苦労する。
決して悪用するわけではなく、あくまでAIの教育用だとしても、違法ではないが不適切な方法で個人データを集めることは今後も行われる可能性があり、Cayla人形のような問題は今後も出てくる可能性がある。
上で挙げた、黒人の誤認の原因は黒人の顔写真のサンプル不足ということだが、では、大量の黒人の顔写真のサンプルはどうやって集めるのか?
なかなか難しい問題である。

ちなみに、AmazonのスマートスピーカーAlexaでは、「機能向上のためのAlexaデータ管理」の画面で
音声録音を新機能開発に役立てるために使用する
さまざまなユーザーの発話データによってAlexaをトレーニングすることで、すべてのユーザーに対するAlexaの機能が向上します。この設定を有効にすると、音声履歴が新機能の開発に使われる場合があります。  
という画面で、ユーザーに許可を得ている。

:実例2