My Friend Cayla は音声認識機能を持った人形である。
子供が話しかけると、それに対する答えを返してくるという機能を持つ。
これはネットにも接続されており、Wikipediaなども参考にして、これまでにない複雑な会話ができるというものであった。
教育上、ふさわしくない質問や会話は応答しないというような配慮もされている人形であった。
これの問題は、子供が話しかけた言葉がメーカーに送信され、それがAIの教育に利用され、さらにおしゃべりの精度を上げるようになっているのだが、それが明示されていなかったことである。
これはプライバシーや個人情報保護の観点から、不適切なことである。
そのため、2017年ドイツではCaylaの使用が禁止になった。
ただ、AIの教育には基になる大量のデータが必要である。
このような会話データや、顔写真なども大量に必要になるわけであるが、そういうものを個人情報やプライバシーに触れずにどうやって集めるかということに苦労する。
決して悪用するわけではなく、あくまでAIの教育用だとしても、違法ではないが不適切な方法で個人データを集めることは今後も行われる可能性があり、Cayla人形のような問題は今後も出てくる可能性がある。
上で挙げた、黒人の誤認の原因は黒人の顔写真のサンプル不足ということだが、では、大量の黒人の顔写真のサンプルはどうやって集めるのか?
なかなか難しい問題である。
ちなみに、AmazonのスマートスピーカーAlexaでは、「機能向上のためのAlexaデータ管理」の画面で
音声録音を新機能開発に役立てるために使用する
さまざまなユーザーの発話データによってAlexaをトレーニングすることで、すべてのユーザーに対するAlexaの機能が向上します。この設定を有効にすると、音声履歴が新機能の開発に使われる場合があります。 
|
という画面で、ユーザーに許可を得ている。
:実例2