しかし、マシンラーニング技術を採択した今日のＡＩは違う。開発者がＡＩに基本的な規則や学習能力を作ってデータを入力すれば、残りはＡＩが自ら体得する。この「自ら体得する部分」は開発者に未知の領域として残っている。開発者がＡＩを騙すことのできない「ブラックボックス」と呼ぶ理由だ。

２０１３年、将棋で日本の最高手を破ったＡＩ「「ポナンザ（Ｐｏｎａｎｚａ）」を作った開発者、山本一成氏はＡＩ開発の難解さをこのように説明した。「例えば、プログラムの中に入れた数値がなぜその数値でなければならないのか、なぜ他の組合でなくこの組合を使った時、さらに性能が良いかどうかを開発者は全く分からない。実験を通じてどのプログラムがより良いかを経験的に分かるだけ」

山本氏はそれぞれ違うバージョンのポナンザ同士に３０００回程度の対局をさせ、この対局統計を分析しより良いポナンザのプログラムを採択する方式でポナンザを改良した。採択されたポナンザはそうでないポナンザより平均２％ポイント程度勝率が高かったという。対局で５２％の勝率を上げたポナンザが生き残り、このポナンザがもう一つのポナンザと対局を行う。最初はアマチュアよりも実力が劣っていたポナンザは、この過程を繰り返しながら人間の最高手も破ることができるほど優秀になった。

山本氏はなぜ一つのポナンザが違うポナンザよりも勝率が高いのかを分かっていない。山本氏が行ったのは、プログラムの構造を変えて対局をさせ、その結果を統計化して分析することであり、ＡＩの性能を高めるにはその過程だけでも十分だったためだ。山本氏は「ＡＩの性能を高めれば高めるほど、その性能が高まる理由が理解できなくなるジレンマが発生する。このジレンマはすでにＡＩ開発の原則のように受け入れられている」とし「ＡＩはすでに開発者の懐から卒業した。今後の人類は（アルファ碁に挫折した）プロ棋士と同一の経験をすることになるだろう」と説明した。

ＡＩの活用領域は流通、金融、医療、軍事などで引き続き拡張される見通しだ。融資を誰にどれくらい貸した方が良いのか、どこに投資をすれば良いのか、誰を採用すれば会社に利益になるのかなどわれわれの人生に影響を及ぼす重要な決定にＡＩはすでに一定の影響を及ぼしている。それでもＡＩが下した決定をどのように受け入れ、それに対する責任は誰がどのように負うのかに関する議論はまだまだだ。

欧州連合（ＥＵ）は昨年成立させた一般データ保護規則（ＧＤＰＲ）にＡＩの決定による被害を減らすための安全装置を挿入した。これによると、人間はＡＩが単独で下した決定の主体にならない権利、ＡＩが下した決定について説明を要求する権利を持つ。この法は２年間の準備期間を経て来年５月からすべてのＥＵ諸国で施行される。

英オックスフォード・インターネット研究所のブライス・グットマン研究員は「ＡＩの複雑な人工神経網の中で学習された情報を果たしてどのように説明するのかに対する議論はマシンラーニング研究者の間でもここへ来て注目をあび始めた」とし「カギはＡＩが単に効率だけでなく、透明性と公正性まで備えることができるかということ」と指摘した。

しかし、われわれがＡＩを透明に理解する道は今後も永遠にないかもしれない。米ワイオミング大学（コンピュータ工学）のジェフ・クルーン助教は科学技術専門紙ＭＩＴテクノロジーレビューに「たとえ、ある人が自分が下した決定の理由をもっともらしく説明したとしても、おそらくその説明は不完全だろう。これはＡＩも同様だ」とし「全て理性的に解明されないのが知能の本性かもしれない。理性で説明できない部分は直観的か、無意識的、もしくはそもそも解釈が不可能なもの」と話した。


作った人もよく分からないＡＩ、人間の理解能力を越えた（１）