Ｃｈａｔ（チャット）ＧＰＴが英語や西欧圏の言語だけしか理解できないと誤解している事例をたびたび目にする。韓国語で入力すれば英語で翻訳・処理し、その結果を再び韓国語に翻訳して見せてくれるというものだ。

だが、実際にはそうではない。ＣｈａｔＧＰＴのような大規模な言語処理人工知能は全世界の数多くの言語を駆使する。インターネットの膨大な資料を学習したおかげだ。どこの国の言葉でもインターネットに資料があれば人工知能はこれを学んで駆使することができる。インターネットには国境がないのと同じように、人工知能にも国境がない。

だが、米国で開発されたＣｈａｔＧＰＴは英語を中心に構築されている。それで韓国語駆使能力は英語に比べると劣る。先日発表されたＧＰＴ－４の言語理解評価点は英語が最も高く、韓国語は相対的に低いほうに属した。韓国語の点数は日本語よりはやや低く、アイスランド語と似た水準だった。さらにアフリカで広く使用されているスワヒリ語よりも低かった。これはＧＰＴ－４を学習させるのに使われた韓国語資料が他国程豊富ではなかった可能性があり、韓国語がもつ固有の特徴を十分に反映できなかった可能性もある。

だから韓国語を上手に処理できる人工知能は我々の手で作る必要がある。幸い、多くの国内企業がここ数年間、韓国語処理のための超巨大人工知能を開発してきた。ＣｈａｔＧＰＴが社会的に注目される以前から先を争って開発を始めたため、今後さらに発展していくものと期待される。遠からず「メイド・イン・コリア」人工知能の韓国語性能はＧＰＴ－４を追い抜くこともできる。

しかし人工知能の韓国語駆使能力が英語と同じくらい優秀になるのは簡単なことではない。英語と韓国語の性能格差を縮めるためにはどうするべきか。言語処理人工知能を生涯研究してきた同僚教授に尋ねた。その教授は韓国語ベンチマークの必要性を強調した。人工知能の性能と安全性を評価する基準を適切に用意しなければならないということだ。

自動車を評価する時、加速時間・燃費・制動距離のような性能指標と安全試験点数を活用するのと同じことだ。良い自動車を作るには良い性能試験場を作らなければならないように、人工知能をテストするベンチマークデータを構築し、試験方法を綿密に用意する必要がある。それでこそ開発者が人工知能の性能を改善することができる。言語処理人工知能を総合的に評価するのに昨年スタンフォード大学が発表したＨＥＬＭベンチマークが注目されている。現在、合計４２種類の活用シナリオに対して５７の指標を活用しながら人工知能に点数を付けている。人工知能が人間の指示をどれくらい正確に処理するのか、どれくらい速く処理するのかなど、幅広く性能をテストする。

さらに人工知能の安全性も含めて考慮する。利用者の悪意の攻撃に対してどれくらいロバスト性を維持するのか、虚偽情報を簡単に生成しないかどうか、人工知能の返事に固定観念や偏りが反映されていないかどうか、有害な表現をどれくらいうまく取り除くことができるのか、電力消耗がどれくらいで、二酸化炭素をどれくらい排出するのかも総合的に評価する。

韓国語人工知能についてはこのようなベンチマークが非常に不足しているのが実情だ。人工知能が韓国の歴史や文化を理解して韓国社会の脈絡で適切な返事を生成して出すかどうかを評価する方法が必要だ。話の前後の脈絡をしっかりと把握してこそその意味を正確に知ることができる韓国語疎通の特徴を理解して反応しなくてはならない。オンライン上に流布している誤った情報や観念を反映した結果を生成していないか、社会的に論争になる主題を回避しないで利用者に役立つ回答を提供できるのかも評価しなくてはならない。

ベンチマーク開発過程で公信力のある機関が標準になる基準を制定することも必要だが、多様な主体がベンチマークを開発するように支援することも重要だ。言語処理人工知能は幅広い領域で活用される可能性があり、その活用領域に合ったベンチマークが必要なためだ。例えば科学論文の専門用語を理解して脈絡に合うように翻訳する作業は会社で業務会議内容を要約することとは全く違う。

そのため幅広い業務で韓国語人工知能が光を放てるように「オーダーメード型」ベンチマークがしっかりと用意されていなければならない。このようなベンチマークを基に「メイド・イン・コリア」人工知能の韓国語の実力がＧＰＴ－４の英語能力を超えて世界最高水準に到達するようになる日を期待してみたい。

キム・ビョンピル／ＫＡＩＳＴ（韓国科学技術院）技術経営学部教授