韓国企業が開発した人工知能（AI）モデルに大学修学能力試験の問題などを解かせた結果、海外のAIに比べ点数が大きく低かったことがわかった。韓国のAI業界はモデルの用途差にともなう結果という立場だ。

西江（ソガン）大学数学科のキム・ジョンラク教授の研究チームは15日、国家代表AI挑戦5モデルの性能評価結果を公開した。評価対象は科学技術情報通信部の独自AIファンデーションモデルプロジェクトに参加しているネイバー、NCAI、LGAI研究院、SKT、アップステージの5社のAIモデルと、オープンAI、グーグル、ディープシークなど海外AI企業の最新モデル5種類だ。研究チームは大学修学能力試験の数学の4分野（共通科目、確率と統計、微積分、幾何）で最も難度が高い問題5問ずつ20問、韓国の論述とインドの大学入試問題を10問ずつ、東京大学大学院工学系研究科の入試問題10問の合計50問を選別してAIに解かせた。

評価の結果、5つの海外AIモデルはいずれも70％以上の正解率を記録した。グーグルの最新モデル「ジェミニ3プロ」は50問のうち46問を当て92％の正解率を見せた。アンソロピックのクロードが84％、xAIのグロックが82％の正解率で続いた。これに対し韓国のAI企業のモデルはこれらと比較して正解率が明確に低かった。アップステージの「ソーラープロ2」の58％を除くとほとんどが20％台の正解率にとどまった。研究チームが数学オリンピック、大学数学概念を再構成して独自に開発したデータセット「エントロピーセット」の問題でも海外AIモデルは80点を超えたのに対し、韓国のAIモデルは7．1～53．3点を記録した。キム教授チームは「韓国モデルの水準が海外のフロンティアモデルに比べて遅れていることがわかった」と評価した。

業界では評価された韓国のAI開発会社が業務用AI開発に力を注いだだけに、数学の問題解答点数は低くならざるをえないという立場だ。ある応用AIスタートアップの最高技術責任者（CTO）は「韓国のAI開発会社の目的はAIエージェントのような産業用AIを開発すること。（大学修学能力試験の数学で評価すると）韓国のLLMの成績は低く出るほかない」と話した。評価に含まれた一部モデルが事前学習方式（学習されたデータをベースに正解の確率が高い答を出す方式）のAIである点も限界だ。段階別に検証を経る推論方式の海外モデルと違い事前学習方式AIは数学やコーディングなど論理的問題解答に弱い。

こうした評価結果をめぐり世界10位圏に入る独自AIファンデーションモデルを開発しようとする韓国政府の目標を達成するためにはより精巧な戦略が必要だという意見が出ている。裵慶勳（ぺ・ギョンフン）副首相兼科学技術情報通信部長官は15日の記者懇談会で関連質問が出ると「独自AIファンデーションモデルを開発する企業はこれまで事業的目的に合うようAIモデルを作っており、科学と数学などに特化した推論型AIモデル開発に向けたデータ学習が不足しているのは事実。例えば化学分野の分子構造式をAIが認識できる形態でデータを変換するなど分野別の特化データを作って学習させるならば世界トップ10に相当する競争力を持つことができる」と話した。

数学などすべての学問をこなすAI開発は現実的に難しいだけに、サービスに直接使える軽量化されたAI開発に集中しなければならないという趣旨だ。ネイバー関係者は「大きなモデルはそれだけ答を出すのに時間が長くかかったり費用が多くかかったりする問題が生じるのでサービスに適用することを目標にモデルを作っている。同一規模のモデルに比べ性能がよく出るように技術をまず確保しようとしている」とした。