📌 この記事の要約

• 日英の正答率差はわずか0.3ポイント
  CyberAgentが公開した日英ベンチマーク「JOR-Bench」を7モデルで検証したところ、日本語と英語の正答率の差は平均0.3ポイント。多くの組み合わせで差は5ポイント以内に収まり、わざわざ英語に直す手間は必要ないとわかった。

• 効くのは英語化よりモデルの規模
  最も難しい組み合わせ最適化では、Qwen3を8Bから32Bにすると正答率が倍以上、Swallowは6倍近くに跳ね上がった。ただし「日本語特化」の看板は解ける問題の範囲までは保証しない。

• 問いの書き方でAIが答えを取り違える
  ほしいのが合計時間なのに「何回使うべきか」と聞くと、AIは律儀に回数だけを返す。金額・個数・時間など、出力してほしいものを問いの中で言い切ることが成果を左右する。

• 平均正答率は自社の問題で確かめる
  正答率がほぼ並んでいても、日本語でだけ解ける問題と英語でだけ解ける問題は入れ替わっていた。公開された平均値を鵜呑みにせず、手元の課題を日英両方で走らせて確かめる必要がある。

　生成AIには、プロンプトを英語で書いたほうが精度が上がる、という定番のテクニックがあります。日本語でそのまま頼むより、いったん英語に直してから聞いたほうがよい答えが返ってくる、という経験則を持っている人も少なくないはずです。とはいえ、日本語を扱うAIの実力はここ数年で大きく伸びました。いまも英語に直す手間をかける意味があるのか、それとも日本語のままで同じように解けるのか、実際のところははっきりしません。

　この疑問が実際の仕事に直結するのが、数理最適化の分野です。シフト表を組む、配送ルートを決める、限られた予算を割り振る。会社の現場にはこうした「一番よい組み合わせを探す」計算があふれていて、これまでは専門家の腕の見せどころでした。

　生成AIが数学やプログラミングで力をつけたいま、この手の最適化もAIに任せられるのではという期待が高まっています。CyberAgentの陣内佑氏が2026年7月18日に公開したベンチマーク「JOR-Bench」は、英語の代表的な最適化ベンチマーク5種を日本語に訳したもので、7つのAIモデルで日英の実力が比較されています。

JOR-Benchの1問の例です。日本語の問題文と期待される正解の数値が組になっています。画像は論文より。

実際の業務に近い英語の問題1319問を日本語に訳した

　JOR-Benchが集めたのは、実際のビジネスに近い最適化の問題です。工場の生産計画や物流、サプライチェーンを扱う産業向けの100問、限られた資源の割り振りを求める線形計画の203問、変数が2〜3個の入門的な245問に加え、教科書由来で曲線的な関係まで含む問題群、工程のスケジューリングや施設の配置、航空機の着陸順序といった難度の高い組み合わせ問題を集めました。線形計画から混合整数計画、非線形、組み合わせ最適化まで幅広くそろえ、合計1319問となりました。

　答え合わせのやり方も実務的です。各データには日本語の問題文と正解の数値がセットになっていて、どのソルバーやプログラミング言語を使ってもかまわない仕組みにしています。翻訳はAIによる下訳に人手の手直しを重ねる形で進め、下訳にはgpt-oss-120bを使いました。最適化の問題には表や数式が入り込むことが多く、文章だけでなくレイアウトを崩さずに訳せるかが効いてくるからです。訳したあとは著者本人が、用語や数値に原文との食い違いがないかを一つずつ確かめています。

　テストの流れは、まずAIに問題を解くPythonのプログラムを書かせ、それを実際に動かして、出てきた答えが正解と一致するかを見ます。コードブロックの書き方の指定に従えなかったり、決められた時間やメモリを超えたりすれば失敗と数えます。評価に使ったのは、Qwen3とSwallowの大小2サイズずつ、日本語で考えるように学習させたCyberAgentのCAT-Thinking、NVIDIAのNemotron、そしてgpt-oss-120bという7つのモデルです。

大小のQwenやSwallow、日本語特化モデル、120BのGPT-OSSまで、7つのAIを日英で試しています。

日本語でも英語でも成績はほとんど変わらなかった

　結果は、7モデル全体でならすと、日本語と英語の正答率の差はわずか0.3ポイントでした。統計的にはゼロと見分けがつかない水準で、モデルとベンチマークの多くの組み合わせで、差は5ポイント以内に収まっています。しっかり多言語で学習したAIなら、最適化の問題を解く力は、英語で頼もうと日本語で頼もうとほとんど変わらないわけです。

　もっとも、平均の裏では、モデルの大きさと言語の組み合わせで面白い違いが出ました。同じ系統で2つのサイズを試したQwen3とSwallowは、規模を変えると日本語の効き方が逆になります。Qwen3は小さい8Bが日本語で平均3.5ポイント伸びて全モデル中で最も改善した一方、大きい32Bは逆に3.3ポイント下がりました。Swallowはその反対で、8Bが1.2ポイント下がり、32Bは3.2ポイント伸びています。「大きいモデルほど日本語に強い」と単純には言い切れないのです。

　とはいえ、モデルを大きくすること自体は確実に効きます。最も難しい組み合わせ最適化のベンチマークでは、Qwen3を8Bから32Bにすると、正答率が英語で10.4％から25.9％へと倍以上に跳ね上がり、Swallowも7.3％から42.0％へと6倍近く伸びました。規模を上げれば、それまで手が出なかった問題に一気に届くようになります。

ほとんどの組み合わせで、日英の差は5ポイント以内に収まりました。

日本語での聞き方しだいでAIが答えを取り違える

　ここに、日本語でAIを使う人が知っておきたい落とし穴があります。日本語で考えるCAT-Thinkingは、ある種の問題で日本語版だけ成績を大きく落としました。ミスの中身を見ると、計算を間違えているのではなく、正しく解けているのに答えの出し方を取り違えているのです。

　分かりやすいのが、油が流出した海からアヒルを岸へ運ぶという問題でした。ボートは1回に10羽を20分で運び、カヌーは8羽を40分で運びます。ボートは12回まで、全体の60％以上はカヌーを使い、合計300羽以上を運ぶという条件です。求めたいのは、運搬にかかる延べ所要時間である1160分でした。ところが日本語の文は「ボートとカヌーをそれぞれ何回使うべきでしょうか」と聞いています。

　AIは計算自体は正しくこなし、「ボート12回、カヌー23回」と答えました。聞かれたとおりに回数を返しただけなのに、正解として用意された合計時間とは別物になります。英語版は同じ問題でも合計時間を答えるよう促す言い回しだったため、この取り違えは日本語ならではのつまずきでした。

　この現象は大きなモデルでも起きます。Qwen3も32Bでは日本語の誤答が倍以上に増え、小さい8Bではこの取り違えが起きていません。賢いモデルほど「何回使うべきか」という文字どおりの問いを真に受けて、回数をそのまま出してしまうようです。しかも取り違えは一部のモデルに限らず、120BのGPT-OSSも同じ種類の問題では英語でも日本語でも答えを外していました。

　ビジネスで使うときの教訓ははっきりしています。ほしいのが合計コストや所要時間なら、「合計金額を数値で答えて」「最終的な所要時間だけを出して」と、出力してほしいものを問いの中で言い切ることです。あいまいに「何個必要か」とだけ聞けば、AIは律儀に個数だけを返してくるかもしれません。

向いているモデルは自社の問題で試さないと分からない

　モデル選びで見落としがちなのが、「日本語特化」という看板は解ける問題の範囲までは保証しない点です。日本語に特化したSwallowでも、32Bは8Bをどのベンチマークでも大きく上回り、あるベンチマークでは正答率が37.5％対10.5％、別のベンチマークでは45.1％対7.2％と開きました。同じ看板を掲げていても、規模が足りなければ手が出ない問題が大量に残ります。日英どちらでも成績が伸び悩んだNVIDIAのNemotronのような例もあり、つまずきの原因が言語ではなく、問題を解ききる力そのものだったというケースは珍しくありません。

　とはいえ、日本語を追加で学ばせること自体が無駄というわけでもありません。SwallowはQwen3をベースに日本語を追加学習させたモデルですが、同じ規模で並べると得意分野がはっきり分かれます。シフト計画のようなオーソドックスな線形計画ではQwen3が安定して強く、難しい組み合わせ最適化ではSwallow-32Bが英語で16.1ポイント、日本語で25.6ポイント上回りました。日本語での追加学習は、成績を全体的に底上げするというより、どの種類の問題で伸びるかを組み替える働きをしています。自社の課題が単純な配分なのか、複雑なスケジューリングなのかで、選ぶべきモデルが変わります。

　選んだあとに残るのが、平均正答率をどこまで当てにできるかという点です。5つのベンチマークのうち最も手ごわい組み合わせ最適化は、平均正答率が英語32.8％、日本語32.0％と、どのモデルにとっても難物でした。この0.8ポイントの差だけを見れば、日本語で頼んでも英語で頼んでも結果は変わらないように読めます。

　ところがSwallow-32Bが正解できた問題を1問ずつ照らし合わせると、様子が違いました。日本語でだけ正解できた問題が約3割、英語でだけ正解できた問題が約2割あり、日英どちらでも正解できたのは2割足らずです。正答率がほぼ並んでいても、解けている問題そのものが入れ替わっていました。自社の課題を任せるなら、公開された平均値をそのまま当てにせず、手元の問題を日本語と英語の両方で走らせて、どちらで通るかを1件ずつ確かめる必要があります。

単純な線形計画ではQwen3が、難しい組み合わせ最適化ではSwallow-32Bが優勢でした。

問いの書き方とモデルの規模を押さえれば日本語でも十分に使える

　まとめると、生成AIに日本語で最適化を任せること自体は、もう現実的な選択肢に入っています。英語と日本語で実力がほとんど変わらないのですから、わざわざ英語に直す手間はいりません。成果を左右する押さえどころは二つあります。

　一つは問いの書き方で、ほしい答えが金額なのか個数なのか時間なのかを、はっきり言葉にして頼むことです。もう一つはモデル選びで、看板や平均値ではなく、扱う問題の種類と難しさに合うかどうかを手元で確かめることです。今回のデータと評価コードは公開されているので、自社に近い問題を持ち込んで試せます。

　なお、この研究はあくまで英語の問題を訳したものなので、日本のビジネス特有の言い回しや慣習までは映していません。実際の業務に取り入れるなら、まず手元の課題で小さく試してから広げるのが、賢い進め方でしょう。