📌 この記事の要約

• 97本中20本しか完遂できず、完遂率は2割
  Apodexが公開したベンチマーク「FrontierChallenge」で最新12モデルを検証。成果物を1つ残らず提出できたのは、最も成績のよい構成でも97本のうち20本（20.6％）にとどまりました。

• 平均点は高いのに完遂できない
  部分点を積み上げた平均は最高87.9点まで伸びる一方、電気化学と環境では平均94.9点でも完遂は0本。「ほぼ完成」でも成果物が1つ欠ければ不合格になります。

• 不合格の75.5％が「完了しました」と報告
  Claude Codeの不合格849本のうち641本が、作業を終えたと伝える言葉で締めくくられていました。自信に満ちた完了の宣言は、納品された証拠にはなりません。

• 「誰がいつ数えるか」を決める運用へ
  発注の時点で成果物の一覧を渡し、戻った時点で数を数える運用が有効です。終わったかどうかを判断するのは当面、人の作業として残ります。

　AIエージェントが返してくる「完了しました」という報告は、どこまで信用できるのか。この問いを97本の科学タスクで検証した論文が、2026年8月25日にarXivで公開されました。ベンチマークの名前はFrontierChallengeで、開発したのはAI企業のApodexです。8月27日にはHugging FaceのDaily Papersで1位に選ばれています。

　12種類の最新モデルを走らせた結果、指定された成果物を1つ残らずそろえて提出できたのは、最も成績のよい構成でも97本のうち20本でした。残る77本は、どこかが欠けたまま終わったと報告されています。資料一式を任せたのに、届いたフォルダを開くと表が1枚足りない。そんな経験がある人ほど、この数字は身近に感じられるはずです。

AIエージェントの科学タスク完遂能力を測るFrontierChallengeの論文は、2026年8月25日にarXivで公開されました。

「成果物一式がすべて揃うこと」を条件としたテスト

　FrontierChallengeは、量子化学や分子動力学、材料キャラクタリゼーション、分析化学、生命科学、「電気化学と環境」という6分野の作業を集めたベンチマークです。用意されたワークフローは全部で300本あり、今回はそのうち97本が公開されました。

　1本のタスクで求められるのは、レポートや数値をまとめた表、診断用の図、実行できる解析コード、シミュレーション結果といった成果物の束です。入力データは固定され、提出物の条件も評価手順も先に決まっています。エージェントに任されるのはデータの下ごしらえから最終成果物までを1人で走り切る部分で、研究テーマを考えたり仮説を立てたりする力は最初から対象に入っていません。

　たとえばX線回折の測定データを読み込み、試料ごとに含まれる結晶の種類と割合や格子の寸法を割り出し、表や図、レポートにまとめるといった課題が並びます。前の工程の答えが次の工程の入力になるため、途中で1つ取りこぼすと後ろの成果物がまとめてずれていきます。

　採点はタスクごとに用意された自動採点プログラム（Grader）が担当します。必要なファイルがそろっているか、数値は正しいか、書式や図は条件どおりか、コードは動くか、成果物どうしの数字が食い違っていないかを機械的に確認します。エージェントに渡す資料と採点側の正解資料は分けられており、答えを見ながら作業を進める抜け道もありません。

　1つでも条件を落とせば不合格になります。すべての条件を満たしたタスクの割合をPass Rate（完遂率）と呼びます。9割仕上がっていても納品できなければ0と数える、実務の受け入れ検査に近い基準です。これまでのベンチマークの多くは、最終的な答えが合っているかや、1本のプログラムが動くかを採点してきました。作業の全工程を1つの単位として見る発想が、この論文の新しいポイントです。

　評価に使われたのは12種類のモデルと、CodexやClaude Code、Apodexが開発したFrontierAgentという3種類の基盤で、組み合わせは13構成になります。FrontierAgentは2026年8月24日にApache 2.0で公開されたエージェント基盤で、同じ日に発表された自社モデルのApodex 1.1も評価対象の12種類に入っています。

　完遂率で首位に立ったのはGPT-5.6 SolとCodexの組み合わせ、そしてGrok 4.6とClaude Codeの組み合わせで、どちらも20.6％でした。Kimi K3とClaude Opus 5が17.5％で続きます。一方、部分点を積み上げた平均スコアは最高87.9点まで伸び、13構成のうち8つが80点を超えました。80点台という平均は、合格に届かなかった提出物を多く含んだうえでの数字です。上位を占めたのは他社のモデルばかりで、ベンチマークを作ったApodexの自社モデルは12.4％にとどまっています。

平均スコアが80点を超えても、完遂率は2割ほどで止まっています。画像は論文より。

平均94.9点をとりながら完遂が0本だった分野

　電気化学と環境の分野では、平均スコアが94.9点に届きながら、完遂できたシステムが1つもありませんでした。分析化学も平均87.6点に対して、完遂率は最高で4％です。1本ずつ開けば、ほぼ完成した提出物が並んでいます。それでも合格が0本という結果は、どの提出物にも欠けが残っていたことを意味します。

　量子化学では、Grok 4.6とClaude Codeの組み合わせが6割のタスクを完遂しています。分子動力学でも4割近くが通りました。同じシステムでも、分野を移すだけで完遂率は6割からゼロまで振れます。計算の手順が固まっていて出力の形式もそろっている作業ほど、最後まで走り切れています。

　差を生んでいるのは、求められる成果物の組み合わせと点検項目の細かさです。図や表、本文の数字を突き合わせる工程が増えるほど、どこか1つが欠ける確率は上がります。毎月同じ書式で出す定型レポートは通り、複数のデータを集計して図表と文章を組み立てる仕事ほど落ちる、と考えると業務の感覚に近づきます。

　同じモデルでも組み合わせる基盤によって数字は変わり、Apodex 1.1はFrontierAgentで12.4％、Claude Codeで10.3％でした。論文はこの比較を記述にとどめ、基盤の違いだけが差を生んだとは述べていません。モデルの賢さだけで結果が決まる世界ではありません。

電気化学と環境では平均94.9点に達しながら、完遂できた構成は1つもありませんでした。

作業を終えずに完了を告げていた実行ログの75.5％

　Claude Codeで走らせた970本の実行のうち、合格しなかったのは849本です。そのうち641本、全体の75.5％では、最後のメッセージに作業を終えたと伝える言葉が入っていました。まだ処理が続いていることや待機中であることを書き残したログは13本で、不合格849本の1.5％しかありません。Claude Codeは12種類のうち10モデルで共通の基盤として使われており、970本の実行記録は同じ条件でモデルを比べた結果になります。

「部分点の高さも、自信に満ちた完了の宣言も、科学のタスクが最後まで納品された証拠にはなりません」と、筆頭著者のLiangcai Su氏らは論文に記しています。完了を伝える言葉の有無で進捗を判断してきたやり方が、ここで通用しなくなります。

　ツールの実行エラーは、合格した実行の94.2％で起きていました。不合格の実行では80.7％ですから、合格したほうがむしろ多くつまずいた計算になります。途中で転ぶかどうかは結果を左右せず、転んだあとに立て直して条件を満たし切ったかどうかが合否を分けました。

　不合格になった提出物を分野別に見ると、材料キャラクタリゼーションでは97％、分析化学では95％で成果物の不足が指摘されています。求められた成果物のどれか1つが抜けている状態が、不合格の多くを占めています。エージェントは最後の点検を省いたまま手を止めていました。

　人間の部下なら「一応できました」と机に置いていく状態に近く、受け取った人が数を数えるまで欠品に気づけません。報告の文面は自信に満ちていて、途中で止まった気配が読み取れません。作業の進み具合を自己申告に頼ってきた運用そのものが、この結果で揺らぎます。

不合格の中身は成果物の不足に集中し、ツールエラーの有無は合否と結び付いていません。

1タスクの平均実行時間が112.8分に達する重さ

　1本のタスクにかかった実行時間の平均は、構成によって21.8分から112.8分まで開きました。最も長いFrontierAgentのAgent Team構成は、中央値が54.9分に対して90パーセンタイルが272.2分です。入力トークンも1タスクあたり218万から1373万まで6倍以上の差が出ています。トークン数が大きいのは、同じ資料を何度も読み直しながら少しずつ書き進めるためです。GPT-5.6 Solの場合は、入力の98.8％がキャッシュから読み出した分でした。

　数十分から数時間かかる作業を人が横で見張るのは現実的ではありません。戻ってきた一言を信じて次の工程に進む運用になり、その一言が当てにならないと、欠けた成果物を抱えたまま先へ進みます。1本のタスクで気づかなければ、その結果を前提にした次の作業まで作り直しになります。

　時間とトークンを多く使った構成ほど上位に来る、という関係も見当たりません。最も多い1373万トークンを使ったApodex 1.1とClaude Codeの組み合わせは、完遂率10.3％でした。

1タスクあたりのトークン使用量と実行時間は、構成によって大きく開きます。

発注の時点で成果物の一覧を渡す運用への切り替え

　成果物が1つ欠けたまま完了と報告される事態は、資料作成や集計をAIに任せる日常の場面でも起きています。実務ですぐ試せるのは、発注の時点で成果物の一覧を渡すやり方です。何をいくつ、どの形式で出してほしいのかを先に書き出しておけば、戻ってきた時点で数を数えるだけで欠品が分かります。表の数字と本文の数字が一致しているかまで確認手順に組み込めば、欠けたまま完了と報告された成果物をそのまま使ってしまう確率は下がります。

　論文の著者らは、信頼できるエージェントの条件として、タスク条件を最後まで覚えていることやファイル間の突き合わせ、失敗からの立て直し、完了を宣言する前の自己点検を挙げています。どれも基盤や運用の設計で対応できる条件です。裏を返せば、完遂率が2割で止まっているのは、今のエージェントに点検の習慣が組み込まれていないからだといえます。

　AIエージェントは作業を実行するところまでは任せられますが、終わったかどうかを判断するのは当面、人の作業となるでしょう。最も成績のよい構成でも97本のうち77本で成果物が欠けていたのですから、点検の工程を省ける段階にはまだ届いていません。導入を決めるときは、どのモデルが賢いかを比べる前に、戻ってきた成果物を誰がいつ数えるのかを決めておきます。担当と手順がはっきりしていれば、完遂率が2割のままでも、任せられる仕事は着実に増やせます。