📌 この記事の要約

• 39モデルを同じ15課題で横並び比較 OpenRouterのImage Benchmarksは、スコアや順位を付けず、生成結果を人間の目で判断するベンチマークです。

• 安さや速さだけでは性能を決められない 最安の2モデルだけがワイングラスの難問に合格するなど、価格と指示への忠実さは単純には比例しません。

• 7分類でモデルの得意・不得意が見える ありえない光景、数、文字、空間関係、否定、編集、一貫性の課題から、用途に近い能力を確認できます。

• 総合順位ではなく自分の用途で選ぶ 文字生成、商品写真、編集など、仕事に近い課題を料金・生成時間で並べ替えて選ぶのが実用的です。

複数社のAIモデルを1つのAPIでまとめて呼び出せるサービスを運営する米『OpenRouter』は2026年8月21日、画像生成AIの実力を一覧で見比べられる『Image Benchmarks』を公開しました。同社が扱う39の画像生成モデルに同じ15の課題を与え、出力された画像を料金や生成時間の情報付きで格子状に並べたのです。スコアも順位も付けず、どのモデルが優れているかは見る人が自分の目で判定するようにしているのがユニークです。

同じ課題に対する39モデルの生成結果が、料金や生成時間付きで一覧表示されます。

スコアを付けずに人間の目で判定させる新発想のベンチマーク

文章を生成するLLMには学力テストのようなベンチマークが無数にあり、モデル選びの物差しとして定着しています。画像生成AIはそうした共通の物差しを欠いたまま、各社が選び抜いた見栄えのする作例を眺めて選ぶしかない状態が続いてきました。

OpenRouterは公開の理由として、AIに画像を審査させる方式では人間が一瞬で気づく細部を捉えきれないこと、利用者の投票で順位を付けるアリーナ方式では「どちらが好まれたか」は分かっても「何ができるか」までは分からないことを挙げています。

用意された難問は「ありえない光景」や「数」、「文字」、「空間関係」、「否定」、「編集」、「一貫性」の7分類で合計15種類あり、いずれも正解かどうかがひと目で分かるように書かれています。生成結果は課題ごとに39モデルぶんがサムネイルで一覧表示され、1枚あたりの料金や生成にかかった秒数で並べ替えられます。

安い順に眺めて十分な品質のモデルを探す、速い順に眺めて大量生成向きのモデルを探すといった見方ができ、気になる画像を選べばモデルの詳細ページからそのままAPIで自分のプロンプトを試せます。25万を超えるアプリが利用する同社のプラットフォームで、モデル選びの入り口を担うページになりそうです。

指の本数を数える、文字列を見比べる、縞があるかないかを確かめるといった審査に使う道具は、人間の目だけです。数値の羅列に頼らず結果そのものを見せて判断を委ねる割り切りは、画像という媒体の特性をうまく生かしています。中でも最初に表示されるワイングラスの課題は、画像生成AIの積年の弱点を突く名物問題です。

課題は7つの分類に整理され、モデルの得意と苦手を切り分けられるように設計されています。

最安モデル2つだけが合格した「なみなみのワイングラス」の難問

「白ワインが縁と同じ高さまで注がれたグラスが、無地の木のテーブルに直立している。正面から目の高さで撮り、ほかの物は写さない」

最初に表示される課題は、こんな指示文です。確認するのは2点だけで、どこまで注がれているかと、ワインの色が白かどうかです。縁までなみなみのワイングラスは以前から画像生成AIの代表的な弱点として知られ、SNSでもたびたび話題になってきました。世の中の写真でワインはグラスの3分の1から半分ほどしか注がれておらず、縁まで満たされたグラスが学習データにほぼ存在しないためです。画像生成AIは大量の写真から学んだ「ふつう」を統計的に再現する仕組みなので、指示文がどうあれ、見慣れた水位で注ぐ手を止めてしまいます。

公開された結果を見ると、39モデルのうち縁まで満たされたグラスを描けたのは『OpenAI』の『GPT Image 2』と『GPT-5.4 Image 2』の2つだけでした。残りの37モデルが出力したのは、縁まで届いていないグラスです。しかも合格した2モデルの料金は、この課題で最も安い1枚0.006ドルです。1枚0.25ドルの高額モデルも不合格だったので、価格の高さは指示への忠実さを保証しないと分かります。

同じ「ありえない光景」の分類には「閉じた傘」もあります。豪雨の中で約12人が閉じたままの傘を手にしている場面を描かせる課題で、土砂降りの写真に写る傘はまず開いているという学習データの偏りを突いています。ありえない場面を指示どおりに描けるかどうかは、モデルが統計の重力に逆らえるかを測る試金石です。弱点を突く仕掛けは、ほかの分類にもずらりと並んでいます。

縁まで注がれたグラスを描けたのは、1枚0.006ドルと最も安いOpenAIの2モデルだけでした。

3本指の手や縞のないシマウマで次々あらわになる苦手分野

「数」の分類では「3本指の手」と「カードとサイコロ」が出題されます。手はAIイラストを見破る手がかりとして真っ先に観察されてきた部位で、5本の指のうちちょうど3本だけを立てて残りの2本を折り曲げるという指定を守れるかが試されます。カードとサイコロも枚数や個数が細かく指定されており、生成された画像を数えるだけで採点できます。

「文字」の分類は2課題です。1つはレンガ壁に貼られた白いA4ポスターに、セール名や割引率、開催日、営業時間まで含む68文字の英文を一字一句たがえず描く課題です。もう1つは国際空港の行き先案内で、黒い矢印付きの白い看板に、同じ意味を表す英語のDEPARTURESや日本語の「出発」、韓国語、アラビア語の単語を上から4段に正しく積めるかを試します。日本語の漢字が含まれるため、日本の読者にとっては文字の崩れを自分の目で確かめやすい課題です。

英語と日本語、韓国語、アラビア語を1枚の看板に正しく並べられるかを試す課題です。

「空間関係」では手前の物が奥の物を隠す遮蔽と、鏡への映り込みが出題されます。鏡の中の像の向きや角度は昔から破綻しやすく、じっくり見ると左右のつじつまが合わない生成画像が少なくありません。

「否定」の分類の出題は「縞が1本もない灰色一色のシマウマ」と「広告が1枚もないタイムズスクエア」で、どちらもプロンプトに書かれた単語ほど画像に描き込んでしまうAIの性質を逆手に取っています。縞のないシマウマを頼むには「縞」という単語を書かざるを得ず、その単語につられて縞模様を描けば不合格です。否定の指示をどう扱うかで、モデルの言語理解の深さに差が出ます。残る2分類で試されるのは、既存の画像を思いどおりに扱う編集の腕前です。

意地悪な課題にもAIが対応しようとしているのがうかがえます。

実務に直結する編集課題と約70倍に開く料金のばらつき

「編集」の分類には実務に近い3課題が並びます。参照画像を渡したうえで指定箇所だけを最小限に描き替える課題や、並んだカップのうち左から2番目だけを取り除く課題、写真から特定の人物だけを消す課題です。集合写真の整理や商品写真の修正といった日常業務そのままの内容で、頼んでいない場所まで勝手に変わっていないかは元画像と見比べればすぐに分かります。

「一貫性」の2課題では、参照画像のマグカップを形や絵柄を変えずにカフェのテーブルへ置き直せるか、4つの参照被写体を1枚の新しいシーンへ破綻なく合成できるかが試されます。EC向けの商品画像や広告素材の制作で需要の大きい能力です。

シマウマの課題では、最も安いGPT Image 2が1枚0.006ドル、最も高い『Riverflow V2.5 Pro』が0.412ドルと、約70倍の料金差が付いています。生成時間のばらつきも大きく、ワイングラスの課題では『Google』の『Nano Banana 2 Lite（Gemini 3.1 Flash Lite Image）』が2.7秒で描き終えた一方、『Sourceful』の『Riverflow V2 Pro』は208.2秒をかけました。安いモデルが劣るとは限らない事実は、0.006ドルのGPT Image 2がワイングラス問題の数少ない合格者だったことからも明らかです。

GPT Image 2の料金はワイングラスとシマウマが0.006ドル、ポスターの文字課題が0.013ドル、4言語の看板が0.024ドルと、描く文字が増えるほど高くなっています。出力の情報量に応じて課金する体系のモデルがあるためで、料金表の単価だけでは実際のコストを読み切れません。並んでいる提供元はOpenAIやGoogle、『Black Forest Labs』、『ByteDance』、『Alibaba』、『Microsoft』、『Recraft』、『Krea』、Sourceful、『SpaceXAI（旧xAI）』の10社で、有名モデルも日本では知名度の低い新興モデルも同じ条件で見比べられます。

「編集」の分類では、参照写真の左から2番目のカップだけを取り除き、残る4つや棚は変えないよう指示されます。

自分の仕事に近い課題から開くのがこのベンチマークの正しい使い方

Image Benchmarksには総合点も順位表もないため、1位から順に候補を絞る使い方はできません。チラシやバナーを作る人は文字の課題を、EC写真の差し替えに使う人は編集や一貫性の課題を開き、料金や生成時間で並べ替えながら自分の目で決める使い方が、この道具には合っています。順位がない代わりに、自分の用途との相性という一番知りたい答えを見つけやすいのが特徴です。

OpenRouterは結果を並べて見せるこのベンチマークを動画や音声のモデルにも広げる計画を明らかにしており、ページ上部の切り替えタブにはすでにVideoの項目が「Soon」の表示付きで待機しています。難問のアイデアは利用者からも募集中で、各モデルが課題を解けるようになれば、より意地悪な課題へ更新されていくとみられます。

ベンチマークの数字を信じて導入したのに現場で使い物にならなかったという経験がある人ほど、結果を丸ごと見せるこの方式は役立つはずです。モデル選びで最後に頼りになるのは、自分の用途で試した結果です。15の課題それぞれに並ぶ39枚の画像は、その当たり前を思い出させてくれます。

39モデル・15課題の比較方法と、実務での選び方をまとめた解説画像です。