📌 この記事の要約

• 生成途中に具体的な手本を与える新手法 DiffusionOPSDは、途中の完成予想図から正の手本と反面教師を作り、モデルの判断を直接調整します。

• 20設定のうち19設定で最終スコア首位 SD3.5-MとZ-Image-Turboを使った検証で、報酬をそろえた20設定のうち19設定で最終スコアの首位に立ちました。

• GPU時間を最大63％削減 DiffusionNFTとの比較で、100回の更新に必要なGPU時間をSD3.5-Mで40％、Z-Image-Turboで63％削減しました。

• 良い手本と学習後の改善は別問題 採点役が示す良い方向へ手本を動かしても、1回の学習でモデルがその通りに変化するとは限らないことも示されています。

広告やECの商品画像、ゲームの素材などに画像生成AIを使うなら、単にきれいな絵が出ればいいわけではありません。ブランドの世界観やキャラクターの絵柄、社内で決めたデザインルールに沿った画像を安定して生成する必要があります。そこで使われるのが、生成された画像に別のAIが点数を付け、その点数が上がる方向へモデルを更新していく手法です。

ただし拡散モデルは、砂嵐のようなノイズから何十回もの工程を経て絵を浮かび上がらせます。点数が付くのは最後の1枚だけなので、途中のどの工程を直せばいいのかまでは分かりません。

2026年8月25日、この課題に取り組んだ論文『On-Policy Self-Distillation in Diffusion Models（拡散モデルにおけるオンポリシー自己蒸留）』が公開されました。『ByteDance Seed』やシンガポール国立大学などに所属する17名による共同研究です。

DiffusionOPSDで調整したモデルが、学習に使っていないお題から描いた絵です。

完成品にしか点が付かないと途中の工程を直せない

拡散モデルの生成は、彫刻に近い進み方をします。最初はまったく意味をなさないノイズの塊で、そこからモデルが少しずつ輪郭や色を削り出していきます。1枚の画像ができるまでに数十回、速いモデルでも10回前後の工程を踏みます。この工程の多さが、そのまま調整の難しさになります。画像生成の途中の状態は、人には意味を読み取りにくいノイズ混じりの絵です。そのため、完成画像に付いた点数を途中のどの判断の修正につなげればよいのかが分かりません。

学習に使う報酬モデルは、生成画像を目的に応じて採点するAIです。ところが採点役が見られるのは、全工程が終わった後の完成画像だけになります。「この絵は72点」と言われても、20工程目の判断が悪かったのか、35工程目でずれたのかは教えてもらえません。料理に置き換えると、出てきた皿を食べて「いまひとつ」と言われるだけで、火加減が強すぎたのか塩を入れる順番が悪かったのかは分からない状態に近いですね。

既存の手法は、この採点結果を工程へ配り直すやり方がそれぞれ違います。『FlowGRPO』は同じお題で何枚も作り、点数の高かった作り方を統計的に持ち上げます。作る枚数や確率の推定精度に結果が振り回されやすいのが弱点です。『ReFL』は終盤の工程から1つを選び、そこから採点役までを1本の計算でつないで、点数が上がる向きへ直接押し戻します。狙いは鋭いものの、採点役の重い計算をモデルの更新とひとつなぎで抱え込むことになります。『DiffusionNFT』は、生成した完成画像を報酬に応じて重み付けし、それを手本として学習します。速い代わりに、手本が完成品である以上、いま出ている途中の判断をどう直すべきかまでは書いてありません。

採点結果を生成工程のどこへ配り直すかで、手法が4つに分かれます。

自分の予測を少しだけ良くしたものを手本にする

DiffusionOPSDの出発点は、途中の工程からでも完成予想図を取り出せるという性質です。拡散モデルは各工程で、いまの状態をどちらへ動かすかという向きを予測しています。その向きと残っているノイズの量を組み合わせると、このまま進めばこういう絵になるはず、という1枚が計算だけで出てきます。ここまで来れば、途中の工程でも採点役に見せて点数を付けてもらえます。

採点役は微分できる形で作られているので、点数に加えて、完成予想図をどちらへずらせば点が上がるかという向きも教えてくれます。DiffusionOPSDは、その向きへほんの少し動かした絵を正解の手本にします。反対向きに動かした絵のほうは、近づいてはいけない反面教師として使います。動かす幅には上限が設けてあり、標準では元の予想図の10％以内に収めます。採点役をだます方向へ暴走させないための歯止めですね。

正の手本と反面教師のどちらを強く効かせるかは、同じお題で作った画像群の中で、その画像の評価が相対的に高いか低いかで決まります。評価が高い画像では正の手本へ近づく力を強くし、評価が低い画像では反面教師から離れる力を強くします。

2つの手本ができたら、そこから先は採点役を切り離します。手本は固定された答案として扱い、学習側のモデルには正解の手本へ近づき反面教師から離れるという指示だけを与えて更新します。更新は原則1回だけです。終わったら基準になるモデルも新しいモデルを反映するよう更新し、また絵を作り直して、新しい手本を組み直すのです。

外から先生役のモデルを連れてこず、自分の予測を採点役の力で少し良くしたものを手本にするので、研究チームはこれを自己蒸留と呼んでいます。学習が軽くなる理由も同じところから来ています。手本を作り終えた時点で、採点役やデコーダーの重い計算をすべて捨ててしまえるからです。

完成予想図の周りに正の手本と反面教師を作り、正の手本へ近づけながら反面教師から遠ざけます。

学習コストを4割減らしながら品質でも上回る

検証には、汎用的な『SD3.5-M』と、9工程で絵を仕上げる高速モデルの『Z-Image-Turbo』が使われました。学習用のお題に『Pick-a-Pic』、評価用に『DrawBench』のお題を使い、公開されている評価器7種類と社内の選好モデル3種類、合わせて10種類で採点しています。報酬をそろえた20の設定のうち19で、DiffusionOPSDが最終スコアの首位に立ちました。

差がはっきり出たのは、9工程の高速モデルのほうです。10項目すべてで首位を取り、項目によっては次点の手法を1割から3割上回りました。反対に、完成画像を手本にするDiffusionNFTは、10項目のうち8項目で調整前のモデルよりスコアを落としています。工程を圧縮した高速モデルは元のモデルと違う進み方をするので、完成品だけを手本に渡す方式と噛み合わなかったと見られます。少ないステップで動く軽量モデルを社内で調整するなら、手法選びで結果が大きく変わりうると読める部分です。

学習コストも下がりました。100回更新するのに必要なGPU時間は、SD3.5-Mで28.2時間、Z-Image-Turboで149.8時間です。DiffusionNFTと比べると、それぞれ40％と63％の削減になります。ReFLは高速モデルでは102.1時間とさらに安く上がりますが、10項目すべてで最終品質が届きませんでした。

人の目による評価も行われています。100のお題で2枚ずつ見比べてもらったところ、DiffusionOPSDが選ばれた割合は、DiffusionNFT相手で90％、調整前のモデル相手で64％でした。最も強い競合であるReFL相手でも、DiffusionOPSDが選ばれた割合は61％でした。

報酬をそろえた20の設定のうち19で、DiffusionOPSDが首位に立ちました。

良い手本が良い上達につながるとは限らない

この論文で考えさせられるのは、性能表よりも副産物のほうかもしれません。手本を作る段階と、それをモデルに覚え込ませる段階を分けて測れるようにしたところ、思わぬ食い違いが見つかりました。

手本を変える量を同じにして比べても結果は変わりませんでした。重要だったのは、どれだけ変えるかではなく、採点役が示す「良くなる方向」へ変えることだったのです。

ところが、その良い手本を1回覚え込ませた後の伸びを測ると、順序が入れ替わるのです。『HPSv2.1』という採点役では、手本の時点では明らかに劣っていた、でたらめな向きの手本のほうが更新後の点数で上回るケースが62.3％に達しました。『CLIPScore』という別の採点役で同じ実験をすると、逆転は29.5％まで下がります。同じ手法でも、採点役を替えるだけで学習の効き方が変わってしまうわけです。

研究チームは、この逆転がなぜ起きるのかも調べました。実験ではモデルの更新を1回だけに限定し、さらにプロンプトごとにモデルを元の状態へ戻して、ほかの学習の影響が混ざらないようにしています。それでも、良い手本より、でたらめな向きの手本で学習したほうが高得点になるケースが62.3％ありました。つまり、採点役が「こちらへ直せば良くなる」と示した手本を作れても、モデルが1回の学習でその通りに変化するとは限らないのです。

別の検証では、手本を作る向きを変えたときにスコアが大きく崩れた一方、途中の状態をどこから拾うかといった違いの影響は小さくなりました。手本そのものの質と、その手本をモデルがどこまで実際の出力へ反映できるかは、分けて評価する必要があります。

手本の時点で良かったほうが、覚え込ませた後も良いとは限りませんでした。

採点役によって学習の効き方も変わる

研究チームは学習コードと3種類のLoRAチェックポイントを公開しているので、自前のGPU環境でも試せる状態になっています。この研究で実務的に重要なのは、画像生成AIの調整では、学習手法だけでなく「何を良い画像と評価するか」まで含めて設計する必要があると示したことです。

実験では、採点役をHPSv2.1からCLIPScoreに替えるだけで、良い手本と学習後の結果が逆転する割合が62.3％から29.5％へ大きく変わりました。同じ学習手法でも、どの採点役を使うかによって、モデルがその手本をどれだけ素直に学習できるかまで変わったのです。

これは、報酬モデルを単なる「点数を付ける部品」として交換可能なものと考えると危ないことを意味します。自社の画像生成AIを調整するなら、ブランドらしさや商品の見せ方を正しく評価できるかだけでなく、その評価基準を使ったときにモデルが実際に狙った方向へ学習するかまで確かめる必要があります。

DiffusionOPSDは、学習コストを抑えながら高い品質を出した新しい手法です。同時に今回の研究は、「良い画像を判定できる採点役」と「その採点を使ってうまく学習できる仕組み」は別問題だと示しました。画像生成AIの調整では、学習アルゴリズムだけを選べば終わりではなく、採点役との組み合わせまで含めて性能が決まるのです。

画像生成AIを自社好みに育てやすくするDiffusionOPSDの仕組みと、品質・効率を両立するポイントをまとめた解説画像です。