UltraFix
UltraFix はアップスケール後の画像に対するタイル拡散 img2img 修復パスです。通常のアップスケーラー(Real-ESRGAN / UltraSharp)は画像を拡大できますが、本物のディテールを生み出すことはできません。UltraFix は拡大後の画像に対し、重なり合うタイル単位で拡散モデルを再実行し、高解像度のまま細かなテクスチャやディテールを復元します。画像全体の構図を組み直すことはありません。
SDXL DMD2 モデル専用
UltraFix は SDXL DMD2 モデルでのみ利用できます(NPU パス)。これらのモデルが使う CFG 1 / 少ステップの設定に依存しているためです。さらにモデルで img2img が有効 である必要があります —— img2img をオフにするとバックエンドに VAE エンコーダーがないため、ボタンは非表示になります。
同じくらい重要な点として、アニメ系モデルでのみ使ってください。写実系モデルでは被写体が重複しやすくなります(使い方のヒントを参照)。
使う場所
生成結果をアップスケールすると、画像はモデルの通常の生成サイズより大きくなります。アップスケール結果の短辺がモデルの生成サイズ以上のとき、UltraFix ボタンが現れます:
- 生成結果ページ
- 履歴プレビューオーバーレイ(結果ページと同じ条件でゲートされます)
修復後の画像は新しい ULTRAFIX 履歴エントリ(JPEG)として保存され、さらにもう一度 UltraFix を実行できます。
仕組み
UltraFix は PixelRush 論文の部分反転(partial inversion)+ ノイズ注入(noise injection)のアプローチをベースに、固定サイズの NPU タイルとして動作するよう改変したものです。
拡大後の画像は重なり合うタイルに分割されます。VAE エンコード、各 UNet デノイズステップ、最終的な VAE デコードのすべてが、それらのタイル上で固定サイズの QNN グラフを実行します。各ステップのノイズ予測はタイルの重なり部分でブレンドされてから、画像全体に対するスケジューラーステップが 1 回実行されるため、タイルの継ぎ目は見えません。
ランダムノイズで画像を壊す通常の img2img とは異なり、UltraFix は:
- 部分反転:クリーンな画像を拡散軌道に沿って決定論的に反転させ(DDIM 反転)、画像自身の構造を開始ノイズの内側に持たせます。
- 低周波構造のロック:ループの早い段階で低周波構造をベース画像へ寄せ、各タイルがプロンプトの被写体を勝手に組み直すのではなく、元の構図を保つようにします。
- 少量の新しいノイズを注入:ループの後半で少量の新鮮なノイズを注入し(PixelRush 式 4)、ほぼ再構成的な反転だけでは平坦になりがちな高周波ディテールを復元します。
使うだけならこれらを理解する必要はありませんが、UltraFix が画像を描き直すのではなくディテールを足している理由がわかります。
コントロール
UltraFix には主な生成パラメータとは別の、独自の Steps / Denoise スライダーがあり、モデルごとに保存されます:
- Steps(ステップ数) ——
1〜20。 - Denoise(デノイズ) —— 生の強度ではなくステップ数(
0 … min(10, steps))で表します。デノイズステップ数が多いほど UltraFix が画像を変える量が増え、少ないほど入力に近づきます。
デフォルトに戻す ボタンでこれらを 10 ステップ / 4 デノイズステップ にリセットします。
それ以外のパラメータ —— プロンプト、ネガティブプロンプト、CFG、スケジューラー、シード —— はプロンプトページから取得されるため、UltraFix を実行する前にそちらで設定しておいてください。
使い方のヒント
- 10 ステップ / 4 デノイズステップ が推奨デフォルトです。主な調整量は デノイズステップ / ステップ数 の比率で、0.5 以下に保ってください。
- 各タイルは画像の一部の切り抜きしか見えないため、モデルがその切り抜きを完結したシーンと解釈し、余計な被写体(顔がもう 1 つ、キャラがもう 1 人、物体の重複など)を描き込むことがあります。これが起きたら、ステップ数を増やす か デノイズステップを減らす — 例えば
12 / 4や10 / 2にしてください。1 回あたりの変更量は減りますが、結果に対して UltraFix を繰り返し実行してディテールを積み上げられます。 - UltraFix はアニメ系モデルでのみ使ってください。 写実系モデルでは上記のマルチ被写体問題が起きやすいため、おすすめしません。
- 失敗した生成を救済する手段ではなく、すでに気に入っている画像への仕上げパスとして使ってください。
- 遅く、発熱します:高解像度で各ステップごとにすべてのタイルに完全な UNet を実行します。開始前の確認ダイアログにパラメータが表示され、実行時間と発熱について警告されます。実行中はアプリを前面に保ってください。
- UltraFix の準備中・実行中は、生成・アップスケール・ライブプレビューが無効になります。