先に触れたデスクトップの道具は、ここで扱うアルゴリズムの上で動いている。このプロジェクトはアプリではなく、論文とその公式実装だ。リポジトリの自己説明によれば、目的は汎用の画像と動画の修復に向けた実用的な手法を作ることで、以前の生成的なやり方を、現実世界の劣化を扱える実用版へ広げる。訓練データはすべて合成で作る。実際その使われ方をしていて、画面付きの製品がこぞって殻に包んで即戦力の道具に仕立てる。自分でコードを書いて向き合う人は、むしろ多数派ではないだろう。

三つの入口、いじる気持ちで選ぶ

公式の道は三つ。一つ目は何も要らない。ホストされた実演で、リポジトリから二つの入口が張られており、何も入れずに結果を先に見られる。初期には公式の実演サイトもあった。二つ目は持ち運べる実行ファイルで、ncnn の実装に基づき、Windows、Linux、macOS の三つ、三社の主なグラフィックを覆い、依存もモデルも中に入っているので、加速の道具一式も Python の環境も要らない。落として開けば動く。代わりに脚本版より機能は少ない。三つ目は Python の脚本で、自分の流れに組み込む人向けだ。Python 3.7 以上、深層学習の枠組み 1.7 以上、いくつかの補助的な包みを入れると、コマンドラインから呼べる。任意の倍率での出力（モデルの出力にもう一度拡大をかける）と、顔の補正の切り替え（顔の修復を直接呼ぶ）にも対応する。

モデルと引数：つまみは思ったより多い

持ち運び版にはいくつかのモデルが入り、名前の引数で切り替える。汎用の x4plus が既定で、ほかに別の損失で訓練した変種、アニメの挿絵向け、アニメ動画向けがある。モデルの選択以外にも見るべき引数がある。倍率は 2、3、4 から選べる。タイルの大きさで記憶域の使用量を調整するので、苦しい機械は塊を小さくする。複数のグラフィックがある場合はどれを使うか指定できる。読み込み、処理、保存の三段の糸の配分も調整でき、小さい画像が多いときに上げると速くなる。tta の方式は品質をさらに上げるが遅くなる。出力形式は jpg、png、webp に対応する。公式は取捨も書いている。持ち運び版は入力をいくつかの塊に切って別々に処理し、あとで継ぎ合わせるため、塊の間に不整合が出ることがあり、枠組み版と結果が少し違う。その場合は脚本版をそのまま使うよう勧めている。脚本版はさらに、透明の層を持つ画像、階調だけの画像、16 ビットの画像、そして先の顔の補正にも対応する。

生態系での位置：他の製品に取り込まれる層

リポジトリには、これを使う下流の企画を並べた節があり、その一覧が位置づけをよく説明する。アンドロイド向けの実装、動画処理の差し込み、ncnn 版そのもの、そして画面付きの道具の数々——先に触れたデスクトップ製品も含まれる。つまり多くの利用者は、意識しないどこかの画面を通して間接的にこのアルゴリズムを使っている。現在の数字はおよそ 36.8k スター、4.5k フォーク、十一の公開、版は v0.3.0、コードは純粋な Python で BSD-3-Clause。この許諾はかなり緩く、商用も再配布もほとんど摩擦がない。多くの製品が土台に選んだ理由の一つだ。手法にも正式な出どころがある。2021 年のコンピュータビジョンの研究会での論文で、著者は四人、所属は大企業の視覚研究室と国立の研究機関。

持ち運びの線は別のリポジトリが保守していて、本体より小さい。およそ 2.2k スター、292 フォークで、同じ発想のより早いコマンドライン実装から多くを借りたと自ら認めている。そのToDoは具体的だ。より安価な拡大手法への対応、一部の機械で真っ黒な画像が出る問題の修正、モデル変換の手引きの追加、顔の修復への対応。最後の点は重要で、持ち運び版と脚本版は能力が対等ではない。顔の補正は現状スクリプト側にしかないので、必要に応じて選び分けたい。

誰に向くのか

三種類。素材をまとめて処理したいが環境を作りたくない人。持ち運び版は落とせば動き、命令一本で一つのフォルダを処理し、タイルの引数で中程度の機械でも回せる。アニメや挿絵に関わる作り手。アニメの静止画と動画にそれぞれ専用のモデルがあり、この種の内容はテクスチャが規則的なので、写実的な写真より安定して力を出す。そして開発者と研究者。BSD-3-Clause は緩く、訓練のコードも公開されている。自分の製品に超解像を組み込むにも、合成データで訓練する発想を作り変えるにも、出発点は低く、論文をそのまま再現できる。

気をつける点は三つ。第一に境界。得意なのは解像度が足りない画面を整えることで、画面そのものの動体ぶれやピント外れという光学的な問題には効かない。公式は拡大後の平滑化を緩めるノイズ除去の強さも引数に加えており、細部の保持と clean さの釣り合いは利用者が自分で取ることになる。第二に更新の拍。本体は v0.3.0 で止まり、公開は頻繁ではなく、安定したが活発には進化しない状態だ。持ち運び版には未解決の課題も残るので、使う前にToDoを一読したい。第三にハードの向き。持ち運び版は ncnn と Vulkan を通るのでグラフィックが要り、処理装置だけの環境では非常に遅い。大量に回すなら条件を先に確かめる。使える画面が欲しいだけなら完成したデスクトップ製品のほうが楽で、自分の処理系に組み込むならこのリポジトリから入るのが正しい道だ。

開かれたアルゴリズムの層の価値は、たいてい自分のダウンロード数にはない。どれだけの製品が自分の殻に隠す気になったかにある。