なぜ自前の務めをやめたのかと班に尋ねると、返ってくる答えはモデルが悪いという話ではないことが多い。記憶が足りなくなるのだ。モデルが文字を生むあいだ、手元の仕組みは問いごとに鍵と値のキャッシュを表示の記憶に抱えていなければならない。昔ながらの仕組みは、その場所を問いが生みうる最も長い長さに合わせてまとめて取っておく。短い問いが使い切らない分は空いたままになり、細切れがさらに効いてくる。2023 年にある学びの場の研究の班から出てきた公開の企て vLLM は、別の道を選んだ。基本の仕組みが普通の記憶を扱うために使っている頁の管理を、表示板の上へ持ち込んだのである。PagedAttention と名づけられたこのやり方は、その後モデルを務めさせる界隈でもっとも引用される工夫のひとつになり、企ては 91,000 を超える星を集め、いまの安定した版は 2026 年の 9 月に現れた。

仕組みは追いやすい。キャッシュは問いごとにまとめて取るのをやめ、決まった大きさの区画に切られ、区画の表がどの問いの区画がどこにあるかを書き留める。使った分だけ渡せばよい。細切れはほとんど消え、企ての公表した数字では、記憶の使われ方は昔の三、四割から九割を超えるまで上がり、同じ板が同時に受ける問いは二倍から四倍になる。その上に続けて束ねる処理が乗る。問いは束が揃うのを待たず、来たときに入り、終わった瞬間に抜ける。長い仕事と短い仕事が同じ板を分け合うとき、差はさらに開く。いくつもの独立した測定で、一枚の板の合計の処理量は比べた相手の二倍から五倍に達し、かつては何枚も要った同時の問いが、いまは一枚に収まる。

作る側にとって、もうひとつの決め手は接続口だ。大きな預かりの務め先と同じ要求の形を話す務めが内蔵されているので、その形で書かれた相手や業務のコードは、宛先をひとつ書き換えるだけで自前のモデルに向く。仕事の中身は一行も動かない。運用に要る残りの部品も、ほとんどが最初から入っている。複数の板に分ける計算は大きなモデルを何枚かに振り分け、ひとつの務めが複数の LoRA の付属品を抱えて問いごとに切り替えられるので、一度の配置でいくつもの狭いシーンを任せられる。前置きの使い回しは、同じ指示を共有する問いがすでに計算した区画をそのまま使えるようにし、会話の道具で最初の一字までの待ちを縮める。圧縮は AWQ、GPTQ、FP8 を覆い、数字は既にある見張りの仕組みがそのまま読める形で外に出る。

立ち位置も同じだけはっきりさせておきたい。vLLM はサーバー級の板に向けた務めの枠組みで、図の窓は無い。本領は、70 億から 700 億のあいだの開かれたモデルを、負荷に耐える線上 の務めに変えることだ。個人の機械での軽い会話は舞台ではない。そちらは卓上の道具のほうが向いている。許諾はゆるく、商いでの使用も作り直しも妨げられず、大きな基盤の会社はたいていこれを土台の仕組みとして動かしている。親しみやすい道具が動かすまでの垣根を下げたのだとすれば、vLLM は耐えるかどうかというもう一方の問いに答える。自前の配置が試し物から運用へ移るなら、この層は避けて通れない。

ここに集まるのは二種類の人だ。モデルと板の請求を渡された平台の作り手と、すべてを自分の壁の内側に置かねばならない班。どちらも会話の窓は求めていない。倒れない務めが欲しいのであり、そのために設定の書類を読むことを厭わない。

会話の窓も履歴も無く、あるのは接続口とその向こうの計算だけだ。だからこそ、自分の品の裏側に隠したとき、表に出てくる姿は自由に描ける。

動くことと耐えることを分けて見れば、この層に代わりは無い。