手元のモデルの話を源まで辿ると、ほとんどどの名も同じ企てに行き着く。2023 年の 3 月、ひとりの作り手が現れたばかりの開かれたモデルを素の C と C++ で普通の人の機材に載せた。移し替えにすぎなかったはずのこの企ては、やがて界隈の土台になった。いまは小さな班が手入れをし、星は 128,000 を超え、見慣れた卓上の道具のいくつかも、その押しボタンの下で同じ筋の計算を静かに走らせている。現行の安定した版は2026 年の 9 月 14 日に出て、三つの卓上の系統向けの作り置きも変わらず添えられている。

もっとも知られた貢献は GGUF という書類の形だ。それ以前、開かれたモデルの生の重みは数十 GB に及び、普通の人の機材では手が出なかった。GGUF は重み、語の切り分け、付随する情報をひとつの書類にまとめ、さらに k-quants と呼ばれる段階の組（Q4_K_M など）を組み合わせると、モデルが占める記憶はおおよそ60 から 75% まで下がり、品質の落ち込みはごく小さい。七十億のパラメータを持つモデルは数 GB まで縮み、普通の携帯の記憶にも収まる。世に流れる数千の圧縮済みの書類も、この形の周りに育った。つまり、ひとつの書類を落とせばモデルが動くという今の軽さは、この企てが定めた規則の上に成り立っている。

ここでは処理装置での推論は間に合わせではなく、第一等の市民だ。仕組みは x86-64 の束ねた命令と、省電力の芯の系統の相当する拡張に深く合わせてあり、界隈の測定では、七十億から八十億のパラメータの圧縮済みモデルが、独立した板を持たない現代の携帯の処理装置で一秒に 10 から 30 の単位を生む。日常の会話には十分だ。板の無い古い置き型、表示が本体に組み込まれた事務用の携帯、あるいは板を差すのが面倒な家庭の務め先にとって、今年のモデルをまだ載せられる数少ない道であり、他の道具が機材の前で止まるときに、もう一層だけ持ちこたえる。最後の砦という言い方はそこから来ている。

板を持つ機械も同じだけ得をする。しかも融通がきく。モデルの層をまとめて板へ押しやり、残りを処理装置に置けるので、表示の記憶が足りない機械は層の数で速さと入る量を細かく引き換えにできる。その下には、ある製造元の板のための専用の芯、自社設計の芯への一級の対応、残る二社のための持ち運べる計算の道が控える。企ては llama-server も添える。大きな預かりの務め先と同じ要求の形を話す手元の務めを立ち上げ、頁の窓まで付いてくる。接続先を自分で決められるクライアントはそこをそのまま指せばよく、続けて束ねる処理のような仕組みも務めのまま使える。

ここに集まるのは四種類の人だ。つまみを自分の目で見たい好事家。会話の窓を配るのではなく、仕組みを自分の品に織り込みたい作り手。独立した板を持たない機械の持ち主で、他の道がすべて閉ざされている人。そして小さな家庭の務め先を預かり、網の上に接続口だけが欲しい人。どれも磨かれた窓を求めていない。むしろ完成車より、覆いの開いた足回りのほうが役に立つ。

向きははっきり書いておきたい。公式の図の窓は無く、命令の列が唯一の正式な入口だ。脈絡の長さ、板へ移す層の数、糸の数、圧縮の段階。どれも自分で示すか、既定のまま受け取るかになる。引き換えに手に入るのは、細部まで握れることと、他の仕組みに組み込めることだ。これは依存を持たない推論の仕組みであって、出来上がった品ではない。だから作り手は自分の応用に織り込み、運用する人は画面の無い機械で務めとして走らせ、好事家はスクリプトで自動化の列に組み込む。許諾はゆるく、商いでの使用も作り直しも妨げられない。先に挙げた道具が人ごとに用意された完成車だとすれば、これは覆いを開けたまま渡される足回りだ。誰にでも向くものではないが、手を動かす気のある人にとって、手元の配置がどこまで行けるかを決めるのはこれである。