内側へ戻すのは、板ではなく手間の問題だ

なぜ AI の機能がまだ他人の機械室で動いているのかと班に尋ねると、たいていは表示板を指す。実際に手を動かすと別のものが出てくる。相手の側には呼び出しが何十箇所も散らばり、部品の束、流れてくる答えの解き方、失敗したときのやり直しの筋道まで、すべて預かりの接続口を前提に書かれている。別の場所へ移すとは、それを書き直すことだ。LocalAI は向きを逆にする。コードは触らず、住所を変える。大きな預かりの務め先と同じ要求を受け取る接続口をひとつ用意し、既にある相手はそのまま送り、そのまま解き、モデルは自分の機械の上で走る。資料は最後までこの建物を出ない。しかもそのために応用を一行も書き換えていない。

LocalAI は自分で置く公開の実行環境だ。実行する書類がひとつ、互換の接続口がひとつ、その奥にどの仕組みを座らせるかは自分で決める。

中身は小さく、仕組みは呼ばれてから来る

手元で推論する道具で嫌われるのは、その太り方だ。小さなモデルを動かすのに数 GB の依存を抱え、その大半は一生触らない。LocalAI は推論の仕組みをひとつずつ独立した後ろ盾にし、ありふれた入れ物の像として配り、あるモデルが本当にそれを要るまで降ろさない。後ろ盾どうしは隔てて動き、それぞれ単独で入れ替えたり外したりでき、ひとつが転んでも他を引きずらない。別の機械に置くことすらできる。

この組み立てには直接の得がある。仕組みを替えても接続口は替えない。同じ接続口の下で、あるモデルはこちらの仕組みで、別のモデルはまったく違う仕組みで走る。相手は何も気づかない。要求の形は変わらず、変わるのは下の設定一行だけだ。選べる後ろ盾は六十を超え、文字の生成、音声の聞き取りと合成、図の理解、画像と動画の生成、埋め込みと並べ替えを覆う。機材の側も、三つの大きな芯の作り手、携帯の自社設計の芯、機種を問わない描画の規格、小さな組み込みの板まで、それぞれ加速の道がある。

板が無くても、今日から始められる

企てはひとつの原則をはっきり書いている。どの機能もまず処理装置の道を届け、その道は続けて回す検査の中で、普通の人が手元に持っている機材で試される。落ちなければよいという程度の降りた道ではない。板はそれを速くするためにあり、使えるようにするためではない。まず流れを確かめ、それから機材を買うか決めたい班にとって、この順番は効く。今ある機械で動かし、量の話は後にする。

モデルそのものが大きすぎて載らないときは、圧縮がある。企てが自前で作ったやり方は、張りと層ごとに精度を選び分ける。およそ 350 億のパラメータを持つ混ざりもののモデルで、占める場所は約 65 GB から 12 GB へ縮み、生成は一秒に 30 から 74 の単位へ上がった。戸惑いの度合いは六・五から七・一へ動いただけだ。出てくるのはありふれた圧縮の形の標準の書類で、元の仕組みが継ぎを当てずに読める。

機械が増えたら、振り分けは任せる

一台の機械には天井がある。ここでの答えはもう一台足すことだ。要求の道筋、表示の記憶に応じてモデルをどこに置くか、前置きの使い回しへの近さ、故障のときの逃げ道。本来なら自分で書く振り分けを、実行環境が引き受ける。働く節を足して広げる運用の形にも、対等な者どうしの連なりにも対応する。事務所で遊んでいる何台かを繋げば、かつては独立した板が要ると怯えた仕事が現実になる。負荷が上がれば機械を足す。どう使うかは群れが自分で計算する。

打つだけでなく、聞き、見ている

手元のモデルは字を打つだけと言われがちだが、この層はかなり詰め込んである。話し手の印と時刻を添えたその場の書き取りは、進行中の打ち合わせに追いつく速さ。数百の種類の音の出来事を見分け、扉の音、割れるガラス、煙の警報に気づく。声の筋と顔の見分けに、本物かどうかの確かめを重ね、目の前の人と掲げられた写真を区別する。左の赤い器はどれかと普通の言葉で尋ねれば、説明ではなく座標が返る。普通の写真一枚から距離を測り、数枚から三次元の場を組み直す。どちらも camera の調整も表示板も要らない。名前、住所、カードの番号といったものは、外へ出る前にこの機械の上で見つけられ、塗り潰される。

上げる前に読んでおきたい、ひとつの安全の変更

いまの版は、身元の確かめを既定で断る形に変えた。以前の仲立ちは道の頭を照らし合わせて、どの接続口に守りが要るかを決め、名簿に無いものは公開のままだった。ところが一部の道にはその頭を持たない別名があり、全体の確かめが効いていなかった。この抜け道は安全を調べる人たちが報告した。いまの仲立ちは求め方の種類まで見て、既定で断る。明示的に公開として登録された種類と道だけが通る。データの置き場による確かめや古い鍵を使っている場合は、上げる前に二つの変化を用意しておきたい。版の情報を返す接続口が証拠を求めるようになり、作った音、画像、動画の戻り先も、鍵を添えないと取り出せなくなる。

モデルを自分の機械へ戻したい、できれば何も書き換えずに、というだけなら、ここがいちばん短い道だ。住所をひとつ変え、あとは要るだけ組み立てられる仕組みに任せればよい。