안으로 되돌리는 것은 판이 아니라 손이 가는 문제다

왜 AI 기능이 아직 남의 기계실에서 도느냐고 물으면 대개 그래픽 판을 가리킨다. 실제로 손을 대 보면 다른 것이 나온다. 상대 쪽에는 호출이 수십 군데 흩어져 있고, 꾸러미와 흘러오는 응답을 푸는 방식, 실패했을 때 다시 시도하는 줄기까지 모두 맡김 접점을 전제로 적혀 있다. 자리를 옮긴다는 것은 그것을 다시 쓰는 일이다. LocalAI 는 방향을 뒤집는다. 코드는 건드리지 않고 주소를 바꾼다. 큰 맡김 서비스와 같은 요청을 받는 접점 하나를 내놓고, 이미 있는 클라이언트는 그대로 보내고 그대로 풀며, 모델은 내 기계 위에서 돈다. 자료는 끝까지 이 건물을 떠나지 않는다. 그런데 그 일을 위해 응용을 한 줄도 다시 쓰지 않았다.

LocalAI 는 직접 올리는 공개 실행 환경이다. 실행 파일 하나, 호환 접점 하나, 그 뒤에 어느 엔진을 앉힐지는 내가 정한다.

속은 작게, 엔진은 불릴 때 온다

손안 추론 도구가 미움을 사는 까닭은 살이 찐 데 있다. 작은 모델을 돌리려고 몇 GB 의 의존을 안고, 그 대부분은 평생 건드리지 않는다. LocalAI 는 추론 엔진을 하나씩 따로 선 뒤받침으로 만들고, 흔한 그릇 이미지로 나눠 주며, 어떤 모델이 정말 그것을 필요로 할 때까지 내려받지 않는다. 뒤받침끼리는 격리되어 돌고, 저마다 따로 설치하거나 새로 깔거나 걷어낼 수 있으며, 하나가 넘어져도 나머지를 끌고 가지 않는다. 다른 기계에 두는 것도 가능하다.

이 짜임새에는 곧바로 오는 이득이 있다. 엔진을 바꿔도 접점은 바꾸지 않는다. 같은 접점 아래에서 한 모델은 이 엔진에서, 다른 모델은 전혀 다른 엔진에서 돈다. 클라이언트는 아무것도 눈치채지 못한다. 요청 형식은 그대로이고, 바뀌는 것은 아래 설정 한 줄뿐이다. 고를 수 있는 뒤받침은 예순 개를 넘고, 글 생성, 음성 알아듣기와 합성, 그림 이해, 그림과 영상 생성, 끼워 넣기와 다시 정렬을 덮는다. 장비 쪽도 세 큰 칩 제조사, 휴대 기계의 자체 설계 칩, 기종을 가리지 않는 그리기 규격, 작은 내장 판에 이르기까지 저마다 가속의 길이 있다.

판이 없어도 오늘 시작할 수 있다

이 시도는 원칙 하나를 분명히 적어 두었다. 모든 기능이 먼저 처리 장치의 길을 내놓고, 그 길은 이어서 돌리는 검사 안에서 평범한 사람이 이미 가진 장비로 시험된다. 넘어지지만 않으면 되는 식의 낮춘 길이 아니다. 판은 그것을 빠르게 하려고 있고, 쓸 수 있게 하려고 있지 않다. 먼저 흐름을 확인하고 나서 장비를 살지 정하려는 팀에게 이 차례는 중요하다. 지금 있는 기계로 돌려 보고, 양 이야기는 나중에 한다.

모델 자체가 커서 들어가지 않을 때는 압축이 있다. 이 시도가 스스로 만든 방식은 텐서와 층마다 정밀도를 골라 준다. 약 350억 개의 매개변수를 지닌 섞인 전문가 모델에서 차지하는 자리는 약 65 GB 에서 12 GB 로 줄고, 생성은 초당 30 에서 74 단위로 올랐다. 헷갈림의 정도는 육 점 오에서 칠 점 일로 움직였을 뿐이다. 나오는 것은 흔한 압축 형식의 표준 파일이고, 원래 엔진이 기워 붙이지 않고 읽는다.

기계가 늘면 배치는 맡긴다

한 대의 기계에는 천장이 있다. 여기서의 답은 한 대를 더하는 것이다. 요청 길잡이, 그래픽 기억에 따라 모델을 어디에 둘지, 앞머리 재사용에 가까이 두기, 고장 시 비켜 가기가 모두 실행 환경으로 넘어간다. 원래라면 직접 짜야 할 배치 일이다. 일하는 마디로 넓히는 운영 형태도, 대등한 이끼리의 연결도 받는다. 사무실에서 놀고 있는 몇 대를 이으면 예전에는 따로 붙이는 판이 있어야 했던 일이 가능해진다. 부하가 오르면 기계를 더한다. 어떻게 쓸지는 무리가 스스로 계산한다.

치기만 하지 않고, 듣고 본다

손안 모델은 글자만 친다고 흔히 말하지만, 이 층에는 적잖이 들어 있다. 말한 사람 표시와 시각을 붙인 그 자리 받아쓰기는 진행 중인 회의를 따라갈 만큼 빠르고, 수백 가지 소리 사건을 알아보아 문소리, 깨지는 유리, 연기 경보를 알아챈다. 목소리 결와 얼굴 알아보기에 진짜인지 확인하는 절차를 더해, 눈앞의 사람과 들고 있는 사진을 구분한다. 왼쪽의 빨간 잔이 어느 것이냐고 보통 말로 물으면 설명이 아니라 좌표가 돌아온다. 평범한 사진 한 장에서 거리를 어림하고, 몇 장으로 삼차원 장면을 다시 세운다. 둘 다 카메라 보정도 그래픽 판도 필요 없다. 이름, 주소, 카드 번호 같은 것은 밖으로 나가기 전에 이 기계에서 찾아내어 가린다.

올리기 전에 읽어 둘, 한 가지 안전 변경

지금의 판은 신원 확인을 기본으로 거절하는 쪽으로 바꾸었다. 예전 중간층은 경로 앞머리를 견주어 어느 접점에 보호가 필요한지 정했고, 명단에 없는 것은 공개로 두었다. 그런데 일부 경로에는 그 앞머리가 없는 다른 이름이 있어 전체 확인이 듣지 않았고, 이 우회는 안전을 살피는 사람들이 알려 왔다. 지금의 중간층은 요청 방식까지 보고 기본으로 거절한다. 공개로 분명히 등록된 방식과 경로만 지나간다. 데이터베이스 확인이나 예전 열쇠를 쓰고 있다면 올리기 전에 두 가지 변화를 준비해야 한다. 판 정보를 돌려주는 접점이 증표를 요구하고, 만든 소리와 그림과 영상의 돌려주는 주소도 열쇠를 붙여야 받아낼 수 있다.

모델을 내 기계로 되돌리고 싶다, 되도록 아무것도 다시 쓰지 않고, 그것만 바란다면 여기가 가장 짧은 길이다. 주소 하나를 바꾸고, 나머지는 필요할 때 짜 맞추는 엔진에 맡기면 된다.