웹 페이지를 에이전트에게 먹여 본 사람은 어디가 번거로운지 안다. 대상 사이트는 막아서고, 내용은 스크립트가 돈 뒤에야 나타나며, 본문은 내비게이션과 광고에 엉켜 있다. 이 제품은 바로 그 계층을 자른다. 스스로를 웹 데이터 인터페이스라 부르고, 주소 하나를 보내면 정돈된 마크다운이나 구조화 JSON이 돌아온다. 지저분한 일은 서버가 한다. 첫 화면의 표어는 목적을 분명히 말하고, 프로젝트는 오픈소스이기도 하다. 저장소가 18만을 조금 넘는 스타를 모은 이유이기도 하다.

세 가지 일: 검색, 수집, 조작

핵심은 셋으로 나뉜다. Search는 웹을 검색하고 결과 페이지의 전문까지 함께 가져온다. 먼저 찾고 나서 읽는 방식에 맞는다. Scrape는 임의의 주소를 마크다운, JSON, 스크린샷으로 바꾸고, 구조화 출력에서는 JSON 틀을 넘기면 지정한 필드 형태로 돌려준다. Interact는 셋 중 가장 새롭고 가장 직관적이지 않다. 페이지를 가져왔다고 세션이 끝나지 않으므로 자연어나 코드로 계속 클릭하고, 양식을 채우고, 동적 내용을 뽑고, 더 깊이 들어갈 수 있다. 공식 예시는 한 상점 첫 화면을 가져온 뒤 그 안에서 상품을 검색하고 결과를 열어 가격을 읽는다. 셋을 묶는 가치는 많은 수집 작업에서 진짜 어려움이 세 번째 단계에 있다는 데 있다. 정적 HTML만 받아서는 부족한 경우가 많다.

한 장으로 끝나지 않는다: 사이트 전체, 일괄, 로컬 파일

핵심 엔드포인트 주위에 능력의 고리가 있다. Map은 한 사이트 아래 모든 주소를 찾고, Crawl은 재귀적으로 사이트 전체를 가져오며, 일괄 수집은 수십만 개 주소를 비동기로 다룬다. 파싱도 공개 페이지에 국한되지 않는다. 로컬 PDF, DOCX, XLSX, HTML 모두 마크다운이나 구조화 JSON으로 변환된다. 여기에 원하는 것을 설명하면 스스로 모으는 자율 모드, 결과를 비동기로 보내는 웹훅, 조작 흐름에 쓸 호스팅 브라우저 세션을 제공하는 브라우저 샌드박스가 더해진다. 수집 전 동작에도 통로가 있어 클릭, 스크롤, 입력, 대기, 키 입력을 흐름에 넣을 수 있다.

연결 방식은 충실하다. 모델 컨텍스트 프로토콜 서버로 동작해 명령 한 줄로 코딩 에이전트에 붙는다. 명령줄 도구도 있어 설치와 동시에 감지된 코딩 에이전트에 스킬을 주입한다. SDK는 Python, Node, 명령줄을 덮고, 연동 목록에는 흔히 쓰이는 검색 프레임워크 두 개와 여러 모델 사업자가 있다. 문서는 '키 없이 먼저 시험하기'를 권장 경로로 적는다. 첫 요청에는 키가 필요 없고, 키를 붙이면 속도 제한이 풀릴 뿐이다.

무료 한도와 과금 기준

한도 규칙은 드물게 읽기 쉽다. 매달 1,000 크레딧, 대략 천 페이지분이며 신용카드가 필요 없다. 그 위에 네 단계가 있고 기업용은 별도 협의, 연 결제는 두 달을 더 준다. 단위는 능력에 따라 달라진다. 수집, 사이트 전체 크롤, 주소 발견, 모니터링은 페이지당 1크레딧. 검색은 결과 10건당 2크레딧. 페이지 조작은 브라우저 1분당 2크레딧. 이월도 다르다. 상위 두 단계는 미사용분을 다음 달로 넘기지만 하위는 못 넘긴다. 공식 문답은 경계를 두 가지 덧붙인다. 아무것도 반환하지 않은 수집은 과금되지 않고, 오류 상태를 반환한 페이지도 그대로 전달된다. 5달러 추가 구매는 단계에 따라 1,000, 2,000, 2,500, 5,000크레딧이 되어, 위 단계일수록 같은 돈으로 더 많이 산다.

주의할 것은 라이선스 형태다. 프로젝트는 주로 AGPL-3.0이라, 수정판을 공개 서비스로 운영하면 변경을 공개해야 한다. SDK와 일부 화면 컴포넌트는 MIT여서 호스팅 인터페이스를 호출하는 쪽은 제약이 적다. 호스팅 버전에는 직접 운영판에 없는 능력도 있고, 저장소와 문서의 기능 목록에서 비교할 수 있다. 컴플라이언스에 대해 제공자는 robots.txt를 기본으로 존중하며 대상 사이트 규정을 지킬 책임은 사용자에게 있다고 밝힌다. 상업적 수집 전에 한 글자씩 읽어 볼 문장이다.

누구에게 맞는가

세 장면이 깔끔하게 맞는다. 에이전트의 검색과 도구 계층을 만드는 팀. 페이지를 통제 가능한 형식으로 안정적으로 바꿔야 하고, 수집과 봇 차단 인프라를 직접 유지하고 싶지 않다. 데이터 파이프라인과 잠재 고객 보강을 하는 팀. 일괄 수집과 구조화 틀로 어수선한 페이지를 바로 저장 가능한 필드에 대응시킨다. 그리고 개발 단계에서 검증하는 개인이나 작은 팀. 무료 한도로 흐름을 끝까지 돌릴 수 있고 프로토콜 서버와 명령줄 도구 모두 몇 분 안에 붙는다.

저울에 올릴 것은 두 가지. 첫째 라이선스. AGPL-3.0은 수정판을 서비스로 파는 데 제약을 건다. 호스팅 인터페이스를 부르기만 하면 영향이 없지만, 직접 세워 외부에 제공하려면 의무를 먼저 정리해야 한다. 둘째 직접 운영과 클라우드의 맞바꿈. 직접 운영은 데이터와 비용을 쥐지만 봇 차단 강도와 페이지 포괄률이라는 무거운 부분을 스스로 진다. 클라우드는 그것을 대신 맡는 대신 사용량 과금과 요청의 제3자 위탁을 받아들인다. 저장소 숫자는 약 181.6k 스타, 9.8k 포크, 35개 릴리스, 173명 기여자, 현행 버전 v2.11.0이며 주 언어는 TypeScript, 그 밖에 Python과 Rust다. 페이지 포괄률 96%, P95 지연 3.4초라는 수치는 제공자 기준이므로 자기 대상 사이트에서 한 번 재 볼 가치는 남는다.

수집 도구의 가치는 '가져올 수 있느냐'가 아니다. '가져온 것이 곧바로 하류로 흘러갈 수 있느냐'다. 이 계층을 깨끗하게 만드는 쪽만이 실제로 사람 손을 줄인다.