Scrapling 은 파이썬으로 쓴 웹 수집 프레임워크로, 요청 보내기와 브라우저 열기, 페이지 해석, 사이트 전체 수집, 내보내기를 한 라이브러리에 담았다. 2026 년 11 월 4 일에 나온 0.5.1 판은 두 가지를 했다. 브라우저 세션을 외부 프로그램에 넘겨 에이전트가 움직임과 끌기를 읽게 했고, 사이트 전체를 깨끗한 Markdown 으로 바꾸는 길을 다듬었다. 말뭉치를 직접 모으려는 사람, AI 가 공개 페이지를 읽게 하려는 사람이라면 십 분이면 감이 온다. Windows, macOS, Linux 에서 돈다.

먼저 페이지를 Markdown 으로 씻고 나서 모델에 준다

큰 모델은 생 HTML 을 읽으면 손해다. 탐색 막대와 스크립트, 스타일, 광고 자리가 한 파일 안에 있고 쓸모 있는 본문은 가운데 끼어 있다. 글자 수로 값을 매기면 그 잡음에도 같은 값이 붙는다. Scrapling 은 빼기를 변환 단계에 둔다. markdown() 을 부른 뒤 스크립트와 스타일, 숨은 요소는 비워지고, CSS 로 감춘 흰 글자와 aria-hidden 이 붙은 구역, HTML 주석, 폭 없는 문자도 함께 사라진다.

이 길에 모델은 없다. 내 기계에서 하는 문자열 처리라 만 페이지를 긁어도 모델 비용이 들지 않는다. 아끼는 것은 돈만이 아니다. 말뭉치가 깨끗해야 아래 단계의 분할이 안정되고, 검색으로 나온 조각에 반 화면짜리 메뉴가 붙지 않는다.

사이트 전체 변환에는 본보기가 있다. 허용할 도메인을 정하고 본문 선택자를 지정하고 페이지 수 상한을 주면, .md 파일이 담긴 폴더와 출처와 제목, 본문을 지닌 JSONL 이 남는다. 그대로 지식 베이스에 부을 수 있다. 문서 사이트와 블로그, 제품 안내서처럼 구조가 반듯한 곳은 이 방법이 가장 편하다.

요소가 지문을 지녀 개편에도 선택자를 다시 쓰지 않는다

수집 스크립트가 약한 곳은 선택자다. 사이트가 CSS 클래스 이름을 갈아 버리면 어제까지 돌던 코드가 빈 목록을 돌려주고, 기록을 몇 겹씩 뒤져야 원인이 보인다. 적응형 요소 추적은 다른 길을 간다. 처음 찾을 때 위치와 속성, 글자 특징을 지문으로 적어 두고, 구조가 바뀐 뒤에는 유사도로 '자리는 옮겼지만 같은 것'인 마디를 다시 찾는다.

비슷한 요소 맞히기는 또 다른 흔한 장면을 맡는다. 같은 모양 카드가 수십 장 늘어선 페이지에서 하나만 필요할 때, 먼저 기준 요소를 찾고 구조 유사도로 넓힌다. 손으로 쓴 nth-child 보다 잘 버틴다.

한 번의 요청과 사이트 전체가 같은 문법을 쓴다

Fetcher

실제 브라우저와 같은 TLS 지문과 헤더를 실어 보내는 보통 HTTP 요청. 정적 페이지와 공개 인터페이스에는 이걸로 충분하다.

브라우저형 수집기

Playwright 로 Chromium 을 돌려 JavaScript 실행이 끝난 뒤 내용을 가져온다. 이미 열려 있는 브라우저에 붙을 수도 있다.

Spider

동시에 모으고 스스로 속도를 줄이며, Ctrl+C 로 진행을 남겨 다음에 이어 간다. 결과는 JSON, JSONL, CSV, XML 로 내보낸다.

세 가지 방식은 해석 인터페이스를 함께 쓴다. 같은 선택자 코드가 fetcher 만 바꾸면 정적 페이지에서 동적 페이지로 옮겨 간다. JavaScript 를 그리려고 다른 문법을 둘 필요가 없다. 페이지 뒤의 XHR 도 기록할 수 있고, 인터페이스가 돌려주는 데이터가 그린 HTML 보다 반듯한 경우가 많다.

작은 장치 하나가 제 몫을 한다. 브라우저에서 인터페이스를 살필 때 'cURL 로 복사'를 하면 완전한 요청이 나온다. 그 명령을 Scrapling 의 대화형 셸에 붙이면 다시 쓸 수 있는 수집문으로 바뀐다. 한 번 돌려 보고 스크립트로 옮기면 된다. 헤더를 처음부터 짜는 수고가 사라진다.

0.5.1 이 연 세 개의 문

원격 세션의 뜻은 브라우저와 수집 프로세스를 나눌 수 있다는 데 있다. CDP 끝점으로 이미 돌고 있는 Chromium 에 붙고, 기본으로 기존 문맥을 그대로 쓰며 로그인 상태도 물려받는다. 세션을 끊어도 열어 둔 탭은 남는다. 예전에는 로그인 정보를 들고 다니려고 상태 파일을 몇 번이고 읽고 써야 했다.

움직임과 끌기는 에이전트를 위한 것이다. 한 장의 그림은 한순간만 남기고, 애니메이션과 스크롤 뒤 위치, 슬라이더 같은 조작은 정지 화면에서 앞뒤가 보이지 않는다. 0.5.1 은 연속 화면으로 페이지가 무엇을 하는지 읽고, 마우스를 누르고 움직이고 중간에 멈춰 확인한 뒤 놓는다. 도구 설명도 함께 줄어 같은 능력이 쓰는 문맥을 덜 차지한다.

에이전트로 가는 문은 하나가 아니다

MCP 서버가 손을 쓴다. 페이지 열기와 누르기, 입력, 스크롤, 캡처, 인터페이스 응답 읽기가 모두 도구가 되어, 클라이언트를 붙이면 '이 페이지의 인자를 표로 정리해' 한마디로 끝난다. 에이전트 기술은 다른 일을 한다. 판을 따라 갱신되는 안내서라, 코드를 쓰는 조수가 필요할 때 펼쳐 보고 낡은 기억으로 인터페이스를 잘못 짜지 않는다. 명령줄과 대화형 셸이 세 번째 길이고, 요청 하나를 통과시킨 뒤 스크립트로 옮기는 데 맞다.

세 길은 세 부류에게 맞는다. 데이터 흐름을 만드는 사람은 파이썬 인터페이스만 쓰고, 터미널에서 시도하는 사람은 셸을, 수집을 에이전트에 맡기는 사람은 MCP 를 만진다.

경계는 여전히 경계다

할 수 있는 일이 늘수록 무엇을 가져올지 먼저 정해야 한다. 공개 문서와 공개 가격, 공표된 정책 자료는 보통의 용도다. 상대 사이트가 자동 접근을 분명히 금지하거나 내용이 로그인 뒤에 있다면 손대지 않는다. Scrapling 의 Spider 는 robots.txt 를 지키도록 정할 수 있고 도메인으로 범위를 좁힐 수 있어 수집이 대상 안에 머문다.

빈도도 절제가 필요하다. 하루에 한두 번이면 변화가 보이고, 남의 서버를 부하 시험 대상으로 삼을 이유는 없다.

Scrapling 0.5.1 의 값은 '긁을 수 있다'가 아니라 '긁은 뒤 바로 쓸 수 있다'에 있다. 페이지를 넣으면 깨끗한 Markdown 이 나오고, 요소가 자리를 옮겨도 스스로 찾아내며, 에이전트가 조작을 이어받는다. 전체가 오픈 소스이고 로컬에서 돌지만, 코드를 쓰는 도구라는 값은 그대로다. 상자에서 꺼내 바로 쓰기를 바라는 사람에게는 맞지 않는다. 혜택을 보는 쪽은 이미 지식 베이스를 직접 만들거나 에이전트를 위해 데이터 길을 깔고 있는 사람이다.