spider-flow는 ‘크롤러 작성’을 코드 더미에서 플로우 설계로 바꾼다. 요청, 파싱, 정제, 분기, 루프, 저장을 플로우차트로 연결하면 플랫폼이 각 노드를 실행 가능한 작업 체인으로 구성하고 런타임 상태를 관측 가능하게 만든다. 기반은 Spring Boot로 웹 콘솔과 스케줄링 진입점을 제공하며, 파싱 계층은 jsoup를 중심으로 XPath/JsonPath/CSS/정규식을 혼합해 추출을 재사용 가능한 노드 조합으로 분해한다. 동적 렌더링이 필요한 경우 Selenium 같은 플러그인으로 브라우저 실행을 교체 가능한 실행기로 끼워 넣어, 코어를 비대화하지 않고도 능력을 확장한다. Redis, MongoDB, OSS, 프록시 풀, OCR, 이메일 플러그인까지 갖춰 수집 파이프라인의 인프라 조립을 설정 수준으로 압축한다.
| ✕기존 문제점 | ✓혁신적 솔루션 |
|---|---|
| 스크립트 기반 크롤러는 기능이 늘수록 상태 머신이 되어 유지보수가 무너진다. 재시도, 페이징, 분기, 정제, 다중 저장이 붙으면 특히 심각하다. | spider-flow는 플로우차트로 로직을 명시화하고 노드를 능력 단위로 재사용하게 만든다. 분기/루프/예외 처리가 구조로 드러나 협업과 유지보수가 쉬워진다. |
| 관측성이 약하면 실패 지점, 규칙 적중률, 지연 시간, 산출물 품질이 로그에 묻혀 디버깅과 재현이 비싸진다. | 추출 문법과 실행기 플러그인(예: Selenium)을 분리해 코어는 경량으로 유지하고 필요 능력만 조립한다. 모니터링과 로그로 런타임을 감사 가능한 자산으로 만든다. |
1git clone https://github.com/ssssssss-team/spider-flow.git1sed -n '1,120p' src/main/resources/application.properties1mvn -q spring-boot:run1open http://localhost:8080| 핵심 시나리오 | 대상 고객 | 솔루션 | 최종 결과 |
|---|---|---|---|
| 이커머스 경쟁사 수집 및 DB 적재 | 데이터 분석가와 운영 | 목록/상세를 크롤링해 업무 DB로 저장하는 시각화 플로우 구성 | 추적 가능한 가격·재고 데이터 자산으로 의사결정 속도 향상 |
| 여론 및 콘텐츠 모니터링 봇 | PR 및 콘텐츠 팀 | 주기 크롤링 후 규칙 기반으로 제목/본문/키워드 추출 | 수동 점검을 자동 알림으로 전환해 누락과 지연 최소화 |
| 테스트 데이터 생성 파이프라인 | QA와 백엔드 엔지니어 | 샘플을 대량 수집하고 표준 JSON/CSV로 정제 | 고품질 데이터셋을 안정적으로 공급해 수작업 비용과 오류 감소 |
