spider-flow は「クローラ開発」をコードの山からフロー設計へ変換する。リクエスト、解析、クレンジング、分岐、ループ、保存をフローチャートで接続し、プラットフォームが各ノードを実行可能なジョブチェーンへ落とし込んで実行状態を可視化する。基盤は Spring Boot でWebコンソールとスケジューリング入口を提供し、解析は jsoup を核にXPath/JsonPath/CSS/正規表現を混在させて抽出を再利用可能なノードへ分解する。動的レンダリングや対策が必要な場面では、Selenium などのプラグインでブラウザ実行を実行器として差し替え可能にし、コアを肥大化させずに能力を追加できる。Redis、MongoDB、OSS、プロキシプール、OCR、メール等の拡張により、収集の前後工程まで設定でまとめて組み上げられる。
| ✕従来の課題 | ✓革新的ソリューション |
|---|---|
| スクリプト型クローラは要求追加で複雑性が爆発する。リトライ、ページング、分岐、整形、複数出力が入るとコードが破綻しやすい。 | spider-flow はフローチャートでロジックを可視化し、ノードを能力単位として再利用できる。分岐・ループ・例外処理も構造として共有可能になる。 |
| 観測性が弱いと、失敗点や抽出精度、処理時間、データ品質がログに埋もれ、原因特定と再発防止が重くなる。 | 抽出文法と実行器プラグイン（例：Selenium）を分離し、コアを軽量に保ったまま必要な能力だけを装着できる。監視とログで実行状態を監査可能な資産に変える。 |
1git clone https://github.com/ssssssss-team/spider-flow.git1sed -n '1,120p' src/main/resources/application.properties1mvn -q spring-boot:run1open http://localhost:8080| コアシーン | 対象読者 | ソリューション | 成果 |
|---|---|---|---|
| EC競合の収集とDB投入 | データ分析担当と運用 | 一覧・詳細を可視化フローで収集して業務DBへ保存 | 価格・在庫の追跡可能な資産を構築し意思決定を加速 |
| 炎上・コンテンツ監視ボット | 広報とコンテンツチーム | 定期クロールしてタイトル/本文/キーワードを抽出 | 手動巡回を自動アラートに置き換え遅延と漏れを削減 |
| テストデータ生成パイプライン | QAとバックエンドエンジニア | サンプルを大量収集し標準JSON/CSVへ整形 | 高品質なテストセットを安定供給し工数とミスを削減 |
