crawling

シンプルで実用的なPythonウェブスクレイピングチュートリアルコード

オープンソースのSEO監査ツール。

LinkedInのプロフィール情報をスクレイピングし、構造化されたJSONデータとして返すツール

エージェント向けに優れたリンク抽出機能を備えた、100%無料で完全オープンソースのFirecrawl代替品。CloudflareやVercelに自分でデプロイ可能。

「Craw4LLM: Efficient Web Crawling for LLM Pretraining」の公式リポジトリ

Web fetch, search, and crawl for AI agents. Built from scratch in Rust. No keys, no accounts. AGPL v3.

LinkedIn APIから企業の従業員データをダンプ/スクレイピング/抽出するPython 3スクリプト

スパイダーの実行を監視するための Scrapy 拡張機能。

Node.js向けの信頼性が高く高水準なウェブクロール＆スクレイピングフレームワーク。