html-to-markdown

大規模にウェブを検索、スクレイピング、操作するためのContext API。🔥

🛏 JavaScriptで記述されたHTMLからMarkdownへのコンバーター

Pythonおよびコマンドラインツール。Web上のテキストとメタデータを収集：クローリング、スクレイピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとしての出力。

⚙️ HTMLをMarkdownに変換。ウェブサイト全体にも対応し、ルールを通じて拡張可能です。

AnyCrawl 🚀: Web サイトを LLM 向けのデータに変換し、Google/Bing/Baidu などから構造化された SERP 結果を抽出する Node.js/TypeScript クローラー。一括処理用のネイティブマルチスレッドを搭載。

ソースレベルのASTを持つCommonMark/Markdown Javaパーサー。CommonMark 0.28準拠、pegdown、kramdown、markdown.pl、MultiMarkdownのエミュレーションに対応。HTMLからMD、MDからPDF、MDからDOCXへの変換モジュール付き。

LLM向けの高速でローカルファーストなWebコンテンツ抽出ツール。スクレイピング、クロール、構造化データの抽出をすべてRustで実行。CLI、REST API、MCPサーバーに対応。

コマンドライン処理向けの、jq に似た Markdown クエリ言語

Rust製の高速で軽量な Firecrawl/Tavily 代替ツール。AI エージェント向け MCP サーバーを備えた Web スクレイパー、クローラー、検索 API。Firecrawl 互換 API (/scrape, /crawl, /search) をドロップインで利用可能。1K-URL のベンチマークでは Tavily の 2.3 倍、Firecrawl の 1.5 倍高速。6 MB RAM、シングルバイナリ。セルフホストまたはマネージドクラウドに対応。

helloworld開発者コミュニティがオープンソース化した軽量かつ強力なHTMLからMDへの一括変換ツール。マルチプラットフォームの記事の一括変換をサポートし、ローカルへの保存・ダウンロードが可能。

🔥 このリポジトリには、Firecrawlを使用して開発されたWebサイトやその他のプロジェクトを含む完全なアプリケーション例が含まれています。

エージェント向けに優れたリンク抽出機能を備えた、100%無料で完全オープンソースのFirecrawl代替品。CloudflareやVercelに自分でデプロイ可能。

HTML から Markdown へのコンバーターおよびクローラー。

AIのためのオープンソースWebインフラ。Webのスクレイピング、クロール、自動化、クリーンなMarkdown変換、ブラウザセッションを提供し、エージェントの即時利用に対応します。

マークアップをシンプルに。HTML から Markdown への変換ツール。プラグイン性が高く、柔軟で使いやすい Breakdance。

Atlassian Confluence のページを Markdown ファイルとしてエクスポート。