data-collection

ビジュアルなノーコード/コードフリーのウェブクローラー/スパイダー (易采集): 可視化ブラウザ自動テスト/データ収集/ウェブクローリングソフトウェア。コード不要でグラフィカルにクローリングタスクを設計・実行可能。別名: ServiceWrapper (Webアプリケーション向けのインテリジェントなサービスカプセル化システム)

ELTパイプラインおよびAIエージェント向けのオープンソースデータ移動 — API、データベース、ファイルからウェアハウス、レイク、AIアプリケーションまで。セルフホストおよびクラウドの両方に対応。

この GitHub リポジトリは、シンプルな自動化からフルスケールのアプリケーションまで、すぐに利用できる強力な API のコレクションです。GitHub 上で最も価値のある API リストの一つです。💪

🔥 公式Firecrawl MCPサーバー - Cursor、Claude、およびその他のLLMクライアントに強力なウェブスクレイピングと検索機能を追加。

カスタマーデータインフラストラクチャのリーダー。

クラウド設定およびセキュリティデータのデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、脆弱性管理ソリューションを構築。AWS、Azure、GCP、および70以上のクラウドおよびSaaSソースから抽出。

JitsuはオープンソースのSegment代替品。モダンなデータチーム向けの完全にスクリプト可能なデータ取り込みエンジン。数日ではなく数分でリアルタイムデータパイプラインを構築可能。

複数のアカウントのローテーションとレート制限の自動処理を備えた、X/Twitterスクレイピング用のPythonライブラリおよびCLI

パブリックウェブアクセスのためのオールインワンソリューションを提供する強力な Model Context Protocol (MCP) サーバー

API キー不要で Twitter/X からツイート、プロフィール、フォロワー、フォロー中をスクレイピング。スマートなマルチアカウントプーリング、プロキシサポート、非同期処理を備えた Python ライブラリ

Python の並行処理をシンプルに

HTTP(S)/SOCKS5 ローテーション住宅用プロキシ - コード例と一般情報。

IoT DC3は、AIエージェントへの進化を目指す、マルチプロトコル・クラウドネイティブ・AI駆動型のオープンソース産業用IoTプラットフォームです。デバイス接続、データ収集、エッジからクラウドへの配信、インテリジェントな運用まで、完全なIoTシステムソリューションを提供します。

Minecraft サーバープラットフォーム向けプレイヤー分析プラグイン - サーバー上のプレイヤーアクティビティを簡単に確認 :calendar:

🌊 Estuary を使用してデータフローを管理し、データが存在するシステムと利用したいシステムの間で継続的に同期を実現する 🌊

ODK Collect は、フォーム入力用の Android アプリです。世界中の困難な環境で何十億ものデータポイントの収集に使用されています。貢献して世界をより良い場所にしましょう！ ✨📋✨

Augurが限界に達したため、OSSのメトリクスデータを確実収集するAveloxisを開発しました。3日間で4万件のリポジトリを完全に収集できたのは素晴らしいことですよね。

ビッグデータ収集・抽出プラットフォーム。zdh_webはzdhシリーズサービスのビジュアル管理プラットフォームであり、データ収集、スケジューリング、権限管理、承認ワークフロー、プライベートドメインマーケティングなどのモジュールを含みます。