data-collection

Un crawler/spider web visuel sans code. YiCaiJi : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel permettant de concevoir et d'exécuter des tâches de scraping sans code. Alias : ServiceWrapper, un système d'encapsulation de services intelligents pour applications Web.

Transfert de données open-source pour pipelines ELT et agents IA — depuis les API, bases de données et fichiers vers des entrepôts, lacs de données et applications IA. Disponible en auto-hébergement ou via le Cloud.

Ce dépôt GitHub est une collection puissante d'API que vous pouvez utiliser immédiatement pour créer tout type de projet, des automatisations simples aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub.

Serveur MCP officiel Firecrawl - Ajoute des capacités puissantes de web scraping et de recherche à Cursor, Claude et tout autre client LLM.

Le leader de l'infrastructure de données client.

Pipelines de données pour la configuration cloud et la sécurité. Créez des solutions d'inventaire d'actifs cloud, de CSPM, de FinOps et de gestion des vulnérabilités. Extraction depuis AWS, Azure, GCP et plus de 70 sources cloud et SaaS.

Jitsu est une alternative open source à Segment. Moteur d'ingestion de données entièrement scriptable pour les équipes de données modernes. Configurez un pipeline de données en temps réel en quelques minutes.

Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.

Un serveur Model Context Protocol (MCP) puissant offrant une solution tout-en-un pour l'accès au web public.

Scrapez des tweets, profils, abonnés et abonnements depuis Twitter/X, sans clé API nécessaire. Bibliothèque Python avec regroupement intelligent de comptes multiples, support de proxy et asynchrone.

La programmation concurrente en Python simplifiée

Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.

IoT DC3 est une plateforme IoT industrielle open-source, multi-protocole, cloud-native et alimentée par l'IA, évoluant vers des agents IA. Une solution système IoT complète : connectivité des appareils, acquisition de données, transfert de la périphérie vers le cloud et opérations intelligentes.

Plugin d'analyse de joueurs pour les plateformes de serveurs Minecraft - Visualisez facilement l'activité des joueurs sur votre serveur.

Synchronisez en continu les systèmes où résident vos données vers les systèmes où vous souhaitez qu'elles soient, en gérant vos flux de données avec Estuary.

ODK Collect est une application Android pour remplir des formulaires. Elle a été utilisée pour collecter des milliards de points de données dans des environnements difficiles à travers le monde.

Quand Augur a atteint ses limites, nous avons créé Aveloxis : collecte fiable de données de métriques open source. 40 000 dépôts entièrement collectés en 3 jours, c'est bien, non ?

Plateforme de collecte et d'extraction de Big Data. zdh_web est une plateforme de gestion visuelle pour les services de la série zdh, incluant la collecte de données, la planification, les permissions, les flux d'approbation et le marketing privé.