scraper

Newspaper4k, un fork del popular Newspaper3k para la extracción de artículos, títulos y metadatos de sitios web de noticias.

Crawly, un framework de alto nivel para web crawling y scraping en Elixir.

Desarrollo de scrapers web en Ruby mediante un DSL limpio asistido por IA. Kimurai utiliza IA para identificar la ubicación de los datos, almacena selectores en caché y realiza el scraping con Ruby puro, obteniendo la inteligencia de un LLM sin la latencia ni los costos por token de cada solicitud.

Scripts de web scraping en Python escalables para más de 40 dominios populares.

API PHP+REST no oficial de MyAnimeList que ofrece funciones adicionales a la API oficial

Universal Reddit Scraper: una herramienta de línea de comandos integral para extraer y archivar datos de Reddit.

Un gestor integral para organizar recursos en la computadora, con elementos de gamificación.

Un cliente HTTP en Rust ergonómico y consciente de la privacidad

Scraper de Google Play para Python inspirado en <facundoolano/google-play-scraper>

La primera herramienta para ver publicaciones privadas de Instagram de forma anónima

Un rastreador/scraper web de alto rendimiento en Elixir

Obtén tweets, respuestas, líneas de tiempo y artículos de X/Twitter sin inicio de sesión ni claves API; herramienta de campo para agentes de IA.

API HTTP para spiders de Scrapy

Una biblioteca basada en Kotlin para pruebas, scraping y análisis, que permite extraer datos de HTML (renderizado en servidor y cliente). Pone especial énfasis en la facilidad de uso y alta legibilidad mediante un DSL intuitivo. Aunque está diseñada como biblioteca de pruebas, también puede usarse para hacer scraping de sitios web de forma conveniente.

Herramienta de línea de comandos para descargar y extraer datos de páginas HTML/XML o API JSON, utilizando CSS, XPath 3.0, XQuery 3.0, JSONiq o coincidencia de patrones. También puede crear documentos XML/HTML/JSON nuevos o transformados.

Crea un archivo ZIM desde cualquier sitio web y navega sin conexión

Un descargador de galerías de imágenes y doujinshi de propósito general

Convierte algunas novelas web al formato epub

Una versátil librería de web spidering para Ruby capaz de rastrear un sitio, múltiples dominios, enlaces específicos o de forma infinita. Spidr está diseñado para ser rápido y fácil de usar.

API de Java para Chrome y Firefox

Una base de datos abierta de datos de sanciones internacionales, personas de interés y personas expuestas políticamente

Motor de scraping autohospedado: evita cualquier desafío de JS y captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa y reemplazo directo para FlareSolverr y Byparr en tu stack *arr.

Scraper de perfiles de LinkedIn que devuelve datos estructurados en formato JSON.

operative framework es un framework de OSINT basado en Rust; permite interactuar con múltiples objetivos, ejecutar diversos módulos, crear enlaces con objetivos, exportar informes a PDF, añadir notas a objetivos o resultados, interactuar con API RESTful y escribir tus propios módulos.

Paquete de Python para extraer datos de propiedades inmobiliarias.

Un rastreador de precios multiusuario autohospedado para Amazon, Aliexpress, ebay y muchas otras tiendas personalizadas. Reciba notificaciones cuando el precio cumpla con uno o más criterios establecidos por el usuario.

La herramienta de OSINT Slash.

Una biblioteca de Scala para extraer contenido de páginas HTML

Una lista de scrapers de toda la web.

Documentación de la API interna de Twitter