crawler

Recopilación de artículos destacados sobre ingeniería inversa, vale la pena leerlos

🤖 Extrae datos de sitios web HTML automáticamente con solo proporcionar ejemplos

Compartición de código de scraping del hermano K, ingeniería inversa de JS, scraping avanzado. Sigue la cuenta oficial: K哥爬虫

Rastreador/scraper web ligero en Ruby con un DSL elegante para extraer datos estructurados de páginas.

El kit de herramientas principal para la auditoría y explotación de falsificación de peticiones en sitios cruzados (CSRF).

📝 Rastrea rápidamente la información (por ejemplo, seguidores, etiquetas, etc.) de un perfil de Instagram.

El escáner de dorks más rápido escrito en Go.

Herramienta de scraping para ofertas de empleo en BOSS Zhipin, basada en el protocolo Chrome CDP para reutilizar estados de inicio de sesión, eludir protecciones de fuentes y exportar datos en JSON/CSV con análisis de habilidades salariales.

Beanbun es un framework de web scraping multiproceso escrito en PHP, altamente abierto y escalable, basado en Workerman.

Un descargador de cómics de Bilibili con interfaz gráfica, soporte para búsqueda por palabras clave, inicio de sesión con código QR, descarga de capítulos bloqueados, descarga multihilo, múltiples formatos de guardado, gestión local y actualización con un clic

Herramienta de recorrido automático de aplicaciones basada en Appium

Descarga fácilmente todas las fotos y videos de los blogs de Tumblr.

Newspaper4k, un fork del popular Newspaper3k para la extracción de artículos, títulos y metadatos de sitios web de noticias.

Servidor de búsqueda empresarial y de sitios de código abierto y autohospedado basado en OpenSearch. Rastrea fuentes web, archivos, bases de datos y la nube, con soporte para más de 20 idiomas, API REST, IA/RAG y búsqueda semántica. Licencia Apache-2.0.

Ejecuta un crawler de archivo web de alta fidelidad basado en navegador dentro de un único contenedor Docker.

Crawly, un framework de alto nivel para web crawling y scraping en Elixir.

Desarrollo de scrapers web en Ruby mediante un DSL limpio asistido por IA. Kimurai utiliza IA para identificar la ubicación de los datos, almacena selectores en caché y realiza el scraping con Ruby puro, obteniendo la inteligencia de un LLM sin la latencia ni los costos por token de cada solicitud.

Scripts de web scraping en Python escalables para más de 40 dominios populares.

Eliminación de marcas de agua de videos cortos en Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin, Pipigaoxiao, Xigua, Huya, Pear Video, AcFun, Haokan, etc.

Descarga y extracción de novelas, soporte para Qidian y Biquge, exportación a Markdown y txt, conversión a epub, filtrado de anuncios y corrección automática

Un cliente HTTP en Rust ergonómico y consciente de la privacidad

Scraper de Google Play para Python inspirado en <facundoolano/google-play-scraper>

Una herramienta para pixiv.net. Un scraper de Pixiv accesible para todos.

Un rastreador web escalable, maduro y versátil basado en Apache Storm

Lanzamientos, wiki y hoja de ruta de SpiderSuite (rastreador de seguridad web)

Un rastreador/scraper web de alto rendimiento en Elixir

Alternativa rápida y ligera a Firecrawl/Tavily escrita en Rust. Web scraper, crawler y API de búsqueda con servidor MCP para agentes de IA. API compatible con Firecrawl (/scrape, /crawl, /search). 2.3 veces más rápido que Tavily y 1.5 veces más rápido que Firecrawl en benchmarks de 1000 URLs. 6 MB de RAM, binario único. Autohospedable o mediante nube gestionada.

Herramientas de protocolo en Python puro y notas de investigación para X.com, con conjuntos de datos de la cuenta de Twitter de VibeLoft.

Un framework de rastreo multihilo con muchos rastreadores de imágenes integrados.

ChatWeb puede rastrear páginas web, leer archivos PDF, DOCX y TXT, extraer el contenido principal y responder preguntas basadas en dicho contenido o resumir los puntos clave.