bigdata

Este es un repositorio con enlaces a todo lo que desearías aprender sobre ingeniería de datos

🚀 2.3 veces más rápido que MinIO para cargas útiles de objetos de 4KB. RustFS es un sistema de almacenamiento de objetos de alto rendimiento, de código abierto y compatible con S3, que admite la migración y la coexistencia con otras plataformas compatibles con S3 como MinIO y Ceph.

Base de datos de series temporales de alto rendimiento y escalable diseñada para escenarios de IoT industrial (IIoT)

Potenciando la inteligencia de datos con SQL distribuido para fragmentación, escalabilidad y seguridad en todas las bases de datos.

Guía de introducción a Big Data :star:

Una lista curada de impresionantes frameworks de big data, recursos y otras maravillas.

JuiceFS es un sistema de archivos POSIX distribuido construido sobre Redis y S3.

Data Agent Ready Warehouse: Uno para análisis, búsqueda, IA y entorno aislado de Python. Reconstruido desde cero. Arquitectura unificada en tu S3.

DataFrame híbrido fuera de núcleo (out-of-core) de Apache Arrow/NumPy para Python, aprendizaje automático, visualización y exploración de grandes datos tabulares a mil millones de filas por segundo 🚀

Inserciones actualizadas (upserts), eliminaciones y procesamiento incremental en Big Data.

Un sistema de procesamiento por lotes nativo de la nube (proyecto bajo la CNCF)

Más de 100 plantillas HTML5 de visualización de grandes datos; incluye industrias como comunidad, bienes raíces, gobierno, transporte, finanzas y banca, siendo las más nuevas, numerosas, completas y llamativas de la web. Actualizaciones en curso.

Un framework de integración de datos

🔨 Genera sentencias SQL estructuradas usando JSON, implementado con Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. El proyecto es simple (enfocado en la lógica más que en la interfaz), ideal para practicar.

Apache Avro es un sistema de serialización de datos.

Aprendizaje de Big Data, aprenda Big Data desde cero, incluyendo videos de aprendizaje de varias etapas de Big Data y materiales de entrevistas

GridDB es una base de datos de código abierto de próxima generación que hace que las series temporales de IoT y Big Data sean rápidas y sencillas.

Aix-DB se basa en los frameworks LangChain/LangGraph, combinados con la arquitectura de colaboración multiagente MCP Skills, para lograr la conversión de extremo a extremo de lenguaje natural a información de datos.

.NET for Apache® Spark™ hace que Apache Spark™ sea fácilmente accesible para los desarrolladores de .NET.

Extensión de SQL en tiempo real basada en Apache Flink de código abierto; implementa principalmente la unión (join) entre streams y tablas de dimensiones, compatible con toda la sintaxis de Flink SQL nativo.

Byzer (anteriormente MLSQL): Un lenguaje de programación de código abierto de bajo código para pipelines de datos, analítica e IA.

Repositorio de conocimientos de Big Data que abarca el modelado de almacenes de datos, computación en tiempo real, Big Data, centros de datos (data mid-end), diseño de sistemas, Java, algoritmos, etc.

Servicio distribuido de orquestación de Big Data

Rastreador web de imágenes multiproceso para Google y Naver (Selenium)

Tutoriales de Apache Spark y Python (pySpark) para análisis de Big Data y Machine Learning en formato de notebooks de IPython / Jupyter.

:truck: Flujos de trabajo de preparación de datos ágiles facilitados con Pandas, Dask, cuDF, Dask-cuDF, Vaex y PySpark

La primera plataforma de descubrimiento y observabilidad de datos de código abierto. Facilitamos la vida a los profesionales de datos para que puedas centrarte en tu negocio.

Apache Celeborn es un servicio elástico y de alto rendimiento para datos de shuffle y desbordamiento.

Sincronización de datos en golang para ClickHouse.

Apache Livy es una interfaz REST de código abierto para interactuar con Apache Spark desde cualquier lugar.