spark

Data Engineering Zoomcamp es un curso gratuito de 9 semanas sobre cómo construir tuberías de datos listas para producción. La próxima cohorte comienza en enero de 2026. Únete al curso aquí 👇🏼

Apache Spark: un motor de analítica unificado para el procesamiento de datos a gran escala

Notebooks de Python para ciencia de datos: Aprendizaje profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fundamentos de Python, AWS y varias líneas de comandos.

Haz que tu empresa se impulse mediante datos. Conéctate a cualquier fuente de datos, visualiza fácilmente, crea paneles y comparte tu información.

Última tecnología de contenedores Docker, ¡aprende las mejores prácticas a partir de casos reales! | ¡Aprende y comprende las tecnologías de Docker y contenedores con práctica real de DevOps!

Guía de introducción a Big Data :star:

Lista de hojas de referencia de ciencia de datos para dominar el mundo

Interfaz gráfica para la API de ChatGPT y muchos LLMs. Soporta agentes, preguntas y respuestas basadas en archivos, ajuste fino de GPT y consultas con búsqueda web. Todo con una interfaz limpia.

Blog de aprendizaje de Flink. http://www.54tianzhisheng.cn/ Incluye introducción, conceptos, principios, práctica, optimización de rendimiento y análisis de código fuente de Flink. Abarca casos de estudio de Flink Connector, Metrics, Library, DataStream API, Table API y SQL, así como casos de proyectos a gran escala (PVUV, almacenamiento de logs, deduplicación en tiempo real de miles de millones de datos, monitoreo y alertas). ¡Bienvenido a apoyar mi columna de artículos!

Columna de entrevistas en grandes empresas: Una guía técnica que todo programador de Java necesita, incluye preguntas de entrevistas, arquitectura de sistemas, consejos profesionales, middleware principal y más para ayudarte a convertirte en un mejor profesional.

Conjunto de herramientas para desplegar y entrenar modelos de deep learning utilizando la JVM. Destaca la importación de modelos para Keras, TensorFlow y ONNX/PyTorch, una biblioteca modular y ligera en C++ para ejecutar código matemático y una biblioteca matemática basada en Java construida sobre la biblioteca central en C++. También incluye SameDiff: una biblioteca similar a PyTorch/TensorFlow para ejecutar deep learning...

Analizador y transpilador de SQL en Python

Un marco de almacenamiento de código abierto que permite construir una arquitectura Lakehouse con motores de computación que incluyen Spark, PrestoDB, Flink, Trino y Hive, y APIs

🧙 Construye, ejecuta y gestiona canales de datos para integrar y transformar datos.

H2O es una plataforma de Machine Learning de código abierto, distribuida, rápida y escalable: Deep Learning, Gradient Boosting (GBM) y XGBoost, Random Forest, Modelado Lineal Generalizado (GLM con Elastic Net), K-Means, PCA, Modelos Aditivos Generalizados (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Machine Learning Automático (AutoML), etc.

Alluxio, orquestación de datos para análisis y aprendizaje automático en la nube

Un Parameter Server flexible y potente para aprendizaje automático a gran escala

Cuaderno web que permite análisis de datos interactivos y basados en datos, y documentos colaborativos con SQL, Scala y más.

Biblioteca de Python de Machine Learning simple y distribuida que adapta algoritmos de ML para Spark

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台，mlops算法链路全流程，算力租赁平台，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式训练，超参搜索，推理服务VGPU虚拟化，边缘计算，标注平台自动化标注，deepseek等大模型sft微调/奖励模型/强化学习训练，vllm/ollama/mindie大模型多机推理，私有知识库，AI模型市场，支持国产cpu/gpu/npu 昇腾生态，支持RDMA，支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

Procesamiento de Lenguaje Natural de última generación

The Hunting ELK

Un mejor bitset comprimido en Java: utilizado por Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw y muchos más

Deequ es una biblioteca construida sobre Apache Spark para definir "pruebas unitarias para datos", que miden la calidad de los datos en grandes conjuntos de datos.

🔨 Genera sentencias SQL estructuradas usando JSON, implementado con Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. El proyecto es simple (enfocado en la lógica más que en la interfaz), ideal para practicar.

Apache Linkis construye una capa de middleware de computación para facilitar la conexión, gobernanza y orquestación entre las aplicaciones superiores y los motores de datos subyacentes.

Apache Paimon es un formato de lago que permite construir una arquitectura Realtime Lakehouse con Flink y Spark tanto para operaciones de streaming como por lotes.

Koalas: API de pandas en Apache Spark

Reemplazo directo de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento de flujos y las cargas de trabajo de IA intensivas en computación.

DataSphereStudio es un portal integral de desarrollo y gestión de aplicaciones de datos, que abarca escenarios como intercambio de datos, enmascaramiento/limpieza, análisis/minería, medición de calidad, visualización y programación de tareas.