spark

LakeSoul est un framework Lakehouse cloud-native de bout en bout et en temps réel pour l'ingestion rapide de données, les mises à jour simultanées, l'analyse incrémentale, le traitement de données multimodales et la recherche vectorielle, alimentant les charges de travail BI et IA de nouvelle génération.

Apprentissage du Big Data, de zéro, incluant des vidéos de formation et des ressources pour les entretiens à chaque étape.

Opérateur Kubernetes pour gérer le cycle de vie des applications Apache Spark sur Kubernetes.

Serveur de tâches REST pour Apache Spark

Serveur d'inférence spéculative LLM pour matériel grand public et hétérogène

Exemples d'apprentissage rapide basés sur Spring Boot, intégrant divers frameworks open source tels que : rabbitmq (files d'attente différées), Kafka, jpa, redis, oauth2, swagger, jsp, docker, k3s, k3d, k8s, plugins de chiffrement mybatis, gestion des exceptions, logs, développement multi-modules, packaging multi-environnements, cache, web scraping, jwt, GraphQL, dubbo, zookeeper, Async, etc.

Système d'analyse des flux de passagers par mégadonnées du métro de Shenzhen 🚇🚄🌟

✨ Spark est un outil d'administration à distance (RAT) complet, multiplateforme et basé sur le web, écrit en Go, qui vous permet de contrôler tous vos appareils où que vous soyez.

Liaison de données probabiliste rapide, précise et évolutive avec prise en charge de multiples backends SQL.

Apache Kyuubi est une passerelle distribuée et multi-tenant fournissant du SQL serverless sur des data warehouses et des lakehouses.

TransmogrifAI est une bibliothèque AutoML pour créer des flux de travail d'apprentissage automatique modulaires, réutilisables et fortement typés sur Apache Spark avec un minimum de réglages manuels.

YTsaurus est une plateforme de Big Data open source, évolutive et tolérante aux pannes.

Outils pour manipuler les firmwares des produits DJI, avec un accent sur les quadricoptères

Interface unifiée pour le calcul distribué. Fugue exécute du code SQL, Python, Pandas et Polars sur Spark, Dask et Ray sans aucune réécriture.

Requêtes intégrées au langage (LINQ) compilées pour Scala.

.NET for Apache® Spark™ rend Apache Spark™ facilement accessible aux développeurs .NET.

Dépôt de code officiel pour GATK versions 4 et ultérieures

Connecteur entre Apache Spark et Apache Cassandra.

Dépôt de connaissances sur le Big Data couvrant la modélisation d'entrepôts de données, le calcul en temps réel, le Big Data, les plateformes de données, la conception de systèmes, Java et les algorithmes.

L'accélérateur Auron pour les frameworks de calcul distribué (ex: Spark) exploite l'exécution vectorisée native pour accélérer le traitement des requêtes

Synthèse de l'architecture des connaissances full-stack pour le backend (Java, Golang).

Organisation open source ApacheCN : annonces, présentation, membres, activités et canaux de communication

Plus de 2000 questions d'entretien pour ingénieurs de données

Elassandra = Elasticsearch + Apache Cassandra.

Tutoriels Apache Spark et Python (pySpark) pour l'analyse de Big Data et le Machine Learning sous forme de notebooks IPython / Jupyter

Un noyau Scala pour Jupyter.

Les rouages internes d'Apache Spark.

MLeap : déploiement de pipelines de machine learning en production

Flux de travail de préparation de données agiles simplifiés avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark

Nessie : Catalogue transactionnel pour Data Lakes avec une sémantique de type Git