dataops

Open Lakehouse Format 用于多模态 AI，两行代码即可将 Parquet 转换，速度提升 100 倍，支持 Pandas、DuckDB、Polars、Pyarrow 与 PyTorch，未来将加入更多整合

Redpanda Console 是一个面向开发者的 UI，协助管理 Kafka/Redpanda 工作负载。Console 提供简单交互式界面，让你能查看主题、遮蔽资料、管理消费者群组，并以时间旅行调试方式探索实时资料

可扩展且高效的数据转换框架，向后相容 dbt

用于机器学习模型和数据管道的开源数据日志库。📚 提供对数据质量和模型长期性能的可见性。🛡️ 支持隐私保护的数据收集，确保安全与鲁棒性。📈

Meltano：声明式、代码优先的数据集成引擎，助力实现您最狂野的数据与 ML 驱动产品创意。告别编写、维护和扩展您自己的 API 集成。

专为数据与分析工程师打造的 dbt 原生数据可观测性解决方案。几分钟内即可监控您的数据管道。提供具备高级功能的自托管部署或云服务。

用于开发的 Kafka Docker。包含 Kafka、Zookeeper、Schema Registry、Kafka-Connect 以及 20 多个连接器。

云原生数智运维平台

基于 Flink、DataX 与 Flink-CDC 并支持 Web-UI 的敏捷 Ontology DataOps 支持方案

📙 超赞的数据目录与可观测性平台。

Optimus 是一个易于使用、可靠且高性能的工作流协调器，用于数据转换、数据建模、管道与数据质量管理。

Tenzir 是专为安全团队打造的数据管道引擎。

Polyaxon 的 AI/ML/数据追踪、可视化、可解释性、漂移检测与仪表板引擎。