dataops

멀티모달 AI를 위한 오픈 레이크하우스 포맷. 2줄의 코드로 Parquet에서 변환하여 100배 빠른 임의 접근, 벡터 인덱스, 데이터 버전을 지원합니다. Pandas, DuckDB, Polars, Pyarrow, PyTorch와 호환되며 더 많은 연동이 추가될 예정입니다.

Redpanda Console은 Kafka/Redpanda 워크로드를 관리하기 위한 개발자 친화적인 UI입니다. 토픽 가시성 확보, 데이터 마스킹, 컨슈머 그룹 관리, 타임 트래블 디버깅을 통한 실시간 데이터 탐색을 간단하고 대화형 방식으로 제공합니다.

확장 가능하고 효율적인 데이터 변환 프레임워크 - dbt와 하위 호환성 제공

머신러닝 모델 및 데이터 파이프라인을 위한 오픈소스 데이터 로깅 라이브러리 📚 시간에 따른 데이터 품질 및 모델 성능에 대한 가시성 제공 🛡️ 개인정보 보호를 지원하는 데이터 수집으로 안전성과 견고성 보장 📈

Meltano: 상상하던 데이터 및 ML 기반 제품 아이디어를 실현해 주는 선언적 코드 기반 데이터 통합 엔진. 직접 API 통합을 작성, 유지 관리, 확장하는 번거로움에서 벗어나세요.

데이터 및 분석 엔지니어링을 위한 dbt 네이티브 데이터 관측성 솔루션. 몇 분 만에 데이터 파이프라인을 모니터링하세요. 프리미엄 기능이 포함된 셀프 호스팅 또는 클라우드 서비스로 제공됩니다.

개발용 Kafka Docker. Kafka, Zookeeper, Schema Registry, Kafka-Connect 및 20개 이상의 커넥터 포함

클라우드 네이티브 DataOps 및 AIOps 플랫폼

Web-UI를 포함하며 Flink, DataX, Flink-CDC 기반의 애자일 Ontology DataOps 지원

📙 멋진 데이터 카탈로그 및 옵저버빌리티 플랫폼 모음

Optimus는 데이터 변환, 데이터 모델링, 파이프라인 및 데이터 품질 관리를 위한 사용기 쉽고 안정적이며 고성능인 워크플로 오케스트레이터입니다.

Tenzir는 보안 팀을 위한 데이터 파이프라인 엔진입니다.

Polyaxon을 위한 AI/ML/데이터 추적, 시각화, 설명 가능성, 드리프트 감지 및 대시보드 엔진