data-processing

스트림 처리, 실시간 분석, LLM 파이프라인, RAG를 위한 Python ETL framework.

장기 에이전트를 위한 증분 엔진 🌟 마음에 드신다면 Star를 눌러주세요!

데이터 처리 및 Linux 시스템 유지를 위한 유용한 Bash 원줄기 명령어 및 터미널 팁 모음입니다.

Miller는 CSV, TSV, 표 형식의 JSON 등 이름 색인 데이터에 대한 awk, sed, cut, join, sort와 같은 도구입니다.

JSON, TOML, YAML, XML, INI, HCL, KDL 및 CSV의 통합 쿼리, 변환 및 수정.

최신 LLM 기반 오퍼레이터와 파이프라인을 활용한 간편한 데이터 전처리

C++ 코어와 50개 이상의 Python 확장 가능 노드를 갖춘 고성능 AI 파이프라인 엔진. 13개 이상의 모델 제공업체, 8개 이상의 벡터 데이터베이스, 에이전트 오케스트레이션을 통해 IDE에서 직접 LLM 워크플로우를 구축, 디버그 및 확장하세요. VS Code 확장 프로그램, TypeScript/Python SDK, Docker 배포 포함.

파운데이션 모델을 위한, 그리고 모델과 함께하는 데이터 처리! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

딥러닝 학습 및 추론 애플리케이션을 가속화하기 위해 데이터 처리를 위한 고도로 최적화된 빌딩 블록과 실행 엔진을 포함하는 GPU 가속 라이브러리

DuckDB와 3FS를 기반으로 구축된 경량 데이터 처리 프레임워크

가볍고 유연하며 표현력 있는 통계 데이터 테스트 라이브러리

대규모 병렬 데이터 및 스트리밍 작업을 실행하기 위한 쿠버네티스 네이티브 플랫폼

비정형 데이터를 위한 컨텍스트 레이어: S3, GCS, Azure 상의 타입 지정 및 버전 관리된 데이터셋

Elixir를 이용한 동시성 및 다단 데이터 수집 및 처리

TensorFlow 기반 머신러닝, 자연어 처리 및 텍스트 생성을 위한 툴킷입니다. CASL 프로젝트(http://casl-project.ai/)의 일부입니다.

Python 스트림 처리

LLM을 위한 확장 가능한 데이터 전처리 및 큐레이션 툴킷

OLMo 사전 훈련 데이터를 생성하고 검사하기 위한 데이터 및 도구.

동시성 Python을 간단하게.

도서 부수 소스 코드: Data Science on the Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017

ML 인프라를 위한 PyTorch처럼, Python에서 Kubernetes로 AI 워크로드 분산 및 실행을 마법처럼 처리

CSS, XPath 3.0, XQuery 3.0, JSONiq 또는 패턴 매칭을 사용하여 HTML/XML 페이지나 JSON-API에서 데이터를 다운로드하고 추출하는 명령줄 도구입니다. 새로운 XML/HTML/JSON 문서를 생성하거나 변환할 수도 있습니다.

올인원 텍스트 중복 제거 도구

HStreamDB는 IoT 및 그 이상을 위한 오픈소스 클라우드 네이티브 스트리밍 데이터베이스로, 실시간 애플리케이션을 위한 데이터 스택 현대화를 지원함

R을 이용한 고급 고속 데이터 변환

Apache Kafka 관련 리스트

👾~ 음악, 영원 ~ 👾

고급 몬테카를로 시뮬레이션과 Turbit 병렬 처리를 사용하여 비트코인 예측 시나리오를 생성하는 도구

MARVIS-Agent: 모델 개발, 검증, 데이터 처리, 피처 엔지니어링 및 전략 워크플로우를 위한 범용 신용 위험 에이전트

데이터베이스 없이 작동하는 SQL 런타임입니다.