inference

Tutorial API C++ TensorRT.

Jalankan model TensorFlow di C++ tanpa instalasi dan tanpa Bazel

Contoh notebook untuk bekerja dengan SageMaker Studio Lab. Daftar akun melalui tautan di bawah!

Paket Python yang kecil, cepat, dan bebas dependensi untuk menyimpulkan jenis file biner dengan memeriksa tanda magic numbers

Alat Produktivitas AI - Gratis dan sumber terbuka, meningkatkan produktivitas pengguna, serta melindungi privasi dan keamanan data. Mencakup namun tidak terbatas pada: ChatGPT lokal eksklusif bawaan, DeepSeek, Phi, Qwen, dan model lainnya, pemrosesan cerdas batch satu klik untuk gambar, video, audio, dll.

⚡ Server inferensi LLM MLX Swift native untuk Apple Silicon. API yang kompatibel dengan OpenAI, streaming SSD untuk model MoE 100B+, kompresi cache KV TurboQuant, aplikasi MACOS + iOS iPhone.

Mesin inferensi Machine Learning untuk mikrokontroler dan perangkat tersemat

Framework inferensi model LLM yang ringan

Alat identifikasi WAF buta

yolort adalah tumpukan runtime untuk yolov5 pada akselerator khusus seperti tensorrt, libtorch, onnxruntime, tvm, dan ncnn.

Privacy Meter: Pustaka open-source untuk mengaudit privasi data dalam algoritma statistik dan machine learning.

Graph Data Science: lapisan abstraksi dalam Python untuk membangun knowledge graph, terintegrasi dengan pustaka grafik populer – di atas Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, dll.

Continual learning infra for self-improving agents

Ollama untuk model ML klasik. Kompiler AOT yang mengubah model XGBoost, LightGBM, scikit-learn, CatBoost & ONNX menjadi kode inferensi C99 asli. Satu perintah untuk memuat, satu perintah untuk melayani. 336x lebih cepat daripada inferensi Python.

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

Latih detektor objek yolov3 canggih dari awal!

Simulator yang akurat, berskala besar, dan dapat diperluas untuk sistem inferensi LLM

Mesin inferensi onnx murni C99 yang ringan dan portabel untuk perangkat tertanam dengan dukungan akselerasi perangkat keras.

Orkestrasi tugas GPU serverless berkinerja tinggi — lapisan penjadwalan di balik wavespeed.ai

Pahami inferensi llama3 langkah demi langkah, pahami konsep inti, kuasai penurunan proses, dan implementasikan kodenya.

Deep Learning Streamer (DL Streamer) Pipeline Framework adalah kerangka kerja analitik media streaming sumber terbuka, berbasis kerangka kerja multimedia GStreamer*, untuk membuat pipeline analitik media yang kompleks untuk Cloud atau Edge.

Konversi model mmdetection ke tensorrt, mendukung fp16, int8, input batch, bentuk dinamis, dll.

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

Pustaka Python untuk deteksi objek kecil YOLO dan segmentasi instans

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ Lakukan fine-tune, bangun, dan deploy LLM open-source dengan mudah!

Jalankan beban kerja deep learning Anda di Kubernetes dengan lebih mudah dan efisien.

Triton Model Analyzer adalah alat CLI untuk membantu memahami kebutuhan komputasi dan memori dari model Triton Inference Server.

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

Penerapan AI rahasia dengan secure enclave