inference

TensorRT C++ API ट्यूटोरियल

बिना इंस्टॉलेशन और बिना Bazel के C++ में TensorFlow मॉडल चलाएँ

मैजिक नंबर सिग्नेचर की जाँच करके बाइनरी फ़ाइल प्रकारों का अनुमान लगाने के लिए छोटा, निर्भरता-मुक्त, तेज़ Python पैकेज

SageMaker Studio Lab के साथ काम करने के लिए उदाहरण नोटबुक्स। नीचे दिए गए लिंक पर एक खाता बनाएँ!

AI उत्पादकता टूल - मुफ्त और ओपन सोर्स, उपयोगकर्ता की उत्पादकता में सुधार करता है, और गोपनीयता तथा डेटा सुरक्षा की रक्षा करता है। इसमें शामिल हैं लेकिन सीमित नहीं: इन-बिल्ट लोकल एक्सक्लूसिव ChatGPT, DeepSeek, Phi, Qwen और अन्य मॉडल, चित्रों, वीडियो, ऑडियो आदि की एक-क्लिक बैच इंटेलिजेंट प्रोसेसिंग।

Apple Silicon के लिए नेटिव MLX Swift LLM इन्फरेंस सर्वर। OpenAI-संगत API, 100B+ MoE मॉडल के लिए SSD स्ट्रीमिंग, TurboQuant KV कैश कंप्रेशन, और MACOS + iOS iPhone ऐप।

एक हल्का-फुल्का LLM मॉडल इन्फेरेंस फ्रेमवर्क

माइक्रोकंट्रोलर और एम्बेडेड डिवाइस के लिए मशीन लर्निंग इन्फरेंस इंजन

Continual learning infra for self-improving agents

ब्लाइंड WAF पहचान टूल

yolort विशेष एक्सीलरेटर जैसे tensorrt, libtorch, onnxruntime, tvm और ncnn पर yolov5 के लिए एक रनटाइम स्टैक है।

Privacy Meter: सांख्यिकीय और मशीन लर्निंग एल्गोरिदम में डेटा गोपनीयता का ऑडिट करने के लिए एक ओपन-सोर्स लाइब्रेरी।

Graph Data Science: नॉलेज ग्राफ बनाने के लिए Python में एक एब्स्ट्रैक्शन लेयर, जो लोकप्रिय ग्राफ लाइब्रेरीज़ (Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow आदि) के साथ एकीकृत है।

क्लासिकल ML मॉडल के लिए Ollama। एक AOT कंपाइलर जो XGBoost, LightGBM, scikit-learn, CatBoost और ONNX मॉडल को नेटिव C99 इन्फरेंस कोड में बदलता है। लोड करने के लिए एक कमांड, सर्व करने के लिए एक कमांड। Python इन्फरेंस से 336 गुना तेज़।

शून्य से एक अत्याधुनिक yolov3 ऑब्जेक्ट डिटेक्टर को ट्रेन करें!

Pure Rust + CUDA LLM इन्फरेंस इंजन — कोई PyTorch नहीं, OpenAI-compatible, Qwen3 से Kimi-K2 तक सर्व करता है

LLM अनुमान (inference) प्रणालियों के लिए सटीक, बड़े पैमाने पर और विस्तार योग्य सिम्युलेटर

हार्डवेयर एक्सेलेरेशन सपोर्ट के साथ एम्बेडेड डिवाइस के लिए एक हल्का, पोर्टेबल प्योर C99 ONNX इन्फरेंस इंजन।

हाई-परफॉर्मेंस सर्वरलेस GPU टास्क ऑर्केस्ट्रेशन — wavespeed.ai के पीछे की शेड्यूलिंग लेयर

llama3 इन्फरेंस को चरण-दर-चरण प्राप्त करें, मुख्य अवधारणाओं को समझें, प्रक्रिया व्युत्पत्ति में महारत हासिल करें और कोड लागू करें।

Deep Learning Streamer (DL Streamer) पाइपलाइन फ्रेमवर्क एक ओपन-सोर्स स्ट्रीमिंग मीडिया एनालिटिक्स फ्रेमवर्क है, जो GStreamer* मल्टीमीडिया फ्रेमवर्क पर आधारित है, जिसका उपयोग क्लाउड या एज के लिए जटिल मीडिया एनालिटिक्स पाइपलाइन बनाने के लिए किया जाता है।

mmdetection मॉडल को TensorRT में बदलें, जो fp16, int8, बैच इनपुट, डायनामिक शेप आदि का समर्थन करता है।

Inference-native Tokenmaxxing Agent Harness for Loop Engineering

YOLO छोटे ऑब्जेक्ट डिटेक्शन और इंस्टेंस सेगमेंटेशन के लिए Python लाइब्रेरी

Run MoE models bigger than your RAM. Frontier-size MoE on a 12 GB phone, CPU only, lossless, on stock llama.cpp

🏗️ ओपन-सोर्स LLMs को आसानी से फाइन-ट्यून, बिल्ड और डिप्लॉय करें!

Kubernetes पर अपने डीप लर्निंग वर्कलोड को अधिक आसानी और कुशलता से चलाएं।

Triton मॉडल एनालाइजर एक CLI टूल है जो Triton इन्फ्लुएंस सर्वर मॉडल की गणना और मेमोरी आवश्यकताओं को बेहतर ढंग से समझने में मदद करता है।

A project that optimizes OWL-ViT for real-time inference with NVIDIA TensorRT.

सिक्योर एनक्लेव के साथ कॉन्फिडेंशियल AI डिप्लॉयमेंट।