knowledge-distillation

Distilly — किसी भी Agent या Bot के लिए उनकी सोचने की प्रक्रिया को पुन: प्रयोज्य Skills में बदलें। पूर्व में Colleague Skill (原同事 Skill)।

किtabon, lambe video, podcast aadi uchch-moolya samagri ko karyakari Agent Skills mein badlein

PaddlePaddle द्वारा संचालित विजुअल क्लासिफिकेशन और रिकॉग्निशन के लिए एक खजाना

अद्भुत नॉलेज डिस्टिलेशन

Huawei Noah's Ark Lab द्वारा विकसित प्री-ट्रेन भाषा मॉडल और इससे संबंधित ऑप्टिमाइज़ेशन तकनीक।

विज़न कार्यों के लिए बेहतरीन vision-language मॉडल्स का संग्रह

AI द्वारा संचालित नॉलेज ग्राफ जेनरेटर

SOTA लो-बिट LLM क्वांटाइजेशन (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) और स्पार्सीटी; PyTorch, TensorFlow और ONNX Runtime पर अग्रणी मॉडल संपीड़न तकनीकें

EasyNLP: एक व्यापक और उपयोग में आसान NLP टूलकिट

कुशल लार्ज लैंग्वेज मॉडल के लिए एक क्यूरेटेड सूची

यह हमारे NAS और Vision Transformer के काम का संग्रह है।

OpenMMLab मॉडल कॉम्प्रेशन टूलबॉक्स और बेंचमार्क।

पुनरुत्पादक गहरे学習 (deep learning) अध्ययनों के लिए PyTorch पर निर्मित एक कोडिंग-मुक्त फ्रेमवर्क। PyTorch इकोसिस्टम। 🏆 TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI आदि में प्रस्तुत 22 ज्ञान आसवन (knowledge distillation) विधियाँ अब तक लागू की गई हैं। 🎁 पुनरुत्पादकता और बेंचमार्क सुनिश्चित करने के लिए प्रशिक्षित मॉडल, प्रशिक्षण लॉग और कॉन्फ़िगरेशन उपलब्ध हैं।

Huawei Noah's Ark Lab द्वारा विकसित कुशल कंप्यूटिंग विधियाँ

यह रिपॉजिटरी "A Survey on Knowledge Distillation of Large Language Models" के लिए पेपर एकत्र करती है। हम KD को नॉलेज एलिसिटेशन और डिस्टिलेशन एल्गोरिदम में विभाजित करते हैं, और LLM के स्किल और वर्टिकल डिस्टिलेशन का पता लगाते हैं।

(डीप) न्यूरल नेटवर्क कंप्रेशन और एक्सेलेरेशन पर हालिया विधियों का संग्रह।

PyTorch पर आधारित एक एक्स्टेंसिबल (सामान्य) निरंतर शिक्षण फ्रेमवर्क - सामान्य निरंतर शिक्षण के लिए Dark Experience का आधिकारिक कोडबेस

लार्ज लैंग्वेज मॉडल्स के ऑन-पॉलिसी डिस्टिलेशन (OPD) के लिए पेपर्स, तकनीकी रिपोर्ट्स, फ्रेमवर्क्स और टूल्स का एक क्यूरेटेड संग्रह

[ICCV 2023] MI-GAN: मोबाइल उपकरणों पर इमेज इनपेंटिंग के लिए एक सरल बेसलाइन

शून्य से निर्मित LLM डिस्टिलेशन और सर्विंग इंजन: कस्टम Triton/CUDA कर्नेल, FSDP डिस्टिलेशन, पेज्ड-KV कंटीन्यूअस बैचिंग, सट्टा डिकोडिंग, एक Rust गेटवे, एक JAX ओरेकल और व्याख्यात्मकता उपकरण।

लार्ज लैंग्वेज मॉडल्स के लिए ऑन-पॉलिसी डिस्टिलेशन पर शोध पत्रों और संसाधनों का एक क्यूरेटेड संग्रह।