mlc-ai

Motor de despliegue universal de LLM con compilación de ML

Motor de inferencia de LLM en el navegador de alto rendimiento

Lleva modelos de stable diffusion a los navegadores web. Todo se ejecuta dentro del navegador sin soporte de servidor.

Generación estructurada rápida, flexible y portátil.

Un tutorial sobre programación moderna de GPU para sistemas de aprendizaje automático.

Chatea con grandes modelos de lenguaje de IA ejecutándose de forma nativa en tu navegador. Disfruta de conversaciones con IA privadas, sin servidores y fluidas.

Bindings de tokenizadores multiplataforma universales para HF y sentencepiece.