rwkv

RWKV (phát âm là RwaKuv) là một RNN có hiệu suất LLM tuyệt vời, cũng có thể được đào tạo trực tiếp giống như một transformer GPT (có thể song song hóa). Chúng ta đang ở phiên bản RWKV-7 "Goose". Do đó, nó kết hợp những điểm ưu việt nhất của RNN và transformer - hiệu suất tuyệt vời, thời gian tuyến tính, bộ nhớ không đổi (không có kv-cache), huấn luyện nhanh, ctx_len vô hạn và embedding câu miễn phí.

ChatRWKV giống như ChatGPT nhưng được hỗ trợ bởi mô hình ngôn ngữ RWKV (100% RNN) và là mã nguồn mở.

Một công cụ quản lý và khởi động RWKV, tự động hóa hoàn toàn, chỉ 8MB. Cung cấp giao diện tương thích với OpenAI API. RWKV là mô hình ngôn ngữ lớn hoàn toàn mã nguồn mở và sử dụng được cho mục đích thương mại.

Wenda: Một nền tảng gọi LLM. Hướng tới việc tạo nội dung hiệu quả cho các môi trường cụ thể, đồng thời xem xét các hạn chế về tài nguyên tính toán của cá nhân và doanh nghiệp vừa và nhỏ, cũng như các vấn đề về bảo mật và quyền riêng tư tri thức.

Chỉ cần nền tảng Python, xây dựng mô hình ngôn ngữ lớn từ đầu; từng bước xây dựng GLM4\Llama3\RWKV6 từ đầu, hiểu sâu về nguyên lý của mô hình lớn

Chạy llama và các mô hình ngôn ngữ lớn khác ngoại tuyến trên iOS và MacOS sử dụng thư viện GGML.

Suy luận INT4/INT5/INT8 và FP16 trên CPU cho mô hình ngôn ngữ RWKV

Nguyên mẫu LLM cục bộ trên Android 17 sử dụng Jetpack Compose và ONNX Runtime cho các thí nghiệm suy luận AI ngoại tuyến.

Hộp công cụ runtime RWKV tất cả trong một với embed, RAG, AI agents và nhiều tính năng khác.