falcon

🌸 Chạy LLM tại nhà theo phong cách BitTorrent. Tinh chỉnh và suy luận nhanh hơn tới 10 lần so với việc giảm tải

Đón nhận các API của tương lai. Hug hướng tới mục tiêu đơn giản hóa việc phát triển API hết mức có thể.

Một khung dịch vụ HTTP quen thuộc cho Python.

Máy chủ web hiệu năng cao cho Ruby, hỗ trợ HTTP/1, HTTP/2 và TLS.

Tinh chỉnh LLM với peft

Thư viện thân thiện để phân tích cú pháp các đối số yêu cầu HTTP, hỗ trợ tích hợp sẵn cho các web framework phổ biến bao gồm Flask, Django, Bottle, Tornado, Pyramid, webapp2, Falcon và aiohttp.

🦙 Tích hợp các LLM vào các pipeline NLP có cấu trúc

Cách đơn giản nhất để triển khai các mô hình AI/ML trong môi trường sản xuất

Thư viện PyTorch chứa các mô hình Transformer được tuyển chọn và các thành phần có thể kết hợp

Bộ công cụ để tinh chỉnh, cắt bỏ và kiểm thử đơn vị cho các LLM mã nguồn mở.

SDK CrowdStrike Falcon cho Python

FastOpenAPI là một thư viện để tạo và tích hợp các lược đồ OpenAPI sử dụng Pydantic v2 và nhiều framework khác nhau (AioHttp, Django, Falcon, Flask, Quart, Sanic, Starlette, Tornado).