language-model

Go로 작성된 독립 실행형 머신러닝 및 자연어 처리 라이브러리

간체/번체 확장 어휘집/성조 인코딩/최고의 성조 표기 도구 체인/만상 업데이트 도구 체인/Rime 문법 모델: LMDG - Language, Model, Dictionary, Grammar. 이곳은 Wànxiàng Pīnyīn의 “로마 제국”입니다!

RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)의 공식 구현체

중국어 대화 0.2B 소형 모델(ChatLM-Chinese-0.2B). 데이터셋 소스, 데이터 정제, tokenizer 학습, 모델 사전 학습, SFT 명령어 미세 조정, RLHF 최적화 등 전체 프로세스의 소스 코드를 오픈소스화했습니다. 다운스트림 작업 SFT 미세 조정을 지원하며, 삼중항 정보 추출 미세 조정 예제를 제공합니다.

대형 언어 모델(LLM)을 사용하여 코드로 아키텍처 다이어그램을 자동으로 생성합니다.

Macaw-LLM: 이미지, 비디오, 오디오, 텍스트 통합을 지원하는 멀티모달 언어 모델링

RWKV 언어 모델을 위한 CPU 기반 INT4/INT5/INT8 및 FP16 추론

[EMNLP 2025 Oral] MemoryOS는 개인화된 AI 에이전트를 위한 메모리 운영 체제를 제공하도록 설계되었습니다.

Tiny Model, Big Logic: 다양성 기반 최적화가 VibeThinker-1.5B에서 대규모 모델 추론 능력을 이끌어냅니다.

기초부터 최전선까지 foundation model을 배우기 위한 커리큘럼

사전 학습된 중국어 ELECTRA 모델입니다.

일본어 LLM 모음 - Overview of Japanese LLMs

한국어 BERT 사전 학습 대소문자 구분 모델 (KoBERT)

🛸 spaCy에서 BERT, XLNet, GPT-2와 같은 사전 학습된 트랜스포머 사용하기

모든 LLM의 토큰/초 및 GPU 메모리 요구량을 계산합니다. llama.cpp/ggml/bnb/QLoRA 양자화 지원

오픈소스 지식 기반 대형 언어 모델 프레임워크

(BERT 유형의) 언어 모델 학습을 제한된 컴퓨팅 자원에 효율적으로 압축하여 진행하기.

"Prismer: A Vision-Language Model with Multi-Task Experts"의 구현체입니다.

Transformers4Rec은 시퀀셜 및 세션 기반 추천을 위한 유연하고 효율적인 라이브러리로, PyTorch와 함께 작동합니다.

"Cognitive Architectures for Language Agents" 논문 기반 언어 에이전트 목록

음성 채팅 앱

논문, 동영상, 블로그, 공식 저장소 및 Colab 노트북을 포함하는 자연어 처리용 Transformers 모델 모음

지시어 추종 LLM(ChatGPT, LLaMA, Alpaca) 학습을 위한 오픈소스 데이터셋 모음

Transformer 네트워크, 어텐션 메커니즘, GPT, BERT, ChatGPT, LLM, 전이 학습에 중점을 둔 NLP 리소스 모음

[NeurIPS 2023] LLM-Pruner: 대형 언어 모델의 구조적 프루닝. Llama-3/3.1, Llama-2, LLaMA, BLOOM, Vicuna, Baichuan, TinyLlama 등 지원.

ToRA는 도구와 상호작용하여 고난도 수학적 추론 문제를 해결하도록 설계된 도구 통합 추론 LLM 에이전트 시리즈입니다 [ICLR'24].

Z80-μLM은 8비트 Z80 프로세서에서 실행될 만큼 작은 2비트 양자화 언어 모델입니다. Python으로 대화형 모델을 학습시키고 CP/M .COM 바이너리로 내보내 빈티지 컴퓨터와 대화할 수 있습니다.

LangSmith Client SDK 구현

Kaldi용 Python 래퍼

OpenAI API 호출 방식을 지원하는 모든 모델을 PotPlayer에 통합하여 동영상 시청 시 실시간 자막 번역을 제공하는 플러그인