토픽 · tokenization

tokenization

tokenization 태그가 달린 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.

리포지토리

총 스타

73,331

평균 스타

5,641

비중

0.00%

같은 리포지토리에 tokenization 태그와 자주 함께 쓰이는 토픽이에요.

최근 라이징

최근 90일 안에 만들어지고 tokenization 태그가 달린 리포지토리예요.

최근 90일 안에 이 토픽 태그가 달린 새 리포지토리가 없어요.

#1
spaCy ↗@explosionPython
💫 Python으로 구현한 산업용 자연어 처리(NLP)
★ 33,861+23최근 7일 스타 변화
#2
toon ↗@toon-formatTypeScript
🎒 Token-Oriented Object Notation (TOON) - LLM 프롬프트를 위한 작고 사람이 읽을 수 있는 JSON 데이터 직렬화. TypeScript SDK, CLI, 벤치마크 포함.
★ 25,275+55최근 7일 스타 변화
#3
gigatoken ↗@marcelroedRust
GB/s 급의 언어 모델 토큰화
★ 4,075+18최근 7일 스타 변화
#4
tokencost ↗@AgentOps-AIPython
400개 이상의 LLM을 위한 간편한 토큰 가격 추정 서비스. TokenOps.
★ 2,004+0최근 7일 스타 변화
#5
databunker ↗@securitybunkerGo
고객 PII/PHI/PCI/KYC 레코드를 위한 안전한 볼트
★ 1,484+1최근 7일 스타 변화
#6
lunasec ↗@lunasec-ioTypeScript
LunaSec - Pull Request 및 빌드에서 Log4Shell 또는 node-ipc와 같은 취약점을 자동으로 알려주는 의존성 보안 스캐너
★ 1,469+0최근 7일 스타 변화
#7
Ravencoin ↗@RavenProjectC
Ravencoin Core 통합 및 스테이징 트리
★ 1,119+2최근 7일 스타 변화
#8
spacy-streamlit ↗@explosionPython
👑 Streamlit 앱을 위한 spaCy 빌딩 블록 및 시각화 도구
★ 860+0최근 7일 스타 변화
#9
trankit ↗@nlp-uoregonPython
다국어 자연어 처리를 위한 경량 Transformer 기반 Python 툴킷 Trankit
★ 798+2최근 7일 스타 변화
#10
ekphrasis ↗@cbaziotisPython
Ekphrasis는 Twitter나 Facebook과 같은 소셜 네트워크 텍스트에 최적화된 텍스트 처리 도구입니다. 두 개의 대규모 말뭉치(영어 Wikipedia, Twitter 트윗 3억 3천만 개)의 통계를 사용하여 토큰화, 단어 정규화, 단어 분할(해시태그 분리용) 및 맞춤법 교정을 수행합니다.
★ 673-1최근 7일 스타 변화
#11
tokenmonster ↗@alasdairforsytheGo
Python, Go, C++, Javascript를 위한 탐욕스럽지 않은 서브워드 토크나이저 및 어휘 학습기
★ 627+0최근 7일 스타 변화
#12
NLP-Cube ↗@adobeHTML
자연어 처리 파이프라인: 문장 분리, 토큰화, 표제어 추출, 품사 태깅 및 의존 구문 분석
★ 562+0최근 7일 스타 변화
#13
php-text-analysis ↗@yooperPHP
PHP 언어를 사용하여 정보 검색(IR) 및 자연어 처리(NLP) 작업을 수행하기 위한 PHP 텍스트 분석 라이브러리
★ 534+0최근 7일 스타 변화

← 토픽 목록으로

관련 토픽

최근 라이징