nlp

Awesome-LLM-Eval: 주로 LLM 평가를 위한 도구, 데이터셋/벤치마크, 데모, 리더보드, 논문, 문서 및 모델의 선별 목록

인도네시아어를 위한 최초의 대규모 자연어 처리 벤치마크. 다양한 다운스트림 작업, 사전 학습된 IndoBERT 모델 및 시작 코드를 제공합니다 (AACL-IJCNLP 2020)

학습 및 추론을 위해 PyTorch 모델을 여러 GPU에 자동으로 분할

대규모 언어 모델(LLM) 시대에 초점을 맞춘 스토리 생성 및 스토리텔링 관련 논문 모음

Chinese-Mixtral-8x7B

ConvoKit은 대화 기능을 추출하고 대화 속 사회적 현상을 분석하기 위한 툴킷입니다. 툴킷 사용법을 보여주는 스크립트와 함께 여러 개의 대규모 대화 데이터셋을 포함하고 있습니다.

Python 기반 텍스트 분류를 위한 능동 학습(Active Learning)

시맨틱 하이퍼그래프를 위한 기초 라이브러리

[ICLR 2024] Sheared LLaMA: 구조적 프루닝을 통한 언어 모델 사전 학습 가속화

OpenChatBI는 대규모 언어 모델 기반의 지능형 채팅 BI 도구로, 자연어 대화를 통해 데이터를 조회, 분석 및 시각화할 수 있도록 설계되었습니다. LangGraph와 LangChain을 사용하여 자연어를 SQL로 변환하고 데이터 분석을 지원하는 채팅 에이전트 및 워크플로우를 구축합니다.

AutoPrompt: 마스크 언어 모델을 위한 자동 프롬프트 구성 도구입니다.

한국어 사전 학습 ELECTRA 모델

인공지능, 챗봇, 가상 에이전트, 소셜 미디어 자동화 및 라이브 채팅 자동화를 위한 오픈 플랫폼

주요 파운데이션 및 멀티모달 모델을 정리한 큐레이션 리스트 (논문, 코드, 예제, 튜토리얼 포함)

[ICML 2024] TrustLLM: 거대 언어 모델의 신뢰성 연구

Python 기반 텍스트 분석기인 Homer는 텍스트를 더 명확하고 간결하며 읽기 쉽게 만드는 데 도움을 줍니다.

HTML을 Markdown으로 변환하는 변환기 및 크롤러

대규모 언어 모델(LLM)의 머신 언리닝을 위한 리소스 저장소

React를 사용하여 챗봇 및 대화형 경험 구축

중국어 Mixtral 혼합 전문가 대형 언어 모델(Chinese Mixtral MoE LLMs)

MAD: 대규모 언어 모델을 활용한 다중 에이전트 토론을 탐구하는 첫 번째 연구

사용자가 좋아하는 영화와 유사한 영화를 추천하고 사용자가 작성한 리뷰의 감성을 분석하는 콘텐츠 기반 추천 시스템

Tock: 오픈 소스 대화형 AI 툴킷

법률 판결문을 기반으로 한 이벤트 추출 및 응용. 데이터 토큰화, 품사 태깅, 개체명 인식, 이벤트 요소 추출 및 판결 결과 예측 포함.

Sycamore는 비정형 데이터를 위한 LLM 기반 검색 및 분석 플랫폼입니다.

딥러닝을 활용한 Python 자연어 처리(NLP)

RAG, 코드 및 도구 기반 AI 출력물을 위한 스팬 레벨 그라운딩 검증 도구

PyTorch 프레임워크 기반의 BERT 모델 및 관련 다운스트림 작업 구현

양자화된 최신 CLIP 모델과 ONNX Runtime 추론 엔진을 기반으로 Android에서 오프라인으로 작동하는 의미론적 Text-to-Image 및 Image-to-Image 검색

10개의 커널로 배우는 NLP 입문