nlp

[EMNLP 2022] 지식 그래프 추출 및 구축을 위한 오픈 툴킷

LLM 및 MLLM을 활용한 AI 기능 구현을 위한 범용 기술

Databricks 파운데이션 모델을 위한 LLM 학습 코드

자연어 감지

이 프로젝트는 『Dive Into Deep Learning』(https://d2l.ai/) 책의 코드를 MXNet에서 PyTorch로 재구현한 것입니다.

A부터 Z까지의 데이터 사이언스 로드맵

MNBVC(Massive Never-ending BT Vast Chinese corpus) 초대규모 중국어 말뭉치. ChatGPT 학습용 40T 데이터에 준함. MNBVC 데이터셋은 주류 문화뿐만 아니라 다양한 닉네임 문화와 외계어 데이터도 포함합니다. 뉴스, 작문, 소설, 서적, 잡지, 논문, 대사, 게시물, wiki, 시, 가사, 상품 소개, 농담, 채팅 기록 등 모든 형태의 순수 텍스트 중국어 데이터를 포함합니다.

LightLLM은 가벼운 디자인, 쉬운 확장성, 고속 성능이 특징인 파이썬 기반 LLM(대규모 언어 모델) 추론 및 서빙 프레임워크입니다.

AdalFlow: LLM 애플리케이션을 구축하고 자동 최적화하는 라이브러리

ChatGPT 자료 모음 및 학습, 지속적인 업데이트 중......

Hugging Face의 Transformers 강좌

최첨단 자연어 처리

GB/s 급의 언어 모델 토큰화

정확하고 효율적이며 사용하기 쉬운 중국어 NLP 전처리 및 파싱 도구 모음 www.jionlp.com

초고속 AI 의사결정 및 멀티모달 데이터 지능형 처리.

중국어 NLP 솔루션 (대규모 모델, 데이터, 모델, 학습, 추론)

Datawhale 멤버들이 정리한 면접 가이드로 머신러닝, CV, NLP, 추천, 개발 등의 내용을 포함하고 있습니다. 많은 star 부탁드립니다.

대규모 언어 모델(LLM), Text2SQL, Text2DSL, Text2API, Text2Vis 등을 위한 엄선된 튜토리얼 및 리소스

텍스트 문서 및 HTML 페이지의 자동 요약을 위한 모듈.

[EMNLP 2021] SimCSE: 문장 임베딩의 간단한 대조 학습 https://arxiv.org/abs/2104.08821

딥러닝 입문, 고급, 특화 강의, 학술 사례, 산업 실무 사례, 딥러닝 지식 백과 및 면접 문제 모음

AI 이론 및 응용 실전 빠르게 익히기: 기초 지식, Transformer, NLP, ML, DL, 경진대회. 방대한 주석과 데이터셋을 포함하며, 누구나 이해하고 재현할 수 있도록 지향합니다.

🛠 머신러닝 및 데이터 과학에 특화된 올인원 웹 기반 IDE.

TextAttack 🐙은 NLP에서의 적대적 공격, 데이터 증강, 모델 훈련을 위한 Python 프레임워크입니다. https://textattack.readthedocs.io/en/master/

코드(및 기타 소프트웨어 공학 활동)를 위한 언어 모델 연구 및 관련 데이터셋 모음

중국어에서의 transformers 사용법을 설명하기 위한 저장소입니다.

문서 AI를 위한 저장소

딥러닝 100선, 딥러닝 DL, 이미지 분류, 객체 인식, 객체 탐지, 자연어 처리 NLP, 텍스트 분류, TensorFlow, PyTorch

textlint는 자연어 텍스트를 위한 플러그인 가능한 린터입니다.

LLM 에이전트에 관한 필독 논문.