nlp

HanLP 저자의 신작 '자연어 처리 입문' 상세 노트! 지루한 공식 나열 대신 알기 쉬운 언어로 알고리즘 모델을 설명한 훌륭한 작품입니다. 기본 개념부터 시작하여 중국어 형태소 분석, 품사 태깅, 개체명 인식, 정보 추출, 텍스트 군집화, 텍스트 분류, 구문 분석 등 인기 있는 주제들의 알고리즘 원리와 엔지니어링 구현을 단계별로 소개합니다.

IDCNN/biLSTM+CRF를 이용한 중국어 개체명 인식 및 biGRU+2ATT를 이용한 관계 추출

TigerBot: 다국어 멀티태스크 LLM

자연어 이해를 위한 멀티태스크 심층 신경망

[논문 목록] 지식 그래프(KG)와 대규모 언어 모델(LLM)을 결합한 논문 모음

구문 추출을 위한 TextRank 알고리즘("textgraphs")의 Python 구현

xLSTM의 공식 저장소.

빠르고 최신 기술이 적용된 정적 임베딩

EasyNLP: 종합적이고 사용하기 쉬운 NLP 툴킷

NLP 언어 모델 설명, 분석 및 시각화. Ecco는 Jupyter 노트북에서 직접 트랜스포머 기반 언어 모델(GPT2, BERT, RoBERTA, T5, T0 등)의 동작을 설명하는 대화형 시각화를 생성합니다.

온프레미스 OCR 프리 비정형 데이터 추출, 마크다운 변환 및 벤치마킹 툴킷 (https://idp-leaderboard.org/)

대규모 모델 안전, 보안 및 개인정보 보호 관련 읽기 목록 (Awesome LLM Security, Safety 등 포함)

알리바바(Alibaba) MinD(Machine IntelligeNce of Damo) Lab의 Encoder-decoder 모음집

자연어 처리와 관련된 모든 주제를 다루는 포괄적인 레퍼런스

지시사항을 따르는 언어 모델을 위한 자동 평가기. 인간 검증을 거쳤으며, 고품질이고 저렴하며 빠릅니다.

ContextGem: 문서에서 손쉬운 LLM 추출

커뮤니티 중심의 RAG(Retrieval-Augmented Generation) 프레임워크, 프로젝트 및 리소스 모음. 진화하는 RAG 생태계에 기여하고 탐색해 보세요.

과학/의생명 문서를 위한 완전한 spaCy 파이프라인 및 모델

Meta Llama 3 기반으로 개발된 중국어 라마 3 LLM (Chinese Llama-3 LLMs) 3차 프로젝트

🌸 TypeScript로 일본어 문법 배우기

💫 spaCy 자연어 처리(NLP) 라이브러리용 모델

Transformers 라이브러리 빠른 시작 튜토리얼

지식 그래프 관련 학습 자료, 데이터베이스, 도구 및 기타 리소스 모음

[ICML 2024] LLMCompiler: 병렬 함수 호출을 위한 LLM 컴파일러

원클릭 중국어 데이터 증강 패키지; NLP 데이터 증강, bert 데이터 증강, EDA: pip install nlpcda

Go로 작성된 독립 실행형 머신러닝 및 자연어 처리 라이브러리

NLTK 데이터

중국어 장문 분류, 단문 분류, 다중 레이블 분류, 두 문장 유사도 (Keras NLP 기반 중국어 텍스트 분류, 다중 레이블 분류 또는 문장 분류, 장단문), 단어 및 문장 벡터 임베딩 레이어(embeddings) 및 네트워크 레이어(graph) 기본 클래스 구축, FastText, TextCNN, CharCNN, TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 캡슐 네트워크-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN

Underthesea - AI 어시스턴트

Microsoft.Recognizers.Text는 여러 언어(ZH, EN, FR, ES, PT, DE, IT, TR, HI, NL, JA, KO, AR, SV 부분 지원)에서 숫자, 단위, 날짜/시간 등의 인식 및 해결 기능을 제공합니다. 패키지 위치: https://www.nuget.org/profiles/Recognizers.Text, https://www.npmjs.com/~recognizers.text