nlp

Detaillierte Notizen zum neuen Buch „Einführung in die natürliche Sprachverarbeitung“ des HanLP-Autors! Ein Meisterwerk der Branche, das statt trockener Formeln leicht verständliche Algorithmenmodelle in Alltagssprache erklärt. Ausgehend von grundlegenden Konzepten werden die Algorithmenprinzipien und technischen Implementierungen populärer Themen wie chinesische Wortsegmentierung, Part-of-Speech-Tagging, Eigennamenerkennung, Informationsextraktion, Text-Clustering, Textklassifikation und syntaktische Analyse Schritt für Schritt vorgestellt.

Chinesische Named Entity Recognition mit IDCNN/biLSTM+CRF und Relation Extraction mit biGRU+2ATT (Chinesische Entitätserkennung und Beziehungsextraktion)

TigerBot: Ein mehrsprachiges Multitask-LLM

Multi-Task Deep Neural Networks für das Verständnis natürlicher Sprache

[Paper-Liste] Paper zur Integration von Wissensgraphen (KGs) und Large Language Models (LLMs)

Python-Implementierung von TextRank-Algorithmen ("textgraphs") zur Phrasenextraktion

Offizielles Repository von xLSTM.

Schnelle State-of-the-Art Static Embeddings

EasyNLP: Ein umfassendes und benutzerfreundliches NLP-Toolkit

NLP-Sprachmodelle erklären, analysieren und visualisieren. Ecco erstellt interaktive Visualisierungen direkt in Jupyter Notebooks, um das Verhalten von Transformer-basierten Sprachmodellen (wie GPT2, BERT, RoBERTA, T5 und T0) zu erklären.

Ein lokales, OCR-freies Toolkit zur Extraktion unstrukturierter Daten, Markdown-Konvertierung und Leistungsbewertung. (https://idp-leaderboard.org/)

Eine Leseliste zur Sicherheit, dem Schutz und der Privatsphäre großer Modelle (einschließlich Awesome LLM Security, Safety usw.).

Sammlung von Encoder-Decodern von ALIbaba aus dem MinD (Machine IntelligeNce of Damo) Lab

Ein umfassendes Nachschlagewerk für alle Themen rund um die natürliche Sprachverarbeitung (NLP)

Ein automatischer Evaluator für anweisungsbefolgende Sprachmodelle. Von Menschen validiert, qualitativ hochwertig, günstig und schnell.

ContextGem: Mühelose LLM-Extraktion aus Dokumenten

Eine von der Community betriebene Sammlung von RAG-Frameworks (Retrieval-Augmented Generation), Projekten und Ressourcen. Tragen Sie bei und erkunden Sie das sich entwickelnde RAG-Ökosystem.

Eine vollständige spaCy-Pipeline und Modelle für wissenschaftliche/biomedizinische Dokumente.

Chinesisches Llama-3 LLM-Projekt der dritten Generation, entwickelt auf Basis von Meta Llama 3

🌸 Japanische Grammatik lernen mit TypeScript

💫 Modelle für die Natural Language Processing (NLP)-Bibliothek spaCy

Einführungstutorial für die Transformers-Bibliothek

Eine kuratierte Liste von Lernmaterialien, Datenbanken, Tools und anderen Ressourcen rund um Knowledge Graphs.

[ICML 2024] LLMCompiler: Ein LLM-Compiler für paralleles Funktionsaufrufen

Ein-Klick-Paket für chinesische Datenerweiterung; NLP-Datenerweiterung, BERT-Datenerweiterung, EDA: pip install nlpcda

Eigenständige Machine-Learning- und Natural-Language-Processing-Bibliothek in Go.

NLTK-Daten

Chinesische Textklassifizierung, Kurzsatzklassifizierung, Multi-Label-Klassifizierung, Satzähnlichkeit, Basisklassen für die Erstellung von Wort-/Satz-Vektoreinbettungsschichten (embeddings) und Netzwerkschichten (graph), FastText, TextCNN, CharCNN, TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN

Underthesea – KI-Assistent

Microsoft.Recognizers.Text bietet Erkennung und Auflösung von Zahlen, Einheiten, Datum/Uhrzeit usw. in mehreren Sprachen (ZH, EN, FR, ES, PT, DE, IT, TR, HI, NL. Teilweise Unterstützung für JA, KO, AR, SV). Pakete verfügbar unter: https://www.nuget.org/profiles/Recognizers.Text, https://www.npmjs.com/~recognizers.text