通义开源深度研究智能体,能自主规划多步检索、浏览网页并整合信息,产出带引用的研究报告,适合做调研问答和资料汇总。
基于 PyTorch 的轻量级 NLP 框架,几行代码就能完成命名实体识别、词性标注、语义角色标注等序列标注任务的训练与微调。
基于飞桨的 NLP 与大模型开发库,提供丰富模型库,覆盖 BERT、ERNIE、LLaMA 等,支持分布式训练、压缩和文档智能等任务。
基于 Spark 的分布式 NLP 库,把 BERT、LLM、ONNX 等模型封装成可直接调用的流水线,在集群上批量做命名实体识别、分词、翻译等任务。
面向中文 NLP 的大模型实战代码库,覆盖数据准备、模型训练与推理全流程,含 BERT、ChatGLM、LLaMA 等示例,适合直接上手跑通中文大模型任务。
面向 RAG 研究的 Python 工具包,内置多种检索增强生成算法、数据集和评测基准,方便快速复现和对比实验。
一套面向知识图谱抽取与构建的开源工具包,支持命名实体识别、关系抽取、属性抽取和事件抽取,覆盖少样本、文档级和指令抽取等场景。
追踪 NLP、知识图谱与大模型 Agent 的前沿进展,汇总相关研究与应用实践,适合想跟进这些方向的技术人系统学习。
把 BERT 等预训练上下文向量和传统主题模型结合,用来在多种语言上抽取更连贯的主题,适合文本挖掘和主题分析。
《Transformers for NLP and Computer Vision》第三版配套代码,用 Jupyter Notebook 演示 BERT、CLIP、DALL·E 3、GPT-4o、Gemini 等模型在 NLP、视觉和 RAG 任务中的实战用法。
MagicBrush 是 NeurIPS'23 发布的人工标注指令引导图像编辑数据集,为训练和评测文本指令驱动的图像编辑模型提供高质量数据。
把 LLM、Embedding、Reranker、ASR、TTS、文生图和文生视频统一封装成 OpenAI 兼容接口,方便生产环境一键部署多种模型服务。
统一加载和运行文本、视觉、音频、多模态的预训练模型,覆盖推理与训练,省去为每个模型重写代码的麻烦。
一套统一接口搞定 100+ 大语言模型和多模态模型的微调,支持 LoRA 等高效训练方式,省去为每个模型单独写训练脚本的麻烦。
单张 4GB 显存显卡就能跑 70B 甚至 2.8T 参数大模型的分层推理方案,通过逐层加载权重把显存需求压到极低,适合本地低配设备部署大模型。
用 LLM 从非结构化文本中抽取结构化信息,并给出精确的原文出处定位和交互式可视化,方便核对抽取结果。
单次前向传播即可对任意文本做类型化选择、打分和是非判断的非自回归决策引擎,支持100多种语言,并按请求自动路由到合适的检查点。
输入一个主题,就能自动联网检索并生成带引用的长篇调研报告,省去人工查资料和整理成文的时间。
用 Jupyter Notebook 逐个演示 RAG 系统的进阶技巧,从嵌入、检索到重排都有可运行教程,适合动手搭建和优化检索增强生成流程。
每周更新的机器学习 Python 库排行榜,按类别和评分整理优质库,帮你快速找到 AutoML、深度学习、数据可视化等方向的趁手工具。
Hugging Face 官方数据集库,汇集海量即用型 AI 数据集,并提供高效的数据加载与处理工具,省去自己找数据、写加载代码的麻烦。
汇集土堆 PyTorch、李沐《动手学深度学习》、吴恩达深度学习和大模型 Agent 四套课程的中文笔记,适合系统入门深度学习与大模型应用开发。
开源金融大语言模型,提供训练好的模型和微调流程,用于金融情感分析、智能投顾等场景。
用 PyTorch 从零实现的轻量级 vLLM,代码精简易读,适合学习大模型推理引擎的调度、KV Cache 和 PagedAttention 等核心机制。
Large Language Model Text Generation Inference
微软开源的 PII 检测与脱敏框架,能从文本、图像和结构化数据中识别并匿名化姓名、电话等敏感信息,支持 NLP 与正则规则组合的自定义流水线。
用 Rust 实现的高性能分词器库,支持 BERT、GPT 等主流模型,兼顾研究实验与生产部署,解决文本预处理速度慢、跨语言调用不便的问题。
在 LLaMA/Alpaca 基础上扩充中文词表并做中文增量预训练,提供可本地 CPU/GPU 部署的中文大模型及 LoRA 微调、量化方案。
开源平台,用于构建和部署基于 GPT/LLM 的对话式 Agent,集成提示词编排、工具调用与多渠道发布,省去从零搭建对话机器人的重复工作。
提供中文 BERT-wwm 系列预训练模型,用全词掩码技术提升中文 NLP 任务效果,可直接加载微调。
给 AI Agent 用的无服务器单文件记忆层,用嵌入式向量检索替代复杂 RAG 管线,让智能体拥有即时检索和长期记忆能力。
用 BERT 句向量加 c-TF-IDF 做主题建模,生成的主题可解释性强,适合从大量文本里快速挖掘和归类话题。
把 PDF、DOCX、图片等复杂文档解析成干净结构化数据,方便喂给语言模型做 RAG 和检索。
一站式语义搜索与 LLM 编排框架,把向量检索、RAG 和智能体工作流整合在一起,用 Python 就能搭建基于语言模型的应用。
汇总深度学习、强化学习、计算机视觉和 NLP 等方向的优质公开课与讲座资源,适合系统入门或查漏补缺。
在 Jupyter 里交互式可视化 BERT、GPT-2、RoBERTa 等 Transformer 模型的注意力权重,帮助理解模型内部机制。
把训练好的深度学习模型优化并部署到 Intel CPU、GPU 等硬件上做推理,支持视觉、LLM 和生成式模型,省去自己折腾底层加速的麻烦。
用 100 多张原创原理图把 LLM 和强化学习的关键算法讲清楚,适合想系统理解大模型训练与 RL 机制的人对照学习。
基于 Python 的开源离线翻译库,用本地语言模型完成多语种互译,无需联网即可在自有设备上跑机器翻译。
把 PDF、扫描件和图片解析成带版面结构、表格和文本的富结构化数据,适合做文档入库和 RAG 前的预处理。
… empty by @raashish1601 in https://github.com/RUC-NLPIR/FlashRAG/pull/259 fix: handle empty results in retrieval precision by @Thebearcoding in https://github.com/RUC-NLP
…EADME by @YuyaoZhangQAQ in https://github.com/RUC-NLPIR/FlashRAG/pull/212 Update retriever.py by @lihai-zhao in https://github.com/RUC-NLPIR/FlashRAG/pull/216 [Docs] Add
…basic usage.md by @YeFD in https://github.com/RUC-NLPIR/FlashRAG/pull/156 Minor changes to support Chonkie v1.0.2 by @chonknick in https://github.com/RUC-NLPIR/FlashRAG/p
…/kabirgh) in [ 1090](https://github.com/princeton-nlp/SWE-agent/pull/1090) Feat: SWE-smith & multimodal base support by [@klieret](https://github.com/klieret) in [ 1092](
… as [ Interactive Agent Tools ](https://princeton-nlp.github.io/SWE-agent/background/iat/) and a Summarizer to handle long outputs. <img src="https://github.com/user-atta
Benchmark files for NLP problem for testing WBF 1D case.