Souyer's Blog

本文介绍了自然语言处理中信息检索（IR）与检索增强生成（RAG）的应用。RAG通过外部知识库解决大语言模型的幻觉、专有数据不可查及信息时效性问题，其核心是先用IR技术检索相关文档，再让LLM据此生成答案。IR部分详述了稀疏检索（基于tf-idf和BM25）与稠密检索（基于双编码器如ColBERT）的原理、评估指标（如准确率-召回率曲线、MAP），以及倒排索引等关键技术。RAG系统由检索器和生成器组成，可扩展重排序或智能体，评估常用精确匹配或F1分数。

本文系统介绍了大语言模型（LLM）的核心概念、Transformer架构及其训练与推理过程。内容涵盖LLM的定义与缩放定律、提示词机制、语言结构与可解释性，以及预训练、指令微调、偏好对齐和强化学习等训练阶段。文章深入剖析了Transformer的注意力机制、多头注意力、Transformer块组成、位置嵌入及解码方法，并讨论了参数高效微调（如LoRA）和KV缓存等优化技术，为理解现代NLP技术提供了全面基础。

本文介绍了自然语言处理中的序列标注方法，涵盖词性标注、命名实体识别和语义角色标注等任务，并指出其目标是提取事件以实现语义理解。文章重点阐述了词性标注的基线模型及改进方法，包括基于词的朴素贝叶斯和逻辑斯蒂回归，以及基于序列的隐马尔可夫模型和条件随机场；同时详述了命名实体识别的流程，如特征提取和BIO标签体系。最后，作者提到课程内容偏传统，计划后续补充神经网络相关内容。

本文介绍了潜在狄利克雷分配（LDA）模型，一种基于贝叶斯框架的概率主题建模方法。与PLSA将参数视为固定常数不同，LDA将参数视为随机变量，引入狄利克雷先验分布，并通过数据修正得到后验分布，从而提升模型泛化能力。文章详细阐述了狄利克雷分布的定义、性质及其作为多项分布共轭先验的作用，并给出了LDA的生成过程、概率计算公式及两种近似学习算法：吉布斯抽样和变分EM算法，用于估计模型参数。

本文系统介绍了话题分析的基本概念与方法，核心思想是用单词分布表示话题、话题分布表示文本。内容涵盖三大模型：潜在语义分析（LSA）通过单词-文本矩阵的奇异值分解实现降维，并引入非负矩阵分解（NMF）增强可解释性；概率潜在语义分析（PLSA）采用概率生成模型，通过EM算法估计参数；潜在狄利克雷分配（LDA）作为概率模型的代表也被提及。文章详细阐述了各模型的数学原理、算法推导及优缺点，为文本语义分析提供了完整的理论框架。