Souyer's Blog

文章在回顾卷积神经网络基本原理的基础上，拓展了计算机视觉的进阶内容，涵盖典型CNN（VGGNet、GoogLeNet）、视觉Transformer（ViT及其变体Swin Transformer、PVT）、目标检测模型（从R-CNN到DETR、DINO）以及MS COCO、PANDA等数据集与IoU、AP等评估指标，重点梳理了CNN、ViT与目标检测的技术演进脉络。

本文深入探讨了Java面向对象编程中的继承机制，从接口定义与实现出发，介绍了接口继承、抽象数据类型（ADT）及迭代器的实现方法。文章还详细讲解了对象方法（toString与equals）的覆写技巧，以及通过Comparable和Comparator接口实现多态性比较的方式。最后，阐述了泛化函数的定义与使用，展示了如何编写适用于任意类型的通用方法，为读者提供了系统的Java进阶知识梳理。

本文介绍了自然语言处理中信息检索（IR）与检索增强生成（RAG）的应用。RAG通过外部知识库解决大语言模型的幻觉、专有数据不可查及信息时效性问题，其核心是先用IR技术检索相关文档，再让LLM据此生成答案。IR部分详述了稀疏检索（基于tf-idf和BM25）与稠密检索（基于双编码器如ColBERT）的原理、评估指标（如准确率-召回率曲线、MAP），以及倒排索引等关键技术。RAG系统由检索器和生成器组成，可扩展重排序或智能体，评估常用精确匹配或F1分数。

本文系统介绍了大语言模型（LLM）的核心概念、Transformer架构及其训练与推理过程。内容涵盖LLM的定义与缩放定律、提示词机制、语言结构与可解释性，以及预训练、指令微调、偏好对齐和强化学习等训练阶段。文章深入剖析了Transformer的注意力机制、多头注意力、Transformer块组成、位置嵌入及解码方法，并讨论了参数高效微调（如LoRA）和KV缓存等优化技术，为理解现代NLP技术提供了全面基础。

本文介绍了自然语言处理中的序列标注方法，涵盖词性标注、命名实体识别和语义角色标注等任务，并指出其目标是提取事件以实现语义理解。文章重点阐述了词性标注的基线模型及改进方法，包括基于词的朴素贝叶斯和逻辑斯蒂回归，以及基于序列的隐马尔可夫模型和条件随机场；同时详述了命名实体识别的流程，如特征提取和BIO标签体系。最后，作者提到课程内容偏传统，计划后续补充神经网络相关内容。