01
论文概述
特征局部性问题（Feature Locality Problem）：由于大型语言模型的庞大参数知识库阻碍了有效使用所有语料库中的全局信息，例如，基于LLM的检索器通常输入文档的摘要而不是整个文档，这可能导致无法充分利用全局信息。
检索方差问题（Retrieval Variance）：由于大型语言模型固有的生成不一致性属性，当前基于LLM的检索可能会产生不可预见的方差，尤其是在输入查询或上下文大小变化时，直接导致不理想且易受攻击的性能。
检索器与生成模型的分离问题：在RAG系统中，检索器和生成模型之间的分离阻碍了它们的完全集成，限制了它们在下游应用中的兼容性。
为了解决这些问题，论文提出了一个名为Invar-RAG的新颖两阶段微调架构，包括检索阶段和生成阶段。在检索阶段，通过整合基于LoRA的表示学习来解决特征局部性问题，并开发了两种模式（即不变模式和变体模式）以及不变损失来减轻LLM中的方差。在生成阶段，设计了一种精心设计的微调方法，以改进LLM，以便根据检索到的信息准确生成答案。实验结果表明，Invar-RAG在三个开放域问答（Open-domain Question Answering, ODQA）数据集上显著优于现有基线。
02
核心内容
论文提出了一个名为Invar-RAG的新型两阶段微调架构来解决上述问题，具体方法如下：
检索阶段（Retrieval Stage）
1. LLM-based Retriever：
使用基于LLaMA的双编码器架构作为检索器的骨干网络。
引入了LLM-aligned Retrieval，通过小语言模型（MiniLM）将输入查询和文档表示为高维空间中的向量，然后通过KL散度构建的新损失函数将这些粗略的查询-文档对表示与LLM的表示空间对齐。
生成阶段（Generation Stage）
在检索到相关信息后，通过特殊设计的微调示例来优化LLM，使其能够更准确地回答给定问题。
03
论文总结
3. 性能验证：在三个公共ODQA数据集上验证了Invar-RAG的性能，无论在检索性能还是生成性能上，都展示了其优越性。
04
编者简介
致Great,中国人民大学硕士，多次获得国内外算法赛奖项，目前在中科院计算所工作，目前负责大模型训练优化以及RAG框架开发相关工作。
