今天分享的是一种面向资源受限场景的检索增强生成方法：MiniRAG。
论文链接: https://arxiv.org/pdf/2501.06713
代码链接: https://github.com/HKUDS/MiniRAG
简介
随着检索增强生成（RAG）技术的迅速发展，语言模型在知识检索与生成任务中的表现得到了显著提升，但现有方法严重依赖大型语言模型（LLMs），导致计算开销大、资源需求高，难以适应边缘设备和隐私敏感应用等资源受限场景。尝试利用小型语言模型（SLMs）降低成本时，现有RAG框架在语义理解和检索效率上表现不佳，导致性能大幅下降甚至无法运行。为此，香港大学提出了 MiniRAG，这是一种旨在实现极简和高效的 RAG 系统。MiniRAG 引入了两个关键技术创新：
异构图索引机制: 将文本块和命名实体结合在一个统一的结构中，减少复杂语义理解的依赖。
轻量级拓扑增强检索: 利用图结构进行高效的知识搜索，而无需高级语言能力。
实验结果表明，MiniRAG在仅占用25%存储空间的情况下，实现了与基于大型语言模型 (LLM) 的方法相当的性能。
方法
如上图所示，MiniRAG 框架由两个主要组成部分构成，分别是 异构图索引（Heterogeneous Graph Indexing）和 轻量级基于图的知识检索（Lightweight Graph-Based Knowledge Retrieval）。以下是对每个组成部分的详细介绍：
1. 异构图索引（Heterogeneous Graph Indexing）
异构图索引是 MiniRAG 框架的第一步，旨在通过构建一个包含多种类型节点和边的图结构，为后续的知识检索提供丰富的语义信息。该图由两类节点,两类边与语义描述组成：
文本片段节点（）：代表从原始文本中提取的连贯片段，保留上下文完整性。
实体节点（）：代表从文本片段中提取的关键语义元素，如事件、地点、时间或领域特定概念等。
实体-实体连接（）：捕捉命名实体之间的语义关系和层次结构。
实体-片段连接（）：连接实体与其上下文片段，确保语义和上下文的一致性。
语义描述（）: 为实体-文本块连接添加语言模型生成的语义描述，提供显式关系上下文，补充实体信息。每条实体-片段边（）都与一个描述文本（）关联，提供实体与文本片段之间的详细语义关系。
通过上述步骤，MiniRAG 构建了一个异构图：
2. 轻量级基于图的知识检索（Lightweight Graph-Based Knowledge Retrieval）
在第二部分，MiniRAG 关注如何在设备端高效地进行知识检索，尤其是在资源受限的情况下（如计算能力和数据隐私的限制）。MiniRAG 提出了一个基于图的知识检索机制，使用轻量级文本嵌入模型和语义感知异构图来提高检索效率和准确性。它包含两个主要部分：查询语义映射 和 拓扑增强图检索。
2.1 查询语义映射（Query Semantic Mapping）
在检索阶段，MiniRAG 的目标是根据用户输入的查询，从已经构建的异构图索引中识别出与查询相关的元素（如文本片段）。具体流程如下：
实体提取：使用小型语言模型从查询中提取出相关实体（如事件、地点、人物等），并预测这些实体可能的类型。
轻量级句子嵌入：利用轻量级的句子嵌入模型，计算查询实体与图中所有实体节点的语义相似度，从而有效地进行节点检索。
查询引导的推理路径发现MiniRAG 采用了一种 查询引导的推理路径发现机制，通过以下步骤有效地捕获与查询相关的推理链：
初步实体识别：通过匹配查询中的实体与图中的节点，确定路径的起始点。 答案感知的实体选择：根据预测的答案类型，从起始节点中选择最有可能作为答案的实体。 上下文丰富的路径形成：通过将相关文本片段纳入推理路径，形成包含丰富证据链的推理路径。
2.2 拓扑增强的图检索（Topology-enhanced Graph Retrieval）
该部分的目标是在图索引中寻找连接查询实体和潜在答案的综合证据链，即推理路径。主要步骤如下：
关键关系识别: 通过节点-边交互，识别图中与查询相关的实体-实体连接，并根据与起点和答案节点的距离计算相关性得分，选择高排名的边构建关键关系集。
查询引导路径发现: 定义候选推理路径集合，并使用实体条件评分函数量化路径重要性和查询相关性，选择高分数路径构建最终的推理路径集。
查询相关文本块检索: 通过实体-文本块连接，收集所有与推理路径中的实体节点相关的文本块。
2.3 集成增强生成（Integration & Generation）
最终，MiniRAG 将通过拓扑增强检索机制和多阶段过滤过程获得的两个关键信息（即重要关系和最佳文本块）结合，形成一个全面、结构化的输入表示，供生成任务使用。这种集成策略提高了生成的准确性和可靠性。
总结
MiniRAG 采用创新的异构图索引和轻量级启发式检索机制，成功融合了基于文本和基于图的 RAG 方法的优势，同时显著降低了对语言模型能力的依赖，出色地应对了资源受限环境中的信息检索与生成挑战。在确保高效性的同时，MiniRAG 显著提升了小型语言模型在复杂任务中的表现，尤其适用于边缘计算等受限设备环境。
