深度解读丨利用 DeepSeek 开放权重模型推动悦数 Graph RAG AI 开发平台创新

用例 1：增强型 Agentic RAG 系统

在悦数 Graph RAG AI 开发平台中，我们利用 DeepSeek 的 R1 及 R1-distill 模型作为任务规划器，构建了一个具备高可见性和透明决策过程的 Agentic RAG 系统。

改进前：传统系统的推理阶段受到用户需求描述和知识桶命名方式的影响，决策过程难以观察。

改进后：采用 R1 模型后，我们的系统不仅性能大幅提升，而且推理过程完全可视化，用户可以清楚看到模型如何在图、BM25 和向量索引间进行查询和决策。

用例 2：生成阶段的深度推理

对于复杂的问题生成任务，传统非推理模型（例如 GPT-4o）往往因上下文不足而无法回答深层问题。

例如：当我们向系统提问关于图数据库查询的极深问题时，非推理模型无法给出有效答案，而 R1 模型通过多轮自我反思和迭代生成，成功捕捉“针尖”信息并提供精准回答。

用例 3：Meta Agent 辅助应用逻辑生成

在部分场景下，用户提供的信息极少，导致初始应用逻辑混乱甚至无效。

改进措施：利用 R1 模型在推理阶段扩展思考深度，自动生成并优化初始应用逻辑，确保输出结果具有较高的合理性和实用性。

用例 4：报告/文章生成器

悦数 Graph RAG AI 开发平台中的一类应用为报告与文章生成器。

应用特点：通过可选的推理规划模块，R1 模型在生成初稿时大幅提升内容质量，并在后续迭代中不断优化逻辑链和细节，显著提升生成报告的完整性和专业性。

深度研究：此外，我们的深度研究功能借助 R1 进行多轮规划和研究，生成高质量、经过深度验证的输出。

用例 5：图索引

这是我们希望进一步公开分享的部分。

长久以来，我们做过很多让 Graph RAG 中的知识抽取环节的成本优化的工作，其中，微调小的基础模型、利用 NER 等专有机器学习模型等方法都被探索过，确没能找到一个真正多语言、足够小、效果可以接受的模型。

在我们自己的知识抽取的探索与落地过程中，我们沉淀出 1-shot CoT，few-shot CoT 等不同的方法，都依然会需要相对比较昂贵的语言模型来驱动，而基于 SFT 的工作由于没有将 CoT 与 Reasoning 的能力作为目标、没有足够强的小规模基础模型，往往没有理想的平衡点。

最近，我们在去年 Deepseek-Math 给出的 GRPO 强化学习方法之上，微调的小型 LLM（例如 qwen2.5-3b），利用 R1 生成的推理过程数据进行知识提取，仅用 200+ 步训练便得到了一个可用的抽取模型，其性能与 gpt-4o-mini 相当甚至更优。

这个方法中我们利用了 R1 的强大 reasoning 能力，基于少量数据，适当清洗之后，蒸馏合成了 60+ 份带有 reasoning 的数据，作为 groud thruth。另外，受到 will 的 GRPO reward 实现的启发——和基于他的工作的 Qwen 改造，基础之上实现了基于 LLM call 与代码格式复合的 reward 机制，在 Unsloth 的  [Daniel Han Chen] 的工作至上，可以 LORA 训练在单显卡、250 step 内训练。Reward 的方式使得模型能够进行有效、合理的 reasoning 同时，在 Qwen2.5-3B 模型上给出相对可接受的知识抽取。

其中，我们的抽取任务比较简单，是一个 1-shot 、无指引 reasoning 、开放 Schema 的标签异构图谱。在简单的的结果评估下，我们得到了还不错的结果。虽然只是初步的探索，没有做充分的泛化、大量的评估，但是这个方向是比较有希望的，所以很想把结果分享出来。

整个训练的过程我们开源在这里（https://github.com/wey-gu/gpro-graph-extraction），希望能给大家一些帮助与启发。