暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

技术科普|文科生也能看懂的 AI 与 RAG!

NebulaGraph | 技术科普

RAG 技术,简单来说,就是当我们使用 AI(LLM大语言模型)检索答案时外接一个特有的知识库,让 AI 基于知识库内容给出更专业和精准的回答。今天来聊聊文科生也能看懂的 AI 与RAG.



由于知识可以被 AI 看成是非结构化的数据,在本次讨论中我们统一将非结构化的知识和结构化的数据称之为数据。


AI 现在这么火,你们真的有觉得很有用么?

Eric

实话实说,一开始不管问 AI 什么问题都会给我一个看起来像样的回答,感觉蛮爽的。只是时间久了发现,真正有用的内容还得靠人工,AI 的回答总是水水的。


Michael

我也有同感,有时候 AI 的回答我还要额外花时间校验一遍,还不如自己上手了。


大家可能发现了一个大问题:

AI 总是一本正经地胡说八道。

导致AI模型产生幻觉有若干因素,主要原因源于训练的数据。目前的大语言模型就好比一个学生,接受了“义务教育”程度的数据训练,能够处理简单的“加减乘除”,可是当需要通过逻辑推理等更高级的智力劳动去完成实际工作时,往往只能“不懂装懂”了。


 Irene

那用更加专业的领域数据来训练 AI 呢? 


难点在于高质量的领域数据往往以不同形式散落在海量资料中,而且还会随时更新迭代的。但这个设想还是可能实现的!咱们先从 RAG开始讲起。如何有效整合、结构化处理专业领域知识。

RAG 即检索增强生成,这种方式在我们与 AI 互动之间增加了一个知识库,让 AI 在生成响应之前引用这个知识库。一个形象,但或许没有那么恰当的比喻:搭载了知识库的大型语言模型(LLM)就好比一个学生经过工作后成为了专家,可以在更专业的领域解决问题,我们可以在知识库里维护数据并保障数据安全。严谨来说,RAG 的作用更像是一个“百科全书式的助手”,帮助模型在生成回答时引用最新的、结构化的领域知识,从而提升其在专业领域的表现。


学生(LLM)

专家(RAG:LLM+知识库)

Eric

那么知识究竟是怎么存储在知识库里又是如何作用于 AI 的呢?


通常我们会将知识存储在数据库中,比如向量数据库和图数据库。

假设你是一个果农,对种植苹果颇有研究。现在可以把某一个新品种苹果的知识转化成数据,AI 学习后成就能成为你的智能种植助手。

我们可以尝试以下两种方式处理知识:一是向量化,二是构建知识图谱。

  • 向量数据库:抽象出苹果的知识 -> 切分成等量的文本模块 -> 将这些内容转化成向量存储在向量数据库。AI 在向量数据库搜索与问题最相似的向量和上下文,最后把这些知识文本返回给用户。

  • 图数据库:如 NebulaGraph.首先需要提炼“苹果”有关联的内容以及相关概念之间的关系 -> 构建知识图谱 ->存储到图数据库。AI 通过图数据库检索知识图谱并生成回答。

Eric

如果把向量数据库想象成一个宇宙,其中每颗行星都是一条数据,它们被组织成与相似的行星更近,与相似度较低的行星更远的方式。这种方式通过比对距离获得答案。

 Irene

相比之下,图数据库的组织形式像一些网状结构,清晰地标注了实体与实体之间的关系,非常直观人和AI都能读得懂。这种方式通过关系获得答案。


这两种方式的特点不同,适用的场景不同。在实际工作中通常会将两者结合起来使用。

Eric

听起来很有用的样子,可是搭建起来感觉很麻烦,真希望有人帮我搭建好,我可以直接上手使用现成的工具,既能使用向量又能使用图的方式来处理我的智能文档。


最近发现了一个宝藏应用能让你直接上手 RAG,构建自己的专属AI应用。
——NebulaGraph AI 应用平台

无需陷入复杂的技术实现细节,直接在界面中上传你的知识资产。

可以选择全文、图、向量等多种方式建立知识索引(构建智能知识体系),供 AI 应用进行检索。

通过简单点击即可快速建立 AI 智能应用,一问一答都来源于你的专属智能知识体系。

除了用来搭建 AI 应用,通过全文、图或向量建立的知识索引也可以供你自由探索。在界面中拖拉拽就可以洞察知识体系中知识点的关联,做出智慧的决策。


关于作者:胡清莹。NebulaGraph Ambassador, NebulaGraph 技术文档工程师。关注清莹的公众号「俗人茶室」,了解更高效的个人知识管理,更高质量的技术写作,更省力的内容传播方式。



如果你觉得 NebulaGraph能帮到你,或者你只是单纯支持开源精神,可以在 GitHub 上为 NebulaGraph 点个 Star!每一个 Star 都是对我们的支持和鼓励✨

https://github.com/vesoft-inc/nebula



扫码添加

 可爱星云

技术交流

资料分享


NebulaGraph 用户案例

风控场携程众安保险中国移动Akulaku邦盛科技360数科BOSS直聘金蝶征信快手青藤云安全

平台建设:博睿数据众安科技微信OPPOvivo美团百度爱番番携程金融普适智能BIGO

知识图谱:中医药大学企查查腾讯音乐中科大脑泰康在线苏宁微澜同花顺携程酒店

数据血缘:波克城市微众银行携程金融

智能运维:58同城中亦安图

✨ NebulaGraph 推荐阅读

文章转载自NebulaGraph 技术社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论