暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

NLP自然语言处理-聊天机器人、语音机器人的基础

须弥术数 2022-05-22
697
在大家的日常生活中可能经常会接到一种电话,这种电话是真人的声音,而且对你的对话也不会出现词不达意的情况,他们能和你进行沟通和聊天,但是中间会有极短的卡顿时间,让你感觉比较别扭,实际上这些语音就是使用NLP自然语言处理,通过海量数据训练模型制作出来的语音机器人,达到让人分辨不出来是否是真人的一种技术。
那么什么是NLP自然语言处理呢?通俗来讲就是让机器语言和人类语言之间沟通的桥梁,从而实现人与计算机能够交流。就像猫通过喵喵的叫声交流,人通过不同的语言交流一样,机器通过数据信息进行交流。
大家都知道不同的语言是无法直接交流的,像中文和埃塞俄比亚的语言需要翻译才行。不同物种的语言也一样。人类无法与小鸟交流,也不能和熊沟通(小时候特别希望能有这种超能力)。那么计算机的语言其实也一样。而NLP就是人与计算机沟通的翻译。
自然语言其实简单来说就是说话要能够知道什么意思,举几个例子:我的腿小腿骨发生了30度的弯曲,无法支撑我站立,这句话就不是自然语言。那用自然语言如何说呢?我的腿骨折了。再比如我喜欢你喜欢的东西,这种很多类似的,简单来说就是我们的爱好一样。
那么NLP是如何做到翻译的呢?其实他是通过两个步骤,理解和生成,对应的就是NLU自然语言理解和NLG自然语言生成。
NLU自然语言理解
这个技术其实是比较难的,他让机器理解我们要干什么,现在每家估计都有智能音箱,他就是最好的例子,例如我们要出旅游,我们的表达方式其实很多。例如明后天的天气咋样?;高铁到重庆几个小时;我想放松一下自己,休息休息等等,这也是自然语言比较难的地方,就是要理解人说的是什么或者他的意图是什么。而让机器理解这么多种不同的表达式比较难的,因为机器的语言是数据,而结构化数据才是最通用的机器语言。那么就要提取关键词,如上面的高铁、重庆、几个小时;明后天。天气;那么这些关键词需要我们提前进行梳理,然后计算机才能够理解我们的意图。就像最早的智能手机能够通过飞机票、订票几个关键词来打开网页来让你订票一样。
NLU就是弥补关键词的缺点而出现的,他通过对自然语言的表达进行拆分,然后通过机器学习训练,模型数据演练等。实现让机器理解我们的意图。例如通过训练让机器知道重庆是地名,高铁是交通工具,几个小时是时间等。通过这种方式,让机器知道,我想要买高铁票,时间是明后天,目的地是重庆。现在在我们的生活中机器客服已经非常普遍了,例如你找京东的机器客服,通常说两句话就能让客服知道,并且提供相应的选项让你解决问题。还有就是智能音箱,例如你说太冷了,音箱会把空调调高2度,你说我回来了,他会帮你打开客厅的灯这些,就是机器理解了你的意图。
但是NLU也不是万能的,特别是在对我们中文这种神奇的语言上。
1、告诉你别别,你非别,撞车了吧?
2、这几天你天天天天的喝酒,不要命了是不是?
3、你的想法很特别,但是我们的特别的想法和你一样的特别。
而NLP也是通过三个阶段才实现我们现在的职能对话的,分别是基于规则,基于统计(这也是人工智能突飞猛进的一个重要转折点)以及现在的深度学习。
NLG自然语言生成
那么让机器理解了我们的意图之后,下一步的工作就是让机器能够与我们沟通,这就涉及到NLG自然语言生成了。他也分简单的数据合并,模板和高级三个阶段数据合并的话可以参考邮件的合并,模板化的NLG可以参考企业中的红头文件,或者是消费提醒模板(尊敬的会员xxx,您在xxxx-xx-xx xx:xx:xx消费了xxxx元,您的余额还有xx元),而高级的NLG则是参考上下文,从而实现智能应对。而NLG的应用也比较广泛,机器人客服,BI报告等。
BI报告中的NLG使用原理其实还是比较深入的,例如销售型公司的BI在自动调取销售记录之后,会把销售的高低峰,产品类型等进行基础分析,然后调取外部天气、气候、节假日等信息进行融合,最后给出一个合理的销售方案或者营销策划等。
通过NLU和NLG的处理后,最终就能实现我们现在的智能机器人,就像一开始我们说的语音机器人,聊天机器人,机器翻译甚至是情感、婚姻分析。
而NLP的的两种学习路径也不同,一种是传统的机器学习,拆分预料-提取特征-选择分类器。而深度学习的路径则是预料预处理-设计模型-训练模型。
至于具体的处理过程专业性太强,就不进行分享了(实际我也不会。。。。。。)

文章转载自须弥术数,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论