技术夜校｜人工智能(AI)在得物的应用

导语

人工智能技术(AI)是当下最时髦的技术之一，相信大家一定也听过人工智能。那么到底什么才是人工智能？它在得物有哪些应用？AI如何做鉴别？如何预测性别？下面我们就一一道来。

AI&得物

AI技术

什么是AI？AI是Artificial Intelligence的缩写，中文名字是人工智能。AI是指通过普通计算机程序来呈现人类智能的技术。简单来说就是呈现人类智能的程序。

AI应用

AI在各个领域都有应用。比如工业领域会结合机器人或机械臂做一些智能分拣，货物运送等工作；在娱乐领域，AI会合成好玩的视频，如让特朗普唱《我爱你中国》，会生成一些世界上没有的人脸，或者做拼图等等；在影视领域，AI会PS，会做特效，会给动漫上色等等。我们常见的AI技术也有很多，如人脸识别、智能语音、自动驾驶、AlphaGo。

AI IN 得物

得物也有很多AI的落地项目。比如服务与推荐和搜索的小姐姐预测、质量分预测、拍照搜索、颜色识别等，还有一些为得物提效赋能的项目如智能打标、动态去重、动态去水印、3D贴图替换等。

以社区结构化和拍照搜索两个项目为例，来看看得物的AI做了什么。

社区结构化

社区结构化就是将社区动态打上结构化标签。为搜索和推荐服务提供有效特征。比如下面这个社区动态，用户可能在社区只发了这样一张图片，没有打标也没有有价值的文本，那如何让其他用户在搜索包包的时候召回这条动态呢？

这个时候就需要算法为这条动态打上标签，比如打上包包、灯泡、米老鼠等标签。然后用户在搜索挎包的时候就可以召回这条动态。

拍照搜索

拍照搜索是为了让用户以图片的方式搜索出想要的商品。

拍照搜索会先做一个显著性检测。也就是上图第三张图片中，算法先把冰激凌鞋子给裁剪出来，然后提取裁剪图片的特征做相似搜索。得物的拍照搜索最早是基于拍立淘的，后来采用自研的方案，做了很多优化以及创新。整体效果全面领先拍立淘版本，如在uvctr上提升10%以上。

AI鉴别

得物早期的技术和常规AI鉴别是非常前沿的技术。得物的AI鉴别是全球首个真实落地的AI鉴别，所有技术全部自研。

同人工鉴别一样，AI鉴别一般也有两种方式，一是基于规则，二是依托经验。

所谓基于规则可以理解为每个品牌或系列都会有自己的硬规则，当被鉴别商品不符合规则时就为假。如下图鞋标，红色框出来的部分相互之间有明确规则。

另一种是依托经验，比如下图小人的胖瘦，这种没有明确规则，依靠的是人工经验，当看了很多真货以后自然就能看出假货不一样的地方，可能是小人的胖瘦，也可能是字体的粗细，印刷的深浅，光滑程度等等。

对于AI鉴别而言，两种都可以做。基于规则的话主要是用一些传统的CV方法，识别出规则想要的特征，比如线的长短，比如字符识别。但是这种方式不是很好，因为，很多商品是非刚性的，对于判断线张短等传统CV算法不是很友好，另外规则是多变的，并且每个品牌甚至每个系列、每个款式都有自己的规则，如果要时刻保持最新的规则，那么开发成本很大。但是依托经验的鉴别方式显然很符合当下先进的人工智能技术。有一点AI基础的同学都知道，这其实就是一个简单的分类问题，我们只要积累足够的正负(真假)样本，就能让AI做鉴别。

综上所述，目前AI采用的是第二种方式。虽然思路简单，但是如果要达到可用的准确率还是有很多技术难点需要攻克与优化。目前，我们的AI鉴别的鉴别准确率在大部分款式上已经高于或等于人工鉴别准确率。

AI鉴别主要通过用户拍摄的商品关键部位图片。通过人工智能技术，给出商品真伪的结论。

整个流程分为以下几个部分：

确定款式->确定部位->分割部位->鉴别真伪

首先算法会确认用户上传的商品的款式，比如AF1，不同的商品会在后续流程中对应不同的模型。接着会对用户拍摄的图片进行部位分类，AI会对每个关键部位给出置信分，用于确定商品的真伪。同时也会根据不同的部位开发不同的模型。然后对于确定好部位的图片进行分割，目的是去掉干扰背景，保留有价值区域。最后分割出的关键部位会进入鉴别网络，鉴别网络给出真伪鉴别结论。

AI鉴别相比于人工鉴别有很多优势：比如低成本、速度快、24H工作、可复制、新角度、目标可调等等。所以AI鉴别前景非常客观，预计未来的趋势是少量的人工鉴别+大量AI鉴别。

NLU

NLP小组在解决实际业务需求同时，会沉淀NLP相关的基础工具和服务。

在解决搜索词分层，沉淀的得物切词(Ducut)工具，让运营分析搜索词能够拆分到品牌词、类目词、系列词等更细维度。在解决搜索无结果，或者抽取搜索词重要信息问题时，使用实体识别方式进行query改写。文本向量应用推荐侧进行相似文本召回等等。

打开得物社区动态，文本进行的基本处理，进行提取摘要、标签标注。社区后台会定时生成热点事件组合词，提供给运营生成热搜榜。在进行搜索时的下拉提示词功能，是基于搜索词过往的价值表现和搜索生成。有关文本基础工具和服务组成了NLU。

性别预测

提出问题

用户性别一直是一个很重要的画像标签。业务方提出优化性别，提升7%。

数据分析

分析上一版本性别预测是基于用户行为画像数据建模，用户中存在低活跃或者新用户，无点击、收藏、购买行为信息，获得的画像数据十分稀疏。数据质量决定一个模型的上线。

解决方式

面对用户行为画像稀疏问题，尝试了增加静态特征进行建模。

方案一：现在每个人手机会安装约120个APP。最简单方式是把所有APP名称当成文本处理，进行TextCNN性别的二分类，不过效果不佳。

方案二，男女各取差异明显的TOP500APP，进行one-hot特征处理建模，缺点是APP更新迭代太快和算法失效性低，并且损失大量信息。

方案三，对APP进行分类，分成13个一级标签，根据游戏和应用类型映射到不同的标签形成三级标签，每个用户得到236维度的静态画像，结合动态画像，再使用树模型预测。

算法落地

整个部署和训练均部署在阿里云maxcompute上，除了解决性别预测的问题外，还使用APP信息生成静态画像标签数据应用其他业务场景。

结尾

这次是技术夜校首次分享算法相关的主题，现场来参加的同学也是充满好奇，互动不断。此次分享两位大神介绍了AI的概念及部分应用场景，希望以后能够机会邀请更多算法大神做深入的技术分享。