详解阿里巴巴首款AI芯片

邱丽婷 摩尔芯闻 今天


9月25日,在云栖大会上,阿里巴巴发布了其第一款芯片-含光800。作为芯片领域的新人,阿里有很多自己的思考。


“市面上有很多公司做识别芯片,也有很多应用场景,阿里主要做城市大脑,利用视觉可以进行城市管理,包括监视交通情况等等。” 阿里巴巴达摩院高级研究员金榕这样说道。


阿里巴巴达摩院高级研究员金榕


了不起的深度学习


对于一款AI芯片来说,深度学习可以说是其核心技术。目前有语音交互、视觉计算、自然语言理解以及机器翻译等深度学习领域。金榕表示,自然语言理解和机器翻译比较晚接触深度学习技术,深度学习让这两个领域产生了质的变化,最主要的因素就是深度语言模型接入。


所谓的深度学习到底是什么?据资料显示,深度学习(DL)是机器学习中一种基于对数据进行表征学习的方法,是一种能够模拟出人脑的神经结构的机器学习方法。深度学习的概念源于人工神经网络的研究。而人工神经网络ANN(ArTIficial Neural Network)是从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络,简称为神经网络类神经网络。因此,深度学习又叫深层神经网络DNN(Deep Neural Networks),是从之前的人工神经网络ANN模型发展而来的。


在金榕看来,深度学习有三要素。分别是大数据,复杂模型以及非凸优化。就大数据来说,想要建立复杂模型必须要有很多数据去分析以及总结。深度学习还需要解决在如此庞大的数据吞吐下可以顺利运算与分析。深度学习对自然语言,机器翻译等等产生翻天覆地的变化,但却仍然不够。


站在阿里巴巴的角度,金榕表示,阿里巴巴每天需要把一亿个国内产品翻译成相应的国家的语言,高达21种。不仅如此,在阿里巴巴的拍立淘功能中,每天有超过4亿的商品,超过30亿的图片需要去识别处理,这是非常巨大的工作量。


第一颗NPU的业务定位


因此阿里推出含光800芯片应对目前的市场问题。阿里巴巴达摩院研究院焦阳(骄旸)谈起这样一颗NPU的业务定位。

 

阿里巴巴达摩院研究院焦阳(骄旸)


骄旸表示,阿里做芯片,不仅是理论上的研究,还有实践的探索。对于阿里第一颗NPU的业务定位,他提到这三个方面:CNN类模式推理加速为主;通用可扩展道其他DNN模型;应用于数据中心、大型端上。


谈及为什么要做云上大芯片。骄旸称,阿里云计算业务在快速增长,处于国内领先地位。通过对硬件的设计帮助快速拓展业务,降低成本是非常核心的一步,云计算走到今天,没有硬核很难走下去。


“我们希望能够用很高算例的水平去做NPU。最重要的目的就是实现计算额突破,降低云计算成本。其中痛点就是算例,其成本要求很高,而传统计算平台很难满足要求。因此阿里想用技术带来新的业务能力,希望能够带来别人没有的功能。没有办法做的事,可以通过芯片去解决。”说做含光800的初心,骄旸给出了这样的回应。


想要做好一款AI芯片并不容易,无论事阿里巴巴还是业界,AI芯片第一步要做的是训练,而第二步是推理。传统的互联网公司主要做搜索,广告。而阿里除了这些还有很丰富的视觉类领域,比如淘宝图片搜索,智能城市,智能工厂,更多用到CNN类模型,因此阿里以CNN类模式推理加速为主。


芯片特色


含光800有非常出色的性能,骄旸分别介绍了其特色:

一、深度优化CNN及视觉类算法

1、加速卷积和矩阵乘,支持反卷积、孔洞卷积、3D卷积、插值、ROI等;

2、针对ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN、DeepLab等模型优化。


二、高能效、低延时:

1、高密度的计算与存储。极大减少I/O需求;

2、软硬协同支持权重的稀疏压缩,计算的量化压缩。


三、指令集支持可编程模型拓展

1、除INT8/INT16量化加速外,也覆盖FP16/BFP16的向量计算;

2、除直接加速各种ReLu、Sigmoid、Tanh等,也可支持未来新兴激活函数。


该芯片采用台积电12nm技术,拥有170亿晶体管,支持PCie4.0以及单机多卡。拥有两种模式,分别是高性能式和高能效模式。该芯片架构有效性非常好,同一功耗下在同类产品中表现优异。



多应用场景


该芯片拥有非常多的应用场景,包括城市大脑,目前交通场景有很多交通摄像头,一个城市或者区域有上千上万摄像头,对处理能力要求很高,含光800很适合场景处理。


拍立淘,用户上传照片,经过AI处理先经过检测,分析大概哪类产品,再去做主题识别,主要是目标检测。再产生搜索目标,特征抽取,运用特征向量去检索,与数据库中商品数据比对,反馈给用。其中牵扯到的算法都是用CNN类网络实现,含光800现在完全可以实现,因为它有400M的参数。


广告推荐是阿里下一步想做的,主要在优化网络。精度方面已经达到当初的设计要求,目前已经在尝试推广。


智能服装设计方面主要是推测服装的流行趋势。河马等智能店,智能医疗运用到的是图片处理,云弹性裸金属也是。


“上古三剑,一曰含光,是不可见,运之不知其所触,泯然无际,经物而物不觉。”这是用来形容宝剑含光的语句,阿里用含光为名,赋予这款AI芯片美好的憧憬,而这款芯片也不负众望,其性能目前已打破现有AI芯片记录,并在性能及能效比方面统领全球第一。


福利


摩尔精英粉丝福利:半导体行业资料,免费下载



点击阅读原文,了解摩尔精英

    已同步到看一看