AI 的热潮已经过去?许多关注 AI 的人或许会给出的判断。这种判断也有一些依据,AI 发展三大要素之一的 AI 芯片,在 2016 年左右出现大量的初创公司,之后火热了两年左右时间后,又逐渐凉了下来。
但 2020 年下半年开始,AI 芯片初创公司的融资消息又多了起来,在本月的 WAIC 2021 期间,多家云端 AI 芯片和边缘 AI 芯片初创公司都发布了新产品,AI 芯片似乎又热了起来。
AI 芯片为什么“凉”了几年又“热”了起来?AI 普及的关键到底是什么?RISC-V 芯片会成为 AIoT 市场的主角吗?
体验不好的 AI 产品伤害了消费者
2017 年左右掀起的新一轮 AI 热潮,有两个关键性事件。一个是 2012 年 AlexNet 在 ImageNet 大规模视觉识别挑战赛中用卷积神经网络(CNN)赢得了图像识别竞赛,再次掀起了学界研究 AI 的热潮。到了 2017 年,AlphaGo 战胜人类顶级棋手柯洁,并横扫整个围棋界。AI 的热潮从学界蔓延至产业界,并引发全民关注。
“我觉得 AI 能再一次热起来是因为神经网络在技术有了突破后,能够解决一些问题,而这恰好能满足消费者对智能美好生活的向往。”嘉楠科技创始人、董事长兼首席执行官张楠赓表示。
很快地,AI 音箱、AI 机器人、AI 家电、AI 故事机等众多 AI 产品迅速推向市场,其中出货量最大的 AI 音箱迅速普及,但很快被消费者抛弃。
“通过缩减材料降低成本,推出体验不好的产品对市场伤害非常大,因为没有好的体验,整个市场的规模很难变大。降低成本应该靠更好的技术。”张楠赓说,“AI 产品还是没有达到消费者的预期,消费者需要的是一个完整的产品,这是我认为 AI 又凉下来的原因。”
英特尔研究院副总裁、英特尔中国研究院院长宋继强表示:“现在很多 AI 系统,只有一个原型,但到商业化的时候,原型是不行的。AI 创新要真正的规模化发展起来,一定要很认真严肃地做垂直整合。”
也就是说,AI 产品的实际体验与消费者期待的产品之间仍有鸿沟。从 AI 智能硬件公司的角度,在 AI 芯片和 AI 算法的支持下,他们推出了比以往更加智能的产品,产品性能有了显著的提升。但从消费者的角度,AI 产品依旧不够智能,甚至有些傻,很难持续使用或购买新的 AI 产品。
“还有一个问题是价格,对于智能硬件和白色家电,消费者的要求是性能是世界级,但价格预期是‘地狱级’,这是矛盾所在。”张楠赓说。“不过,只要有明确的需求和目标,实现世界级的性能,同时兼顾可接受的价格并非不能达成的目标,嘉楠希望在未来 1-3 年内达成这个目标。”
还要看到,边缘推理是 AI 应用大规模落地的关键。这是因为,云边协同已经成为主流的计算范式。在云边协同的架构中,边缘 AI 在数据脱敏、数据感知和实时决策上有效弥补了时延和数据隐私上的短板,也能降低高昂的 IT 基础设施成本。
此时,更高性能的 AI 芯片非常关键。
需求释放,边缘 AI 芯片市场规模绝对值快速增加
嘉楠在 AI 边缘芯片市场占有先发优势,2018 年推出了首款 AI 推理芯片勘智 K210,这款 AI SoC 投片的时候还没有 MobileNetV2 和 YOLOv3 算法,所以只有 1TOPS 的 AI 算力。“由于勘智 K210 研发时间较早,在算力规划上没有考虑到后来才出现的算法模型,导致这款芯片在应用场景的拓展上受到限制。”张楠赓如此评价这款芯片。
在整个业界探索 AI 芯片和 AI 应用的背景下,嘉楠的首款 AI 芯片获得了多个头部教育机器人客户的订单。在 2020 年全球疫情和缺芯的环境下也实现了可观的营收。
“今年很多应用市场需求快速增加,仅上半年我们就实现了 1300 多万的 AI 芯片营收,如果下半年产能问题不能解决,我预计营收和上半年相当。”张楠赓说,“我看到的是今年市场需求特别旺盛,增长比较快。”
当然,AI 边缘芯片市场仍旧处于绝对值增长很快,但总体规模依旧不大的状态。在快速增长的市场里,除了 AI 教育以及增加 AI 功能网络摄像机(IPC),用边缘 AI 芯片做人群聚集检测、超声波定位、机器狗、跟拍云台等创新的产品越来越多。
“勘智主打的还是 AI 性能,基于勘智 K210 的能力,有些创新应用是我们没有想到的。更加智能的产品也需要更高性能的 AI 芯片,其实像家庭场景里的扫地机器人,面对的环境也非常复杂,需要比较高的算力,还要控制成本。”张楠赓表示。
为此,嘉楠推出了勘智 K510 边缘推理芯片,CPU 依旧采用 RISC-V(双核 64 位),全新的 KPU 将 AI 性能提升至 3TOPS,支持 TensorFlow、PyTorch 和 ONNX 模型导入,配合 KPU 为 AI 加速还增加了 DSP。
另外,勘智 K510 支持三路传感器输入 1080P 视频,拥有众多高速和低速接口,其中高速接口 DDR PHY 和 MIPI RX/TX DPHY 均是嘉楠完全自主知识产权的 IP。
从推出的时间看,勘智 K510 比嘉楠的产品路线图晚了半年多时间。据我们了解,其中的原因包括这是嘉楠第一个比较大规模的 AI 芯片,几乎重新设计了 AI 加速单元 KPU,高速接口也是完全自研,再加上产能紧缺等多重因素,导致勘智 K510 推出的时间比预期晚一些。
“产品更早推出肯定会更好一些,但稍微晚一点也有好处。我们推出第一款 AI 芯片的时候,绝大部分中小客户只能用原厂的芯片做一些嵌入式的开发。今年有能力开发 AI 芯片的客户多了很多,许多客户还有自己的 AI 算法。市场在成熟,应用场景也在不断增加,这对我们产品的推广是好事。”张楠赓如此解释。
与传统的功能芯片不同,AI 芯片的开发者并不知道自己明确的需求,这对要预测未来三到五年市场需求的 AI 芯片公司来说,定义产品难度更大。但比较明确的是,随着 AI 应用复杂程度的增加,对 AI 的算力需求也随之增加,提升 AI 性能成为关键。
“勘智 K510 的 KPU 相比上一代基本是重新设计。原来的 KPU 比较简单,如果用第一代架构进行等比放大提升性能会有很多问题。新设计的第二代架构更加通用,可伸缩性更好,很容易实现零点几 TOPS 到几 TOPS 的算力,同时兼容性也更好。”张楠赓表示。
提升 AI 性能的同时,勘智 K510 的视觉性能也有了显著提高,集成了最新一代图像处理单元和 3D ISP 模块,支持深度摄像头 TOF 传感器,可以在无需软件参与的情况下自动解析和提取深度图像,加速 3D 图像处理。
张楠赓指出,勘智 K510 是一款中高端算力芯片,视觉硬件配置也是这款芯片的重头戏,同时支持最多 3 个摄像头的输入,其中一路支持 3D 功能,也是迎合市场需求,能够满足比如活体检测等需求。勘智 K510 也能够应用于高清航拍器、视频会议、机器人、STEAM 教育、工业相机和辅助驾驶等场景。
我们注意到,勘智 K510 在降低功耗方面从多角度入手,比如通过 NoC 总线架构解决庞大时钟树带来的芯片大功耗和大面积问题;KPU 根据不同层级的带宽、计算和存储需求的调整,提高数据的复用率降低芯片功耗;还通过支持语音 VAD 功能,满足低功耗设计需求等。
不过,能够将嘉楠的 AI 芯片推向更广阔市场的关键是 RISC-V。
冲向万亿美元的 AIoT 市场
“易用性非常重要,开发者如果使用 CPU 或者 DSP 就能实现功能,能够降低开发成本和加速产品上市时间。”张楠赓说,“这也是我们在双核 64 位 RISC-V CPU 基础上增加 DSP 的重要原因。”
更强的 CPU 性能对于一款 SoC 的重要性也越来越高。“有一个很有意思的现象,5 年前,业界很多人认为 SoC 中的 CPU 的作用会被弱化,大部分的任务都会用硬件加速器处理,包括 AI 应用。但这两年,无论是手机还是 PC,CPU 的竞争越来越激烈,绝大部分的任务还是在 CPU 上完成,CPU 又变得很重要,所以对 CPU 的性能需求也大幅度增加。”张楠赓表示。
“我认为,未来几年桌面级和移动端先进的技术和架构会迅速下放到原来的 MCU 中,这个变化可能要到将来 3-5 年才能看到。”他作出预测。
CPU 在 SoC 中的重要性又变得重要,意味着 CPU 的性能和易用性成为竞争的关键。在 AIoT 市场,虽然统治移动市场的 Arm 占据优势地位,但最近两年 RISC-V 指令集芯片在这一市场进展迅猛,在对软件支持要求不高的应用中,RISC-V 已经被大量应用,但需要更高性能和更多软件支持的应用就面临挑战。
实际上,勘智 K510 的 CPU 是嘉楠自研。“第一代产品我们用的是 RISC-V 开源内核,明显的优势是不需要买版权节省成本,但漏洞也比较多。新一代的勘智 AI 芯片之所以选择自研,主要还是因为我们的需求超过了开源内核的需求。”张楠赓解释为何开始自研 RISC-V CPU。
硬件的自研对于有实力的芯片公司而言相对容易,但软件生态的建设就需要整个行业的共同努力。“无论是阿里在 RISC-V 方面的工作,或者如果英特尔收购 SiFive,这对整个 RISC-V 生态的建设都有非常积极的作用。”张楠赓说:“我们是 RISC-V 坚定的拥护者,所以我们无论是硬件还是软件,都受益于 RISC-V 社区,当然我们也将自己的设计和文档都上传到 RISC-V 社区,希望能够以身作则推动 RISC-V 生态的发展。”
“更多系统的支持对于我们产品的规模推广有非常明显的效果。刚推出勘智 K210 的时候,没有系统的支持,开发者想要开发难度很大。后来有了 RTOS 和 Linux 的支持,这对我们勘智 K510 的应用非常有用。”张楠赓表示。
“目前看来,RISC-V 芯片用到游戏领域可能会差一些,但除此之外的应用,使用 RISC-V 芯片都问题不大。”张楠赓认为“但我也不认为 RISC-V 会完全淘汰 Arm,Arm 在很多领域依旧会占有一席之地。”
不可否认的是,RISC-V 的生态建设依旧是在追赶 Arm 的生态,远谈不上赶超。就嘉楠而言,他们设计出更高性能的 AI 芯片之后,但很多功能的实现因为软件人员的缺乏,进度受阻。
张楠赓说他早已意识到缺乏软件人员的问题,但他并不打算采用大量招聘软件人才的方式解决这一问题,而是保持嘉楠硬件的基因,通过与更专业的合作伙伴共同解决软件方面的挑战。
张楠赓透露,嘉楠最早会在今年下半年公布在软件方面的合作进展。
还有一个更深层次的问题,嘉楠为什么要选择不成熟的 RISC-V CPU 推出 AI 芯片?张楠赓的回答是:“在行业的选择上,我们选择了 AI 这个有巨大需求量的市场,在技术上,选择 RISC-V 有成本优势,在未来的 AI 市场会大有所为,开源开放也是我们一直拥护的。”
麦肯锡预测,全球 AIoT 市场规模 2025 年或将达到 11.2 万亿美元。张楠赓对嘉楠未来 3-5 年实现亿元级别的 AI 营收继续保持乐观,并且预测,当嘉楠的 AI 业务营收达到 500 万到 1.5 亿美元的某个时点,会迎来爆发点。
小结
AI 和 AI 芯片为什么会在几年的火热之后就凉了?可以说是落地进展缓慢,更进一步来说缺少完整的 AI 产品,给消费者提供良好的体验。作为提升产品体验的关键,芯片算力的提升至关重要。嘉楠作为率先推出 AI 芯片,也是最早选择 RISC-V 的公司,其产品和技术的演进给我们了解 AIoT 市场的发展提供了非常多可参考的信息。
从使用公版 CPU 到选择自研,从 KPU 架构的升级,到自研高速接口,可以看到这个市场在高速增长,也能看到嘉楠对于 AI 市场,以及做一件更大事情的信心。
张楠赓说:“一个公司的成功,最核心的是战略的正确,对于嘉楠来说坚持自主研发就是战略,解决别人没有解决的事情。”
芯片出货量已过亿级,已经有 300 人芯片团队的嘉楠,保持每两年迭代一款 AI 芯片,按照算力高低分为 2 系、5 系、8 系满足终端和边缘市场需求,针对场景优化的勘智芯片,会带给我们什么惊喜?