Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  目前在桌面级的 CPU 市场,是英特尔和 AMD 两家的天下。而在桌面级的 GPU,特别是独立显卡市场,则是被 Nvidia 和 AMD 两家垄断。数据显示,Nvidia 占据了 66.3% 的独立显卡市场,AMD 的份额则为 33.7%。虽然英特尔正准备推出自研的独立显卡,但是想要与 Nvidia 和 AMD 竞争却并不容易。

  而在移动 CPU 市场,Arm 的 Cortex 系列 CPU 一家独大,其他的例如 MIPS、RISC-V、x86 架构都难以与其抗衡。但是,在移动 GPU 市场,Arm 的 Mali 系列 GPU 的老大地位却并不稳固。

  虽然,自从 2017 年苹果宣布将在两年内弃用 Imagination Technologies 的 GPU 技术之后,Arm 的 Mali 系列 GPU 便开始少了一个强有力的竞争对手。而且近年来采用 Arm Mali 系列 GPU 的华为手机芯片的出货猛增,也帮助 Arm 提升在移动 GPU 市场的地位。但是,高通自研的 Adreno GPU 仍占据了相当一大部分的市场份额(高通的 Adreno GPU 源自 ATI 的 imageon,AMD 收购 ATI 后,将移动设备资产出售给了高通)。

  来自 unity 的数据显示,截止至 2016 年 7 月,移动 GPU 市场(包括安卓,iOS,WP 设备)市场排名为:Arm(35.9%)、高通(32.4%),苹果(16.0%),Imagination(11.2%),Vivante(1.9%),Broadcom (1.1%)、NVIDIA(0.7%)、Intel:(0.4%)。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  近年来,随着以智能手机为代表的移动市场竞争的进一步升级,为了提升自身手机产品的竞争力,三星、苹果、华为等头部的智能手机厂商继打造自己的手机 SoC 之后,纷纷加码投入自研 CPU、GPU、NPU 及基带芯片等核心器件当中。

  今年 6 月,三星与 AMD 达成合作协议,三星将可采用 AMD 最新的 RDNA 架构 GPU 自行设计手机 GPU 核心。另外,自“中兴事件”、美国制裁华为之后,华为便开始进一步加大了对于自研核心芯片的投入。近日有传闻称,华为除了自研的 CPU 之外,还在研发自主的 GPU 芯片。而这无疑将对 Arm 在移动 GPU 市场的地位产生威胁。

  苹果:CPU/GPU/基带即将全面实现自研

  iPhone 4 是苹果手机发展历程当中的非常重要的一款产品,因为苹果自 iPhone 4 开始,首次采用了自己的A系列处理器。而在此之前,都采用的是第三方的处理器。第一代的苹果A系列处理器是基于 Arm 的公版 Coretx-A8 内核,随后的几代产品也依然是基于 Arm 的 Cortex 内核。直到 2013 年 9 月,苹果发布了首款自行研发的基于 64 位 ARM v8 双核心的处理器——苹果 A7,这也是全球首款 64 位的处理器。在此之后,苹果的A系列处理器便开始一直采用自研的 CPU。

  在 GPU 方面,自苹果A系列处理器推出之后,一直采用的都是 Imagination 公司的 PowerVR 系列 GPU,成为了 Imagination 公司的最大客户。直到 2017 年 4 月,苹果公司宣布将在两年内放弃使用 Imagination 的一切技术,包括专利、知产、保密信息等等。而苹果之所以会做出这样的决定,是因为其自研的 GPU 获得了突破。

  其实,早在 2013 年的时候,苹果就已经开始在研发自主 GPU。苹果当时召集了许多 GPU 高级人才组建团队自主设计 GPU,AMD 前图形设计首席技术官 Raja Koduri 也在其中。但是,当时苹果在自主 GPU 的研发上并不顺利,这点从 Raja Koduri 随后重返 AMD 就可以看出。所以,苹果在 2014 年仍然与 Imagination 续签了为期多年的授权协议,涵盖了 Imagination 公司当时全部的和未来几年的 PowerVR 图形和视频技术专利。不过苹果并未放弃自主 GPU 的研发。

  2016 年上半年,苹果进一步扩大了其 GPU 研发部门,四处招揽 GPU 研发人才。同时还不断从合作伙伴 Imagination 那里挖人。或许由于苹果是其最大的客户,所以对于苹果的挖角,Imagination 似乎是有些“敢怒而不敢言”。

  虽然 2017 年 9 月苹果推出的 A11 就有媒体称其集成的 GPU 是苹果自研的,但是实际上,其似乎仍然是基于 Imagination 的 IP 定制的。因为它的内核设计与之前 Imagination 的 Rogue 非常相似。值得一提的是,苹果在 A11 处理器上还首次集成了自研的 NPU 内核。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家
图片来源:TechInsights Apple A12 Die Shot,ChipRebel Apple A11 Die Shot

  随后苹果在 2018 年推出的 A12 的 GPU 仍支持 PVRTC(PowerVR 纹理压缩),这是一种专有格式,意味着其 GPU 仍有可能与 Imagination 的 IP 相关联。

  结合苹果在 2017 年时所宣布的,“将在未来两年内放弃使用 Imagination 的一切技术”来看,苹果应该会在今年 9 月发布的 A13 处理器上采用自研的 GPU。

  另外需要指出的是,苹果近几年一直在研发自己的基带芯片,特别是在今年斥资 10 亿收购了英特尔基带芯片业务之后,预计苹果自研的手机基带芯片的研发进程将会进一步加速,预计在未来两年内就将会商用。

  三星:结盟 AMD,预计两年内推出自研 GPU

  2015 年,三星在韩国发布了 14nm FinFET 工艺的 Exynos 8890 八核处理器,而这款处理器的特别之处在于,其 CPU 采用四个基于 Arm v8 指令集自研的“猫鼬”架构的大核,以及四个 Arm Cortex-A53 的小核。而在此之后,三星的旗舰处理器便开始了对于自研的“猫鼬”CPU 架构的持续升级。

  经过几年的时间的演讲,目前三星的自研 CPU 架构已经到了第四代。2018 年,三星推出的 Exynos 9820 处理器,采用了两颗第四代自研大核心,两颗 Cortex-A75 和四颗 Cortex-A55 组合而成,同时还首次加入了自研的 NPU。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  值得一提的是,在 2018 年 8 月,三星还正式发布了首款自研的 5G 基带芯片 Exynos Modem 5100。而在今年年初发布的三星 Galaxy S10 5G 版的韩国版本则采用了 Exynos Modem 5100 基带。

  而在三星自研 CPU、NPU、基带芯片的全面崛起的同时,三星也早已开始了自研 GPU 的开发。早在 2017 年之时,业内就有消息称三星正在开发自研的 GPU。2018 年,三星挖来了 Nvidia 老将、GPU 技术专家吕坚平(Chien-Ping Lu)博士,他将负责领导 GPU 研发团队。

  资料显示,吕坚平曾在英伟达参与了集成 GPU 的 nForce 芯片组研发,IGP 集成显卡芯片组也是他主导的。值得一提的是,在 NVIDIA 之后,吕坚平博士加入了联发科,主导联发科的自研 GPU 计划,不过这款自研 GPU 后来由于各种原因被取消了。

  或许是自研 GPU 的开发上遭遇了挫折,毕竟 GPU 市场已经相当成熟,完全独立开发的话,就需要避开其他 GPU 厂商的专利,这并不容易。于是,三星开始寻求 GPU 大厂 AMD 进行合作。今年 6 月,三星正式宣布与 AMD 达成合作协议,AMD 将最新的 RDNA 架构 GPU 授权给了三星,让三星可以自行设计相应的 GPU 核心。值得注意的是,在双方达成合作之前一个月,吕坚平便从三星离职了。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  根据外界预计,三星将会在未来两年内推出集成 AMD Radeon 图形处理技术的移动 GPU,而新的移动 GPU 将有望大幅提升三星手机图形处理能力。

华为:除了自研的手机 SoC/基带/NPU,自研 CPU/GPU 也在进行中 ?

  一直以来,华为在很多核心器件上都坚持自主研发,除了华为近期曝光的针对高清智能电视的“鸿鹄”处理器之外,华为海思芯片家族已有麒麟、巴龙、鲲鹏、昇腾、天罡、凌霄等产品系列。

  早在 2004 年,华为就成立了海思半导体,从事相关手机芯片的研发。到 2009 年华为的首款手机处理器 K3V1 才正式发布,不过这款芯片主要是面向中低端市场,在当时也并未获得成功。而随后华为在 2012 年推出的四核 Coretex-A9 处理器 K3V2,则在当时的市场上获得较高的关注,华为还在当时的旗舰 Ascend D 上搭载这款处理器,并取得了一定的成绩。不过,此后近两年的时间,华为未推出新的芯片,一直是靠 K3V2 打市场,因此也备受外界吐槽“万年 K3V2”。

  实际上,华为这段时间是在针对 K3V2 上所出现的问题进行深度的改进,2014 年,首款“麒麟”处理器——麒麟 910 成功面世。虽然麒麟 910 只是 K3V2 的升级版,但是其解决此前 K3V2 的一些列问题,同时还首次集成了自研的巴龙(Balong) 710 LTE 多模基带芯片。而在此之前,华为手机芯片都是外挂基带。

  其实在华为开始研发手机处理器的同时,华为也同步开始了基带芯片的研发。2008 年 9 月,华为正式成立 LTE UE 开发部门,启动 LTE 芯片的开发。2010 年初,华为就成功推出了业内首款支持 LTE FDD 和 TD-LTE 双模的 Balong 700 芯片。2012 年,华为发布了业界首款支持 LTE Cat.4 的多模 LTE 终端芯片巴龙 710,并成功整合在麒麟 910 系列处理器中。

  此后数年,随着智能手机市场的快速爆发,华为在麒麟处理器和巴龙基带芯片上也是快速的升级迭代。2017 年 9 月,基于 10nm 工艺的麒麟 970 的成功发布可以说是麒麟芯片一个里程碑,其整体的水平首次达到了与高通骁龙旗舰处理器一样的高度,甚至在多方面更具优势。比如,麒麟 970 首次集成了 NPU 内核,同时其集成的巴龙基带可支持 LET Cat.18(4.5G,Pre 5G),支持 5 载波聚合,4×4 MIMO 以及 256QAM,能够将数据的传输效率最大化,超过了高通骁龙 835 搭载的千兆级基带芯片骁龙 X16,达到了与当时高通才发布不久的骁龙 X20 一样的 1.2Gbps 的下载速率。

  随后在 2018 年 2 月,华为又率先发布了旗下首款 5G 商用芯片——巴龙 5G01(Balong 5G01)和 5G 商用终端——华为 5G CPE。今年年初,华为又抢先高通发布了首款 SA/NSA 双模 5G 基带芯片巴龙 5000。

  另外值得一提的是,华为麒麟 970 和麒麟 980 集成的 NPU 都是基于寒武纪科技的 NPU 的 IP,而今年 7 月,华为发布的麒麟 810 处理器,则首次集成了华为自研的全新达芬奇架构的 NPU,而其强悍的 AI 性能让麒麟 810 一发布便登顶了权威机构 AI-Benchmark 的排行榜。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  可以说,目前华为设计的麒麟处理器,自研的 NPU、巴龙基带芯片都已经达到了全球顶级的水平。但是,需要指出的是华为的麒麟处理器当中的 CPU 内核和 GPU 内核都是来自于 Arm。而在今年 5 月,美国将华为列入出口管制“实体名单”之后,Arm 便中断了与华为的合作,这也意味着华为未来新的移动芯片的开发,可能将由于无法获取 Arm 最新的 IP 授权许可,将会遭遇困难。

  所幸的是,华为此前已经获得了 ARMv8 架构的永久授权,也就是说,华为不需要 Arm 提供的已经设计完成的 IP 核,而是直接获取设计这些 IP 核的指令集授权,这样华为可以对 IP 核进行大幅度的改造,甚至可以对 Arm 指令集进行扩展或缩减。而目前的主流的 Arm 手机处理器 CPU 核心基本都是基于 ARMv8 指令集设计。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家

  因此,华为完全可以基于 ARMv8 指令集自主设计处理器,并且拥有完整知识产权,不受美国禁令制约。比如苹果的A系列处理器、高通的部分高端旗舰处理器、三星的基于猫鼬核心的 CPU 都是基于 Arm 指令集授权进行自主设计的。另外,今年 1 月,华为发布的高性能服务器处理器——鲲鹏 920 就是华为基于 ARMv8 指令集自主研发的。

  所以,芯智讯(ID:icsmart)判断,华为接下来必然会基于 ARMv8 指令集设计自主的手机 CPU 内核。虽然,华为也可以选择开源的 RISC-V 架构来设计自主的 CPU 内核,但是,在性能 RISC-V 架构可能还无法与 Arm 在手机市场抗衡,并且在软件兼容性上可能也会有问题,其更适用于物联网市场。因此,华为大概率会基于 ARMv8 指令集设计自主的手机 CPU 内核。

  而近日,据台湾媒体报道,相关供应链人士指出,“海思目前正在开发设计多种芯片,从移动设备使用的一系列芯片,到多媒体显示芯片及电脑使用的 CPU、GPU。而且,海思芯片使用的技术全部集中在台积电 7nm 以下先进制程技术,同时顺势包下台湾后段封测厂及下游 PCB 行业的产能”。

  对于这个消息,芯智讯(ID:icsmart)认为,华为除了会设计自主的手机 CPU 之外,接下来确实可能会设计自己的 GPU。因为,美国禁令的存在,华为接下来将无法使用 Arm 的新的 Mali GPU。另外,对于智能手机来说,GPU 的性能直接影响到手机的画面显示、画面流畅度,特别是在大型游戏、AR/VR 方面的体验,甚至还会影响到手机 AI 方面的能力(GPU 的 AI 运算能力远高于 CPU)。因此,要想进一步提升手机处理器的竞争力,自研 GPU 也是必然。

  所以,我们可以看到,苹果、三星等一线的头部手机品牌厂商都在开发自己的 GPU 内核。而高通的骁龙旗舰处理器备受手机品牌厂商欢迎,其中一大关键因素就是其自研的 Adreno GPU 的出色性能表现。

  不过,要研发自己的 GPU 并不是一件易事。苹果自 2013 年开始研发以来,到目前尚未商用,虽然可能已接近成功,但是这也是基于其与 Imagination 长期合作,同时挖去了大量的 GPU 人才基础之上的。三星更是研发了数年,还遭遇挫折,最终选择与 AMD 合作。我们不难看出,GPU 的研发的困难程度之高,同样华为想要推出自研 GPU 也绝非易事。

  不过,芯智讯倒是认为,华为其实可以先选择与 Imagination 合作,进行 GPU 联合定制入手。毕竟在 2017 年 9 月,移动 GPU 大厂 Imagination 就已经成功被中国背景的私募基金 Canyon Bridge 以 5.5 亿英镑收购。目前 Imagination 已经算是一家中资企业,并且也正在大力开拓国内市场。

  此前 Imagination 中国区总经理刘国军在接受媒体采访时就曾表示,中国市场占 Imagination 的总营收约为 10%,第一任务是要抓整个中国地区的市场份额。

  芯智讯认为,华为甚至可以考虑从 Canyon Bridge 手中直接把 Imagination 买下来。当然,现阶段不太可能,毕竟美国禁令存在,华为对 Imagination 的收购可能得不到美国监管机构的审查批准。

  另外,前面的消息说华为要设计电脑使用的 CPU 和 GPU,这恐怕就是胡说了。谁都知道,目前电脑市场的 CPU/GPU 竞争已经是极度的成熟,剩下的几个玩家早已经垄断了市场好多年(文章开篇就有提及),生态也已经是非常的成熟,华为介入完全没有机会。当然,类似基于 Arm 架构的骁龙 Win10 笔记本倒是有些机会(即推出基于 ARM v8 指令集的自研 CPU 以及自研 GPU 的麒麟处理器的 Windows 笔记本),但是目前骁龙 Win10 笔记本在市场上的反馈一般,而且目前微软也仅与高通一家芯片厂商在合作。

  小结:

  仅从智能手机市场来看,三星、苹果、华为等头部的智能手机厂商,纷纷选择自研 CPU、GPU、NPU,将不可避免的对 Arm 的授权业务造成影响,即便是这些 CPU 仍是基于 ARM v8 指令集授权,但是毕竟是一次性付费授权。GPU 更是不必说,如果三星、华为都转向采用自研 GPU,无疑将会对 Arm 的 GPU 授权业务造成重创,因为仅剩的能够为 Arm GPU 授权业务做贡献的手机芯片厂商就只有联发科和紫光展锐了,而紫光展锐同时也有用 Imagination 的 GPU。

Arm Mali GPU的噩梦:三星、华为纷纷转向自研!-编程之家
图片来源:Counterpoint

  此前 Counterpoint 分析师 Parv Sharma 就曾表示,“由于美国对华为的禁令,Arm 与华为及其子公司海思的业务将受影响,因此 Arm 在移动 GPU 的市场份额将大幅下降,预计未来几年的份额可能降至 30% 以下。”

  从物联网市场来看,Arm 的 CPU 授权业务正受到 RISC-V 的挑战,虽然目前影响程度还比较有限,但是 RISC-V 的生态目前正在快速壮大,众多的一线的芯片设计厂商正纷纷入局。因此,Arm 也开始被迫通过下调授权费,推出新的授权合作形式来应对。

  另外,随着 AI 市场的崛起,众多的 AI 芯片也是如雨后春笋般出现。三星、苹果、高通、华为都纷纷开始在自己的手机芯片中集成了自研的 NPU 内核,华为甚至还推出了自研的 AI 云端芯片。这也使得 Arm 推出的相关的 AI 内核 IP 一下子缺少了头部手机大厂的支持。