ChatGPT和GPT-4等大规模语言模型的走红,迅速点燃了舆论对人工智能的热情,也让人工智能芯片受到产业界的强烈关注。相比CPU、GPU等通用芯片,NPU(神经网络处理器)能够以更简单的控制流、更高的效率、更低的功耗处理AI工作负载。随着人工智能技术栈和行业应用的发展,NPU一方面支持越来越多的模型,包括GPT-4采用的Transformer模型;另一方面,也从AIoT走向消费电子、自动驾驶等更多领域。
3 月 28 日,安谋科技发布了最新一代NPU产品“周易”X2,将配合此前宣布的“周易”NPU软件开源计划,为人工智能的应用创新——尤其是面向自动驾驶等大算力、高精度、强实时场景提供软硬件支持。
多核心、大算力、多精度,助力AI多场景落地
随着摩尔定律放缓,通用处理器架构难以满足人工智能的密集型计算需求。数据显示,2000-2004年,每一美元能获取的芯片性能以每年48%的速度提升,而2008年以后已不足10%。在这种趋势下,专用芯片成为面向特定需求提升算力和能效比的新思路。
其中,NPU是面向机器学习和人工智能领域的专用加速芯片。相比CPU、GPU等通用芯片,NPU在电路层模拟了人类神经元和突触,针对AI计算涉及的大量神经网络模型进行特殊优化,能够以更高的效率、更低的能耗处理人工神经网络、随机森林等机器学习算法和深度学习模型。
如今,苹果、三星、oppo等多家手机厂商搭载了NPU,用于面部识别、拍摄物体及环境识别、影像处理等,为消费者带来3D动画表情、人脸解锁、AI场景识别、无损实时RAW计算等一系列新体验。随着人工智能向平板电脑、台式机等更多终端,家居、汽车等更多领域渗透,“万物智联”时代拉开序幕,这不仅考验着NPU的算力和精度,也对NPU架构的灵活性和兼容性提出了更高的要求。
此次安谋科技推出的“周易”X2 NPU聚焦综合性能的提升,兼顾了多终端、跨领域应用对大算力、高精度、灵活性、兼容性的需求。
在算力层面,“周易”X2 NPU不仅提升了单核性能,还引入了多核、多集群架构,能够支持高达320TOPS的大算力方案。相比采用单核架构的“周易”X1和“周易”Z系列,“周易”X2引入了由多个NPU核组成的Cluster(集群),较单核实现了算力的成倍提升。多个Cluster又构成了子系统,较单个Cluster进一步实现算力的成本提升,可支持320TOPS大算力产品的交付。
在精度层面,“周易”X2 NPU支持混合精度计算,支持整型的4bit、8bit、12bit、16bit、32bit以及浮点的16bit、32bit计算,可以更好地平衡功耗、算力密度和计算精度。
在灵活性层面,“周易”X2 NPU 的任务调度速度达到100纳秒。据安谋科技产品总监杨磊介绍,安谋科技为“周易”X2设计了硬件级别的任务调度加速单元,以支持多核或者多个计算单元的实时任务调度。
“当我的车有10个摄像头,有10路数据进来。任务调度器发现哪个NPU核是空闲的,就可以把任务立刻调度给那个核做计算,构建动态、实时的调度解决方案。”杨磊说。
在兼容性方面,“周易”X2 NPU支持自定义算子,满足各种模型部署需求,并针对ADAS、智能座舱、平板电脑、台式机和手机等应用场景提供了配置方案和专门优化。
面向消费级终端,“周易”X2 NPU则针对AI去噪、超分辨率、插帧等面向拍照、录像和视频会议的场景进行了优化。
面向自动驾驶等场景,“周易”X2 NPU可提供大算力配置方案。首先,专门的硬件加速任务调度器,能够更好地支持汽车判断前方目标并实时响应的需求。其次,对混合精度的支持,顺应了汽车场景对更高计算精度的追求。此外,安谋科技面向车载算法专门优化了Transformer模型的性能,在算力相等的情况下,Transformer的性能较上一代的“周易” Z2提升了10倍。
在边缘终端和自动驾驶等领域的基础上,“周易”系列还将向更高性能的场景拓展。
“过去几年里,‘周易’系列产品应用已经从AIoT领域,到现在的汽车、边缘智能终端等领域,未来会向更高性能的云侧和服务侧发展。我们希望‘周易’涵盖不同的应用场景,通过不同的配置,与更多领域、更加多样的系统结合。”安谋科技执行副总裁、产品研发负责人刘澍表示。
软件开源解决开发痛点,助力本土NPU生态构建
在面向更多行业、更多场景的落地过程中,NPU的应用开发也出现了一些痛点。由于缺乏统一的工具链,NPU在推理侧出现了硬件碎片化,增加了应用开发创新的代价和周期。另一方面,NPU处理AI模型的训练、推理时,涉及或产生大量数据,开发者对白盒软件、工具链的诉求越发迫切。
针对以上痛点,安谋科技发起了“周易”NPU软件开源计划,通过开放源码,满足客户更自主、灵活的算法移植需求。按照计划,安谋科技率先对外开放NPU中间表示层规范、模型解析器、模型优化器、驱动等,并提供免费的软件工具链,包括软件模拟器、调试器、C编译器。
“我们收集到很多用户反馈,最典型的是汽车应用场景。一方面,Tier1在实际应用过程中产生的算法和数据都是很宝贵的资源,如果在移植开发中遇到问题,Tier1希望在自己那侧解决,独立进行白盒的开发和调试。另一方面,客户有很多自定义算子的需求,这也对白盒化的软件和工具链有很强的诉求。基于这样的市场反馈,我们选择这个时间点推出开源计划。”杨磊在接受《中国电子报》采访时表示。
目前,安谋科技已开源“周易”NPU软件工具Compass的前端,并在开源计划的第一阶段开放了Compass解析器、NPU Linux驱动、Compass集成和模型仓库。
同时,安谋科技最新的一代V3架构为免费授权。根据安谋科技研发团队测算,如果开发者在软件参与“周易”的NPU开源项目,在硬件上兼容“周易”架构,无论在硬件开发还是在软件开发上,大概能节省超过50%的工作量。
后续,安谋科技还将逐步开放更多资源,例如模型量化、算子实现等源代码。
软件的开源不仅能提升开发效率,而且能够持续吸纳开发者在使用过程中的反馈,有利于行业生态的良性循环。一方面,NPU的软件开源可以提升用户开发效率,减少上市时间,并提升系统的能效表现。另一方面,开源有利于NPU在更多场合发挥更大作用,也令NPU IP厂商能够触达上下游企业,共同反哺本地化的NPU生态。
“NPU有很强的软件属性,并不是一个纯粹的硬件加速器,因为用户要在上面跑各种各样的应用或算法。每一个算法在硬件上的部署或移植,都会为生态贡献了一份力量。”杨磊说。
目前,安谋科技已分别在代码托管平台Gitee、GitHub上建立NPU软件的开源库,并吸引了来自AIoT、智能汽车、智能操作系统等领域的第一批合作伙伴“入驻”。据安谋科技透露,以上合作伙伴均表示将基于NPU开源计划与安谋科技深化合作,加速构建本地化的智能计算生态“朋友圈”。
Arm底蕴与本土化创新结合,强化芯片设计“弹药库”
自1990年Arm公司成立以来,基于Arm架构出货的芯片已经达到2500亿颗。IP授权这一商业模式,也随着Arm的发展深入人心,成为芯片设计垂直分工的重要环节。
安谋科技作为独立运营、中资控股的合资公司,在吸纳和发挥Arm技术和生态优势的同时,立足并结合本地化需求,形成了“自研IP技术的创新发展与Arm IP相配合”的经营策略。据安谋科技介绍,其成立时与Arm签订了交叉许可协议,一方面可以向总部设在中国的合作伙伴开展集成电路IP的授权与技术服务;另一方面,也拥有独立的自主研发权力,可以结合中国市场需求自研基于Arm技术的IP与标准,本土团队研发的自研IP产权归安谋科技所有。
以“周易”NPU为例,安谋科技在自研其硬件IP和软件工具的同时,也吸引和培养了本地化的NPU工程师团队,为公司研发和用户开发提供本地化的支持。
“经过5年的努力,我们已经在北京、上海、深圳吸引和培养了很多工程师,整个团队拥有超过130位工程师从事NPU的软硬件全栈研发。我们已经开发了三代NPU产品和架构,也专注于IP和SDK开发,以及对国内客户的服务和支持。”安谋科技NPU研发高级总监孙锦鸿表示。
时至今日,安谋科技在国内的授权客户超过370家,累计芯片出货量突破300亿片。除了“周易”NPU,安谋科技还自研并推出了“星辰”CPU、“山海”SPU、“玲珑”ISP与“玲珑”VPU等本地化IP,而包含CPU、NPU、信息安全、多媒体的IP矩阵,为芯片企业打造异构集成方案提供了“弹药库”,并有利于提升芯片设计的灵活性。例如博通2022年推出的两款Wi-Fi蓝牙双模SoC芯片,就集成了“星辰”处理器和“山海”的信息安全核心模块。
本次“周易”NPU软件开源及相应的生态合作措施,也是对安谋科技“生态伙伴计划”的承袭和补充。该计划发起于2022年7月,依托Arm技术生态与自研IP产品矩阵,与生态伙伴共建上下游产业生态,共同推动各领域的软硬件、解决方案、工具链、行业标准以及社区联盟等生态环节的发展。截至目前,已有多家芯片设计公司、解决方案提供商、系统平台公司等加入生态伙伴计划。
IP作为硬件设计的核心资产,不仅在芯片设计和产品定义中发挥了重要作用,也对芯片产业的底层创新具有深远意义。而IP的迭代与创新,需要与芯片、软件、生态乃至标准等产业链关键节点的发展趋势与共性问题耦合,才能推动芯片产业的螺旋上升。
“对产业来说一个,IP公司的意义和作用就在于,它首先看到了生态和技术的发展趋势,帮助客户和合作伙伴解决一些重复投入的问题。通常来说,我们解决了底层的技术问题和创新问题以后,可以帮助客户合作伙伴节省1到2年的开发周期。客户利用这些IP,能够更高效地推出可量产的芯片,达到应用级创新的目的,这是IP作为基石帮助客户走向成功的定位和角色。”刘澍说。
(审核编辑: 智汇闻)