博客

2018-09-17

Kneron发布新一代终端人工智能处理器NPU IP-KDP Series 运算效能大幅提升3倍,最高可达5.8 TOPS

专注于终端人工智能解决方案的新创公司耐能(Kneron)9月14日参加在上海举行的Arm人工智能开发者全球峰会,以「可重构算法在AI芯片中的应用」为主题发表演说,会中同时发布Kneron新一代终端人工智能处理器系列NPU IP - KDP Series。Kneron第二代NPU IP包括三大产品,分别为超低功耗版KDP 320、标准版KDP 520、以及高效能版KDP 720。全系列产品的功耗低于0.5瓦(W),采用新的架构设计让运算更具弹性,整体效能相较于上一代产品大幅提升达3倍,运算能力(peak throughput)最高可达5.8 TOPS(每秒万亿次运算)(註一)

Kneron创始人兼CEO刘峻诚表示:「Kneron推出为终端装置所设计的人工智能处理器NPU IP后,其超低功耗的优势受到市场高度关注。Kneron新一代NPU产品在诸多方面取得显著的突破,基于第一代产品的优势,我们改善数据运算流程、提升整体运算效能与储存资源使用率,同时针对不同的神经网络模型进行优化,让NPU可以更广泛地应用在各种终端装置,并满足更复杂的运算需求。」

Kneron NPU IP可应用在智能手机、智能家居、智能安防、以及各种物联网设备上,让终端装置在离线环境下就能运行各种神经网络。Kneron第二代NPU IP采用新的交错式运算架构(Interleaving computation architecture)设计,缩短运算流程和提升效率。深度压缩(Deep compression)技术让压缩功能从模型层级深入至数据和参数层级,使压缩率再提升。动态储存资源分配功能提升储存资源利用率,却不影响运算效能。此外,支持更广泛的卷积神经网络(Convolutional Neural Networks,CNN)模型,并针对各种CNN模型分别进行优化,在不同神经网络模型下,可提升1.5倍~3倍不等的效能。

第二代NPU IP-KDP Series重点技术说明:

交错式运算架构设计:透过交错式架构,让神经网络架构中主要的卷积(convolution)与池化(pooling)运算可平行进行,以提升整体运算效率。在新的卷积层中,还可同时支持8bits与16bits的定点运算(fixed point),让运算更有弹性。

深度压缩技术:不仅能执行模型压缩,还能对运行中的数据和参数(coefficient)进行压缩,减少内存使用。模型大小可压缩至50分之一以下,准确度的影响率小于1%。

动态储存资源分配:让共享内存(shared memory)和运作内存(operating memory)之间可以进行更有效的资源分配,提升储存资源利用率的同时却不影响运算效能。

CNN模型支持优化:支持更广泛的CNN模型,包括Vgg16、Resnet、GoogleNet、YOLO、Tiny YOLO、Lenet、MobileNet、Densenet等,而且针对不同CNN模型分别进行优化,在不同神经网络模型下,相較上一代產品提升1.5倍~3倍效能。


注一:运算效能会因纳米制程不同而异。5.8 TOPS为KDP720在28纳米制程、600 MHz、8bit fixed points下的效能表现,预测运行功耗在300-500mW (估计每瓦效能为13.17 TOPS/W) 。

Kneron发布新一代终端人工智能处理器NPU IP-KDP Series 运算效能大幅提升3倍,最高可达5.8 TOPS | Kneron - 人工智能无处不在
Kneron发布新一代终端人工智能处理器NPU IP-KDP Series 运算效能大幅提升3倍,最高可达5.8 TOPS | Kneron - 人工智能无处不在

分享文章