RK3588作为一款旗舰级通用SoC,采用8nm制程工艺,各种功能接口高度集成,有着强大的性能和拓展能力,非常适合XR、视频分析等边缘AI终端产品的开发,如智能头盔、交通视频分析、安防视频分析等产品应用,下面将结合RK3588的芯片特点,简单分析一下它在机器视觉场景中的解决方案。
RK3588在XR产品中的应用优势
XR泛指虚拟现实技术,如VR(虚拟现实)、AR(显示增强)、MR(混合现实)技术,XR在娱乐中的应用已不必多说,在此我们重点分析下KR3588在单兵辅助、工业运维和医疗方面的行业应用。对行业应用来说,RK3588的高度集成设计、强大的编解码能力、丰富的传感器接口以及宽温工作能力是必不可少的。
RK3588是一颗通用SoC,一颗芯片上集合了多种功能IP,如A76*4+A55*4的八核CPU,G610 GPU,6TOPS算力的NPU,8K VPU,48M ISP,MCU,计时器等多种功能核心。高度一体化的SoC有助于简化PCBA的设计,减小面积,提高稳定性。对于智能头盔类产品尤其重要,PCBA部分的设计对整体结构影响较大,保持整机设备的轻便,佩戴舒适是一个重要的设计目标。采用RK3588芯片的智能头盔主板,同时保证显示和多摄像头接入的前提下,可以控制在75*55mm以内,可用于交警巡检、单兵辅助、工业运维等场景,而采用RK3588S芯片则可以进一步缩小主板尺寸,主要应用于医疗、普通运维等对温度要求不高的场景。
RK3588平台具有强的大编解码能力,内置独立的双8K VPU,支持8K@60fps的解码输出和8K@30fps的编码,或者等效的多路视频编解码。RK3588可支持多路摄像头sensor接入,最多支持6路sensor直连,支持拼接、编码、显示输出、视频分析等应用。借助NPU的强大算力,可功效运行AI算法,实时输出结果,并将结果叠加显示,以实现AR、MR应用。典型的应用就是视觉增强,比如,交警巡视时,摄像头可捕捉宽幅的高清画面,通过NPU进行实时分析,然后将问题点在头盔显示器中标注显示,方便交警快速掌握现场情况。再比如工业设备、飞机等运维检查,单靠人眼,逐个检查设备,效率较低、工作强度大,成本高。而机器视觉则可以辅助人类更好的完成这些工作。
除了能满足多摄像头的接入,RK3588还有丰富的功能拓展接口,如UART、SPI、IIC、USB、SATA、PCIE等,可用于温度、气压、存储、G-sensor、AI加速模块、数据通讯模块等其他功能模块的接入,方便客户根据自己的场景需求,打造专属设备,提高产品竞争力。此外,RK3588处理器拥有宽温版本,可支持-40℃~125℃的工作温度,这对于户外应用是十分必要的。
RK3588在边缘AI服务器中的应用优势
RK3588自带强大算力,丰富的接口接口设计,非常适合智慧交通、智慧安防、自然灾害预警等产品的应用。RK3588可支持多路IPC接入,可支持144路D1视频解码,64路1080P@30fps视频解码,一台设备即可满足区域视频分析需求,结合5G数据通讯,方便部署维护,降低设备成本。借助网络接口拓展和强大的存储拓展能力,可直接用RK3588打造AI边缘计算服务器,与多路IPC直连,实现分析预警、本地存储、上传远端服务器等功能。并且RK3588支持芯片级联,通过三个RK3588芯片级联可提供更强大的算力。
RK3588单个芯片的NPU可提供6TPOS@int8的算力支撑,整体算力在10TOPS水平,已经可满足大多数常规AI算法。对于大算力需求的场景,除了芯片级联,RK3588还可以通过外挂加速模块实现AI算力的拓展,一般是通过USB3.0、PCEI等高速接口拓展,可根据现场需求灵活配置算力。
RK3588可提供更加开放的软件环境
对于行业应用来说,基于原生系统的深度开发是必不可少的,RK3588支持安卓和Linux系统,并且可以向行业客户开放源代码,客户可根据自己的实际业务需求进行软件开发。RK3588支持UOS、麒麟和鸿蒙OS等国产系统,可满足特殊行业的需求,并且国产操作系统在标案项目中是可以加分的,可增强产品的竞争力。与高通、联发科和Amlogic等企业相比,瑞芯微的技术支持相对比较完善,对客户的响应速度也比较迅速。与以往芯片不同的是,RK3588的NPU、ISP均可开放底层源代码,行业客户可根据自己的技术优势,对产品深度定制,打造更具竞争力的产品。
在AI应用方面,瑞芯微发力较早,开发工具相对完善,Rock-X SDK中提供了众多AI模型示例,方便客户评测、参考,降低开发难度。并且瑞芯微还提供了RKNN-Toolkit开发工具包,方便AI模型转换和调优,降低开发成本和风险。
目前RK3588已在多个行业落地,SDK也比较稳定,并且针对XR和边缘计算领域都有优化版的SDK,如果有此类项目需求,可以考虑使用RK3588来落地。