寒武纪正式发布了面向边缘计算领域的AI芯片思元220(MLU220)及M.2加速卡产品,助力边缘人工智能应用落地。边缘AI通常与各类传感器相连,通过获取各种数字信号,做出决策、发出控制信号。而传感器的数据往往是非结构化的,比如视频,图像和语音,很难直接用于控制和决策。因此需要边缘AI计算将非结构化数据进行结构化,用于控制和决策。为此,寒武纪专门设计了针对边缘AI计算的芯片。
MLUv02架构基于片上网络NoC构建,有六大方面的提升和优化:
(2)节省内存和带宽,增加数据压缩和解压缩指令,大幅节省内存容量和访存带宽;
(3)高度灵活,指令集扩展近百条,功能更强大更灵活;
(4)精度可选择,除了INT8,还增加INT4和INT16精度的运算指令,可根据需求灵活选择,在高性能的场景使用更高性能的INT4,在高精度的场景,使用更高精度的INT16;
(5)增加了软件可管理的共享缓存,可以用软件直接控制在处理器核之间进行通讯,利用内部Shared Mem大大优化多核性能;
(6)方便处理复杂数据,增加了灵活的转置等指令,可以支持各种复杂的数据预处理。
(1)2个PCIe3.0 2×2接口,可以连接NVMe等各类高速设备;
(2)eMMC5.1 HS400,支持高速eMMC存储,最高达400 MB/s;
(3)SDIO3.0, 可以方便连接各种存储设备和WIFI 蓝牙等无线设备;
(4)双千兆以太网口,可以帮助客户实现双网口的方案,从而实现内外网物理隔离,保护数据安全;
(5)LPDDR4X内存接口,保证计算数据高速交互和低功耗。
随着5G与AI时代的到来,海量数据处理需求推动AI硬件向边缘扩展。寒武纪副总裁刘道福认为,边缘计算主要带来三个优势:一是直接在边缘处理数据,大幅降低通信成本;二是大幅降低时延,解决实时处理需求;三是保护数据隐私安全,无需将数据传回云端,减少数据泄漏。
对此,MLU220边缘方案有三大优势:
(1)数据高安全:数据本地智能处理,脱敏上传。
(2)处理低延时:数据实时分析,结果即时反馈。
(3)带宽高利用:数据边缘清洗,智能分发,有效上传。
基于思元220,寒武纪面向市场推出小尺寸M.2加速卡。思元220-M.2边缘加速卡在尺寸仅U盘大小的卡片上,算力达到16 TOPS(INT4),功耗仅8.25W,可提供8路高清视频的实时智能分析。此加速卡可以广泛应用于智能交通、智能电网、智能制造、智慧金融、无人机、工厂质检、智慧教育、智慧医疗、智慧零售等边缘计算场景,并支持视觉、语音、自然语言处理及传统机器学习等多种AI应用。
思元220除支持寒武纪Neuware软件工具链外,还支持业内TensorFlow、Caffe、MXNet、PyTorch等各主流编程框架,这将大大增强产品的适应性,加快项目的落地速度。