JSSC 2022第2期Digital Circuits

A Pipelined Point Cloud Based Neural Network Processor for 3-D Vision With Large

提出一种基于点云的流水线神经网络处理器，用于移动设备中的3D视觉系统，优化了采样分组层和卷积层的加速。

4.45 ms处理时间，8.24 mm HPE误差，266 mW功耗

点云神经网络处理器3D视觉移动设备流水线加速

▸创新点1：流水线异构架构加速PNN - 该处理器采用流水线异构架构，专门针对点云神经网络（PNN）中的采样分组层（SGLs）和卷积层（CLs）进行优化，通过并行处理和数据流优化，实现了低延迟的3-D智能系统，处理时间仅为4.45 ms，功耗为266 mW。

▸创新点2：基于窗口的采样分组算法提升吞吐量 - 通过窗口采样分组（WSG）算法，直接从深度图像中对3-D点云数据进行采样和分组，避免了传统方法的冗余计算，将SGLs的吞吐量提升了2.34倍，显著提高了处理效率。

▸创新点3：最大池化预测核心减少延迟 - 设计了最大池化预测核心（MPPC），用于预测大规模（64-和128-to-1）的最大池化层，通过提前计算和预测，将吞吐量提升了1.31倍，同时解决了卷积核心（CC）中内存的bank冲突问题。

▸创新点4：分块数据预测隐藏延迟 - 通过对分块数据进行最大池化预测，有效隐藏了MPPC的延迟，进一步优化了系统的整体性能，使其在移动设备中实现了高效的3-D视觉处理。

Abstract

The point cloud data provides useful geometric information to 3-D intelligent systems such as autonomous driving, 3-D reconstruction, and hand pose estimation (HPE). Many mobile devices have implemented the 3-D intelligent system with their limited hardware resources. However, previous processors were not designed for accelerating the point cloud based neural network (PNN) which consists of sampling-grouping layers (SGLs) and convolution layers (CLs). In this article, a pipelined PNN processor i