机构

Leibo Liu1

2 篇

ISSCC 2022Session 29AI / ML28nm CMOS
A 28nm 15.59µJ/Token Full-Digital Bitline-Transpose CIM-Based Sparse Transformer Accelerator with Pipeline/Parallel Reconfigurable Modes
Fengbin Tu1,2, Zihan Wu1, Yiqi Wang1, Ling Liang2, Liu Liu2, Yufei Ding2,
该论文提出了一种基于全数字位线转置计算-in-memory（CIM）的稀疏Transformer加速器，采用28nm工艺，实现了15.59µJ/Token的高能效。针对Transformer注意力机制中的动态矩阵乘法和稀疏性问题，通过流水线/并行恢复技术减少了数据移动和计算开销。
▸提出全数字位线转置（Bitline-Transpose）CIM架构，有效支持Transformer中的动态矩阵乘法（如QKT和A‘V），相比传统CIM提升能效。
▸利用稀疏性进行流水线/并行恢复（Pipeline/Parallel Reco），减少冗余计算和数据传输，进一步降低延迟和能耗。
Leibo Liu1, Shaojun Wei1, Yuan Xie2, Shouyi Yin1 Tsinghua Un 15.59µJ/Token
ISSCC 2022Session 15AI / ML28nm
A 28nm 29.2TFLOPS/W BF16 and 36.5TOPS/W INT8 Reconfigurable Digital CIM Processor with Unified FP/INT Pipeline and Bitwise In-Memory Booth Multiplication for Cloud Deep Learning Acceleration
Fengbin Tu1,2, Yiqi Wang1, Zihan Wu1, Ling Liang2, Yufei Ding2, Bongjin Kim2,
该论文提出了一款28nm工艺的可重构数字计算存储（CIM）处理器，支持BF16和INT8精度，采用统一的浮点/整数流水线架构，实现了29.2 TFLOPS/W和36.5 TOPS/W的高能效，解决了模拟CIM精度受限的问题。
▸提出数字CIM架构，避免模拟CIM的噪声和精度问题
▸设计统一的FP/INT流水线，支持混合精度计算
Leibo Liu1, Shaojun Wei1, Yuan Xie2, Shouyi Yin1 Tsinghua Un 29.2TFLOPS/W BF16 and 36.5TOPS/W INT8