研究员提出ProbSplat架构,用存内计算技术为3D场景重建降能耗

PICO 4 Ultra

查看引用/信息源请点击:映维网Nweon

用存内计算技术为3D场景重建降能耗

映维网Nweon 2026年08月24日)场景重建是增强现实和虚拟现实等领域的核心技术之一。传统方案通常依赖点云数据,处理过程中需要存储数百万个坐标点,内存占用大、功耗高,在边缘设备上实时运行尤为困难。针对这个问题,印度国际信息技术研究所与美国伊利诺伊大学芝加哥分校的研究团队提出了一种基于存内计算的硬件架构,尝试以概率模型替代点云,从底层电路层面降低计算与存储开销。

研究员提出ProbSplat架构,用存内计算技术为3D场景重建降能耗

核心思路是将三维场景表示为高斯混合模型(Gaussian Mixture Model, GMM),只需存储均值和方差等少量参数,大幅压缩数据量。在此基础上,团队设计了一款基于6T浮栅反相器阵列的存内计算模块,将每个高斯分量映射到一列反相器上,通过编程浮栅MOSFET的阈值电压来独立控制均值和方差,直接以列短路电流的形式输出对数似然估计结果。

在具体实现上,研究团队通过对浮栅MOSFET的阈值电压进行确定性调整来实现均值和方差的独立编程。在阈值电压的二维平面上,沿斜率为-1的方向调整仅改变均值,沿斜率为+1的方向调整仅改变方差,两者正交,互不干扰。为减少电路上拉与下拉网络非对称性带来的偏差,仿真中采用了PMOS宽度为NMOS三倍的尺寸比例(Wp = 3Wn),在此条件下均值和方差的平均编程偏差分别控制在2.37%和2.17%以内。仿真基于TSMC 180nm CMOS工艺、1.8V电压、50MHz频率完成。

在能效方面,团队给出了详细的能量构成。以8位精度为例,单次推理总能耗为202.57 pJ,其中对数ADC占142.54 pJ,三个DAC共占54.59 pJ,而500列反相器阵列本身仅消耗5.67 pJ,能耗大头在外围数模/模数转换环节。若采用4位精度,单次推理总能耗可降至17.99 pJ。作为对比,采用传统数字架构的8位GMM处理器(30个三维混合函数)在同等工艺与电压投影下估算能耗约为477 pJ,而ProbSplat在8位精度下可支持500个三维混合函数,能耗为202.57 pJ。

在场景优化方面,典型高斯泼溅表示涉及约80万个高斯分量。通过设置不透明度阈值(α),可将低于该阈值的分量剔除,从而减少所需的反相器列数。实验显示,当α=0.25时,仍能保持较高的渲染PSNR,同时反相器列数可缩减约3.49倍。在场景重建质量方面,8位精度下PSNR达到21.99 dB。值得一提的是,当前6T阵列受限于硬件结构,仅能建模对角协方差矩阵,但实验表明这一约束并未显著降低重建图像的整体保真度。

相关论文ProbSplat: Efficient Probabilistic Hardware for Gaussian Splatting in 3D Scene Reconstruction

团队同时设计了一组控制逻辑,将场景划分为16个单元(每个维度采用2位编码),推理时仅激活输入位置所在单元内对应的高斯分量列,从而进一步降低功耗。

本文链接https://news.nweon.com/142571
转载须知:转载摘编需注明来源映维网并保留本文链接
素材版权:除额外说明,文章所用图片、视频均来自文章关联个人、企业实体等提供
QQ交流群苹果Vision  |  Meta Quest  |  AR/VR开发者  |  映维粉丝读者
XR Research Wechat Group/微信群
资讯