清华大学电子系方璐团队合作提出类肤柔性视觉感知系统 探索光学成像新维度

近日，清华大学电子系方璐教授团队合作在计算成像研究领域取得新进展，提出一种名为SkinSight的类肤柔性视觉感知系统。该系统面向动态柔性载体，使分布式视觉阵列像皮肤一样贴附并随形于表面，在自然形变中同步采集多视角光场视觉信息，并通过神经重建实现对空间的连续表征。研究推动光学成像系统从固定结构中的图像采集，走向非刚性动态表面上的空间感知与智能重建，为光学成像打开了面向柔性载体的动态感知新维度。

图1.SkinSight类肤柔性视觉感知系统

SkinSight的核心突破在于重新定义视觉系统与载体之间的关系。传统阵列成像系统通常依赖刚性结构和稳定的几何标定，而SkinSight尝试将阵列视觉从固定平台中释放出来，使视觉系统本身能够随人体或软体结构一起运动，并在动态形变过程中持续感知周围环境。

在系统设计上，SkinSight以毫米级微型图像传感器为视觉节点，并将这些节点分布式嵌入柔性基底中。柔性部分能够适应弯曲、扭转和拉伸等形变，刚性视觉节点则保持微型光学成像单元的稳定性。这种“刚柔并济”的结构设计，使SkinSight能够在动态表面上形成可扩展的视觉阵列，并可根据不同任务需求组成多种阵列形态。为了在形变过程中实现稳定成像与空间理解，研究团队进一步结合视觉几何模型与神经重建方法，持续估计各视觉节点的空间位姿，并从非刚性、多视角视觉信息中恢复空间结构。由此，SkinSight不仅展现了一种柔性阵列感知新形态，更将可变形光学成像、动态几何重建与智能空间理解融合为一个新型视觉感知系统。

研究团队展示了SkinSight在人体增强感知中的应用潜力。当系统贴附于手掌时，手掌不再只是运动执行的末端，而可以成为与身体协同工作的视觉感知界面。佩戴者将手伸入带有狭窄观察窗口的遮挡空间时，SkinSight可以从手部位置采集多视角图像，重建被遮挡区域内的物体，并与增强现实眼镜坐标对齐，将重建结果叠加到用户视野中，为用户提供来自手部位置的“第二视角”。

图2.SkinSight贴附于手掌在遮挡空间中采集多视角信息，与增强现实显示相结合，呈现来自手部位置的“第二视角”

这一演示进一步显示出柔性视觉感知系统在软体机器人、可穿戴设备和具身智能等场景中的应用前景。视觉不仅是获取图像的传感通道，也是支撑智能系统进行环境建模、场景理解与自主交互的重要信息载体。未来，类似能力可使柔性末端执行器从自身表面获取多视角信息，在保持柔顺接触能力的同时，于狭窄、遮挡或动态环境中完成定位、识别与操作。SkinSight以贴附式、随形化的新形态将视觉感知能力嵌入可变形载体，使柔性系统的动态表面转化为主动感知并理解空间的视觉接口。

研究成果以“一种贴合皮肤的刚柔嵌合阵列成像系统”（A skin-conformal rigid-in-soft array-based imaging system）为题，于6月16日发表于《自然·通讯》（Nature Communications）。

上海交通大学副教授袁肖赟和清华大学电子系2022届硕士毕业生张嘉凝为论文共同第一作者，清华大学电子系教授方璐为论文通讯作者。研究得到国家自然科学基金、科学探索奖等的支持。

论文链接：

https://www.nature.com/articles/s41467-026-74257-9

供稿：电子系

编辑：李华山

审核：郭玲