研究提出用于精准识别表面分子异构体和非常相似分子的两阶段机器视觉识别框架

扫描隧道显微镜（STM）是制备传统合成方法难以获得的低维碳基材料的关键手段，其可编程自动化操控为表面合成过程自动化提供了可能。然而，实现自动化面临着挑战。现有机器学习框架如两阶段Faster R-CNN或单阶段YOLO模型，在体系组分简单、具有超结构等特定场景中表现良好，却难以适用于复杂STM图像识别。

近期，中国科学院物理研究所/北京凝聚态物理国家研究中心和苏州大学合作，开发并设计了基于识别框归一化的两阶段分子机器视觉识别框架ReSTOLO。该框架在数据有限、缺乏超结构信息的条件下，实现了6类相似分子体系STM图像的精确定位与分类，其单类平均精度和召回率均超过85%，在另外两个分子体系STM图像识别中的表现也验证了其有效性与泛化能力。

ReSTOLO将检测分解为定位和分类两个独立阶段，使每个模型能够专注于其特定任务，从而最大限度地发挥YOLO在定位与ResNet-101在分类方面的优势。这一设计避免了YOLO在执行联合检测和分类时存在的不精确性和冗余计算问题，并消除了输入图像尺寸差异对ResNet-101分类性能带来的干扰。

研究团队在YOLO完成初步定位后，引入了检测框归一化处理：基于原始图像和YOLO输出的检测框信息，对框体尺寸进行归一化和调整，保证检测框大小统一，以增强后续分类阶段的准确性和一致性。这一策略依赖如下事实依据：多数分子尺寸相近、STM图像整体景深几乎一致，以及实验采集STM图像时的分辨率/放大倍数是已知参数。同时，团队采用融合物理先验和实验信息的数据增强方法，考虑体系的对称性以及实验条件变化。该方法可扩充训练数据、缓解小样本问题，并能够避免无效冗余信息引入，提升了模型的识别性能与鲁棒性。

ReSTOLO揭示了现有机器视觉分子识别系统在复杂任务中表现不佳的原因，为设计契合表面科学研究特点的专用机器视觉系统提供了参考。同时，ReSTOLO将直接推动分子的自动化检测、现象观察、精准自动合成和性质分析等研究进程。

相关研究成果发表在《美国化学会志》（JACS）上。研究工作得到国家自然科学基金委员会和中国科学院等的支持。

论文链接

研究体系、ReSTOLO的两阶段分子图像识别过程及优异的识别性能