近日，伟德中国官网入口伟德中国官网入口人工智能交叉研究院、广州研究院光电集成与医学装备实验室陈雪利教授团队在Nature Communications上发表了题为Fluorescence localization and tracking imaging with a spectral-splitting perovskite single-pixel detector的最新研究成果。该研究研发了一套基于钙钛矿单像素探测器的实时荧光/背景双模态视频成像系统，规避了手术导航中多模态图像融合的配准难题；为缓解视频级帧率下欠采样引起的单像素图像质量退化，设计了面向傅立叶单像素成像的微调型AI增强网络FSI‑SwinIR，抑制了重建图像中的伪影与细节模糊；结合系统级软硬件协同优化，在低成本硬件条件下实现了高质量荧光/背景双模态实时成像，展现了计算光学成像与人工智能协同赋能临床转化的应用潜力，为肿瘤外科精准导航提供了可行的技术路径。伟德中国官网入口刘于金博士和万红玲（硕士生）为论文共同第一作者，伟德中国官网入口陈雪利教授和计钟副研究员为论文的共同通讯作者，伟德中国官网入口为论文唯一署名单位。

图像引导手术系统是现代精准外科的核心技术之一，它需要将荧光分子标记与解剖结构背景图像进行精确融合，帮助外科医生在手术中实时识别肿瘤边界。当前多模态荧光/背景融合成像主要采用双相机同步、单相机时分复用和芯片集成光谱相机三种策略，但均存在显著局限：1. 双相机同步采集的相机视差导致的视场错位需要复杂的后处理配准算法极大影响系统实时性，虽然可以通过分光镜解决，但系统复杂度和庞大体积不适合手术集成；2. 时分复用单相机成像利用滤光轮或宽带光谱仪交替采集信号，牺牲了时间分辨率和动态同步性；3. 芯片集成光谱相机通过片上滤光片阵列实现同步成像，但存在微加工工艺复杂和通道串扰严重等问题。这些方法都面临实时性、空间配准精度和系统复杂度等不同程度的挑战。

本文提出了一种基于单像素路线的架构简单、天然空间配准的荧光/背景双模态实时成像系统。该系统采用主动式编码的单像素成像架构，可确保不同单点探测器所获不同模态图像之间具备完美的视场一致性与像素级配准，从而省去传统方案中复杂的配准算法和双光路设计。单像素成像架构从根本上规避了多模态图像配准难题：其视场与像素尺寸由预编码结构光决定，与探测器空间位置无关，因此即使双探测器分立放置，所获荧光与背景图像仍天然对齐（图1）。通过系统级软硬件协同优化和AI增强欠采样傅里叶图像恢复算法等技术，实现了高质量双模态单像素实时成像。进一步地，我们采用自主研制的荧光/背景光谱分离型钙钛矿单像素成像探测器，成功完成了对荧光信号的精确实时定位与动态跟踪成像。

图1. 传统双相机系统与本文单像素成像方法的对比分析。双相机系统存在信号混叠、视场失配及像素失配等问题，而单像素成像方法所获双模态图像天然对齐，无需后续配准。

基于团队自主研制的宽带钙钛矿探测器（PVK-PD）和窄带荧光探测器（PVKf-PD5），本文搭建了荧光/背景双模态单像素成像系统。通过四步相移傅里叶成像图像恢复算法，同时重建高对比度的背景图像和高特异性的荧光图像。实验结果表明：在450 nm激发光下，PVK-PD主要捕获背向散射信号提供结构背景信号，而PVKf-PD5则有效抑制背向散射干扰，特异检测荧光信号。通过直接叠加两幅图像，即可获得完美配准的融合成像结果，清晰显示荧光标记物在组织结构中的精确位置。通过荧光素钠浓度梯度实验，建立了图像灰度值与荧光浓度之间的定量关系，检测限达到0.05 μmol/mL，成像线性动态范围高达138.5 dB。值得一提的是，由于结构光的强时空编码特性，系统对手术环境光具有天然的抗干扰能力。

图2. 新型钙钛矿单像素荧光/背景融合成像原理及其性能表征

为满足手术导航的实时性需求，本文结合人工智能技术赋能的稀疏采样策略进一步将双模态成像速度从1帧/秒提升至10帧/秒。针对数据获取过程中降低采样率导致的图像质量下降问题，本文开发了FSI-SwinIR智能图像增强算法：通过将自然图像去噪的先验知识经预训练-微调迁移至FSI领域，并联合像素、感知和频域三重损失，实现在小样本下抑制伪影并恢复高频细节的高质量重建，最终在超低采样率下获得显著的图像质量恢复。结果表明，通过该智能图像增强策略成功实现了荧光信号的动态跟踪成像：即使小鼠自主运动过程中，也能清晰、准确地显示荧光标记物的位置映射。这一强大的动态荧光成像技术，为发展精准临床肿瘤切除手术提供了重要的技术支撑。

图3. FSI-SwinIR图像增强算法及小鼠肿瘤实时荧光定位与跟踪成像

近年来，伟德中国官网入口“华山学者”领军教授陈雪利团队聚焦新型光学成像与检测技术及应用领域，围绕高性能单像素成像探测器、多模成像与智能检测方法、生物医学前沿应用等科学技术问题开展研究工作，取得了系列进展，相关结果发表在Nat Commun, Sci Adv, Cell Rep Med, Adv Mater, Laser Photo Rev, Photo Res等领域顶级期刊。

本论文链接：

https://www.nature.com/articles/s41467-026-74142-5

DOI：10.1038/s41467-026-74142-5

   素材来源 | 人工智能交叉研究院

   编        辑 | 景思豪

   审        核 | 相关团队、朱桐