用于实时腹腔镜手术引导的单帧结构光深度重建

重要性。准确的术中深度感知对于自主和半自主机器人腹腔镜手术具有重要意义。传统的条纹投影轮廓术可以实现毫米级精度，但通常需要多次拍摄、数字微镜器件投影以及投影仪与相机同步，从而增加了其集成到紧凑型腹腔镜系统中的难度。目标。开发一种无需同步的单次拍摄深度感知平台，采用无源 LED 照明二值掩模，以及带有自定义 U-Net 深度头的 VQ-VAE 先验模型。方法。将紧凑型投影模块连接至双通道腹腔镜的一个通道，第二个通道用于成像条纹照明目标。使用 Zivid 三维相机采集了 722 对幻影图像的参考深度。将 Zivid 深度图重新投影至 SSLE 图像坐标系中，用于有监督训练和评估。VQ-VAE 将每个输入编码为离散潜在表示，潜在空间中的 U-Net 在无需独立掩模预测分支的情况下预测深度。结果。在固定的训练集/验证集/测试集划分下，所提出的模型实现了 3.70 mm 的 MAE、0.0326 的 AbsRel、0.962 的 delta=1.1 准确率，以及 0.970 的 delta=1.1^2 准确率。与双 U-Net MaskNet + DepthNet 基线相比，该模型取得了更低的 MAE，并且在 MAE、AbsRel 和阈值准确率方面均优于现成的单目深度模型。该流程在 NVIDIA A100 GPU 上对连续 301 帧实现了 26.0 Hz 的运行速度。结论。采用 LED 照明二值图案平台结合潜在空间深度重建，可实现无需同步、视频速率的内窥镜深度估计。结果表明，在无需显式分割阶段的情况下，该方法能够完成以 Zivid 为参考的幻影重建，同时也强调了数据集规模以及 SSLE-Zivid 标定精度的重要性。