1. 引言

微型內(nèi)窺鏡一般工作在操作空間較為狹小的受限環(huán)境中，廣范應(yīng)用于醫(yī)療、航天、半導(dǎo)體和安防等領(lǐng)域。在一些比如微創(chuàng)手術(shù)或者神經(jīng)外科手術(shù)等場(chǎng)合，往往需要更為精確的立體視覺(jué)定位，而常見(jiàn)的內(nèi)窺鏡一般采用單個(gè)鏡頭，只能做平面成像，難以提供準(zhǔn)確的三維信息。

本方案基于兩片微型圖像傳感器和FPGA組成雙目視覺(jué)方案，前端器械端通過(guò)柔性材料連接，具體體積小、使用靈活、成像質(zhì)量高，以及可以手持等特點(diǎn)。

2. 系統(tǒng)總體設(shè)計(jì)方案

2.1. 系統(tǒng)介紹

FPGA是Field Programmable Gate Array的縮寫(xiě)，全稱是現(xiàn)場(chǎng)可編程門(mén)陣列，是一種高度可配置的集成電路，允許用戶在制造后通過(guò)硬件描述語(yǔ)言對(duì)其進(jìn)行編程，以實(shí)現(xiàn)特定功能。FPGA具有并行處理能力、高吞吐量和低延遲的優(yōu)勢(shì)，廣泛應(yīng)用于信號(hào)處理、圖像處理、工業(yè)控制等領(lǐng)域。

光學(xué)鏡頭采用OV6946芯片，此芯片是OmniVision公司面向醫(yī)療市場(chǎng)推出的小型成像元件[1]，大小僅有0.9 × 0.9 mm，而圖像分辨率可以達(dá)到400 × 400@30fps，并且片上集成ISP單元，可以實(shí)現(xiàn)BLC、AEC/AGC和MWB等圖像處理算法。即使加上集成LED照明，在封裝后可以做到大小1.2 mm左右的模組，這使得其很適合做內(nèi)窺鏡方向的應(yīng)用。由于OV6946本身輸出的圖像是模擬信號(hào)，一般的使用需要配合OV426芯片橋接[2]，才能輸出DVP數(shù)字信號(hào)。

本方案集成兩片OV6946芯片，其輸出的模擬圖像信號(hào)通過(guò)OV426轉(zhuǎn)接，并通過(guò)DVP接口連接至FPGA，F(xiàn)PGA與電腦通過(guò)EZUSB FX3模塊連接[3]，以傳輸實(shí)時(shí)圖像。

2.2. 技術(shù)特點(diǎn)

1) 體積小，適用于對(duì)空間要求極高的場(chǎng)合。

2) 雙目組成的三維成像視覺(jué)方案，可以提供更好的立體視覺(jué)效果。

3) 利用FPGA的邏輯觸發(fā)對(duì)兩個(gè)圖像傳感器同步，可以實(shí)現(xiàn)兩個(gè)Pixel以內(nèi)的幀同步。這在立體成像同步上有一定的優(yōu)勢(shì)。

4) 無(wú)需復(fù)雜的雙目視頻算法，無(wú)需對(duì)鏡頭校準(zhǔn)，使用3D頭盔左右模式即可顯示立體圖像。

5) 兩種硬件的形態(tài)，既支持連接至PC，通過(guò)PC外接頭盔顯示的傳統(tǒng)方案，也支持直接輸出至3D頭盔的嵌入式方式。

3. 硬件實(shí)現(xiàn)方案

3.1. 機(jī)械結(jié)構(gòu)

硬件上，本方案采用兩組OV6946 + OV426芯片，兩片OV6946加上LED照明組成前端的器件端，后端電路板集成FPGA和兩片OV426芯片，前后端使用FPC軟排線連接，可以保證器械的靈活性。PCB上使用FPGA采集原始BAYER格式的圖像，并在內(nèi)部集成ISP處理單元，處理后的兩幅圖像合成一幅左右模式的圖，通過(guò)HDMI輸出至顯示器，配合3D頭盔，可以實(shí)現(xiàn)3D成像的方案。并且，PCB上集成了EZUSB FX3模塊，輸出標(biāo)準(zhǔn)的UVC格式圖像，可以連接到PC端，使用常見(jiàn)的軟件比如VLC實(shí)時(shí)顯示3D圖像。

器械前端采用雙OV6946的結(jié)構(gòu)，兩個(gè)模組并排地連接固定，在周圍集成LED照明單元。兩個(gè)模組輸出的信號(hào)和LED照明電源同時(shí)經(jīng)過(guò)FPC軟排線連接到后面電路板。FPC的長(zhǎng)度可以定制，能支持大約兩米的長(zhǎng)度，供常用的醫(yī)學(xué)手術(shù)使用。

3.2. 電路結(jié)構(gòu)

前端的兩組鏡頭通過(guò)FPC軟排線連接到后面的電路板。電路板上集成了FPGA，除此之外，還集成了兩片DDR3 X16顆粒，組成32位DRAM。一顆HDMI芯片提供可選的HDMI輸出，可以外接顯示器。一顆EZUSB FX3芯片，可以連接USB3.0到PC。

整體電路結(jié)構(gòu)圖如圖1所示：

Figure 1. Overall hardware architecture

圖1. 整體硬件結(jié)構(gòu)圖

3.3. FPGA選型與簡(jiǎn)介

FPGA采用AMD公司的產(chǎn)品XC7Z020CLG400-2，這是ZYNQ-7000系列的可編程片上系統(tǒng)(SoC)，它集成了FPGA和雙核ARM Cortex-A9處理器，適用于嵌入式計(jì)算、信號(hào)處理、工業(yè)自動(dòng)化等高性能應(yīng)用。其主要特點(diǎn)有：

1) FPGA + ARM處理器：片上集成了FPGA邏輯和ARM Cortex-A9，適用于嵌入式計(jì)算和硬件加速。

2) 高性能DSP計(jì)算：內(nèi)置220個(gè)DSP計(jì)算單元，適用于信號(hào)處理、圖像處理和AI加速。

3) 靈活的I/O設(shè)計(jì)：支持多種接口(USB、PCIe、UART、SPI、I2C、CAN、SDIO)。

4) 豐富存儲(chǔ)選項(xiàng)：NOR/NAND Flash、SD/eMMC存儲(chǔ)。

5) 低功耗設(shè)計(jì)：適用于嵌入式和電池供電系統(tǒng)。

3.4. 3D頭盔顯示模塊

3D頭盔顯示主要通過(guò)一系列硬件和顯示技術(shù)來(lái)呈現(xiàn)沉浸式的三維圖像和交互體驗(yàn)。其核心原理是通過(guò)雙眼視差三維成像，具體來(lái)說(shuō)，3D頭盔通常會(huì)配備兩個(gè)顯示屏(一個(gè)為每只眼睛提供圖像)或者采用單一顯示屏，通過(guò)光學(xué)分離技術(shù)(如鏡頭)讓每只眼睛看到不同的圖像。這種方法模仿了人類眼睛的視差效應(yīng)：每只眼睛看到稍微不同的視角，通過(guò)大腦合成產(chǎn)生深度感知。

同時(shí)，當(dāng)左右眼看到的圖像稍有不同(基于攝像機(jī)的立體圖像)，大腦會(huì)將這些圖像結(jié)合起來(lái)，產(chǎn)生三維的深度感知，從而獲得身臨其境的視覺(jué)體驗(yàn)。

在選型上，3D顯示頭盔只需要選用常見(jiàn)的可以通過(guò)HDMI從PC串聯(lián)的設(shè)備即可。PC將顯示的圖像實(shí)時(shí)串流至頭盔，同時(shí)還可以將平面的圖像輸出至外接的顯示器，供人員查看。

將3D頭盔打開(kāi)左右的3D模式后，人眼靠近頭盔，即可觀察到三維圖像。

4. FPGA實(shí)現(xiàn)方案

4.1. FPGA整體實(shí)現(xiàn)框架

FPGA系統(tǒng)框架如圖2所示。所有模塊都提供AXI4-Lite Slave接口，掛載到FPGA的AXI總線上，以便可以通過(guò)ZYNQ-7000芯片的ARM處理器在線讀寫(xiě)內(nèi)部寄存器，從而修改各模塊配置。

整體的FPGA設(shè)計(jì)模塊圖如圖2所示：

Figure 2. FPGA block diagram

圖2. FPGA結(jié)構(gòu)圖

4.2. OV426控制模塊

FPGA內(nèi)部實(shí)現(xiàn)兩個(gè)OV426模塊，通過(guò)10位DVP接口分別與兩個(gè)OV426模塊連接，傳輸實(shí)時(shí)圖像。模塊內(nèi)SCCB模塊，用于初始化和在線修改CMOS的配置，比如白平衡、開(kāi)窗大小等參數(shù)。系統(tǒng)異常通過(guò)中斷引腳INT_o向ARM匯報(bào)。

需要說(shuō)明的是，傳統(tǒng)的相機(jī)同步方案一般是基于單片機(jī)和ASIC，為了實(shí)現(xiàn)幀同步，在上層軟件處理的“軟”同步方法，此方案缺點(diǎn)是無(wú)法保證原始圖像的同步。而本方案基于FPGA，在兩個(gè)OV426模塊的外部分別增加了SYNC_i同步的邏輯，由外部統(tǒng)一出發(fā)，這可以在硬件的層面達(dá)到了原始圖像的“硬”同步。實(shí)驗(yàn)結(jié)果表明，本方案可以達(dá)到2個(gè)Pixel以內(nèi)的幀同步。

OV426模塊設(shè)計(jì)框圖如圖3所示：

Figure 3. OV426 block diagram

圖3. OV426模塊結(jié)構(gòu)圖

4.3. EZUSB FX3控制模塊

上位機(jī)與FPGA的通信采用EZUSB FX3模塊，其為英飛凌公司推出的靈活的USB控制器，提供5 Gbps的理論傳輸速率，實(shí)測(cè)速度大于260 Mbps?？梢詡鬏?080p@30Hz的視頻。對(duì)于兩組400 × 400@30fps的圖像，實(shí)際帶寬完全沒(méi)問(wèn)題。

FPGA內(nèi)部實(shí)現(xiàn)EZUSB FX3模塊，通過(guò)10位并口與EZUSB FX3模塊連接，傳輸實(shí)時(shí)圖像。模塊內(nèi)實(shí)現(xiàn)狀態(tài)機(jī)、監(jiān)測(cè)與管理數(shù)據(jù)傳輸模式、緩沖區(qū)滿、數(shù)據(jù)有效等系統(tǒng)狀態(tài)。

EZUSB FX3模塊設(shè)計(jì)框圖如圖4所示：

Figure 4. EZUSB block diagram

圖4. EZUSB模塊結(jié)構(gòu)圖

5. 軟件實(shí)現(xiàn)

5.1. EZUSB FX3固件的實(shí)現(xiàn)

EZ-USB FX3支持多種工作模式，以滿足不同的應(yīng)用需求。這些模式可以通過(guò)FX3的配置進(jìn)行靈活切換，適應(yīng)不同的硬件和數(shù)據(jù)傳輸需求。常見(jiàn)的工作模式包括：

1) 主機(jī)模式。FX3作為USB主機(jī)與外部USB設(shè)備進(jìn)行通信。

2) 外設(shè)模式。FX3作為USB外設(shè)連接到上游USB主機(jī)。

3) 數(shù)據(jù)傳輸模式。支持USB 3.0模式，實(shí)現(xiàn)高帶寬的設(shè)備應(yīng)用，如高清視頻采集和流式傳輸。

4) UVC (USB Video Class)外設(shè)模式。FX3充當(dāng)USB視頻設(shè)備，通過(guò)USB接口傳輸視頻流。

5) GPIF (General Programmable Interface)模式。能夠與外設(shè)進(jìn)行高帶寬、低延遲的數(shù)據(jù)傳輸。

6) 同步時(shí)鐘模式。允許它在與其他外設(shè)同步時(shí)鐘進(jìn)行數(shù)據(jù)交換時(shí)進(jìn)行精確的時(shí)序控制。

7) 異步傳輸模式。通過(guò)該模式與外設(shè)進(jìn)行數(shù)據(jù)傳輸，適用于大多數(shù)基于流的傳輸應(yīng)用。

在本應(yīng)用下，通過(guò)修改FX3的固件，使其工作在數(shù)據(jù)傳輸模式下，EZUSB FX3做bulk實(shí)時(shí)數(shù)據(jù)采集，單次塊傳輸大小為16 KB。

5.2. 上位機(jī)驅(qū)動(dòng)實(shí)現(xiàn)

為了減少圖像顯示的延時(shí)，提高系統(tǒng)的實(shí)時(shí)性能，圖像的采集、處理和顯示采用多線程異步的架構(gòu)，數(shù)據(jù)通過(guò)線程安全的環(huán)形隊(duì)列ConcurrentQueue緩沖，采用生產(chǎn)–消費(fèi)者模式，數(shù)據(jù)采集線程作為生產(chǎn)者，將采集到的圖像放入緩沖隊(duì)列，并工作在最高優(yōu)先級(jí)，以保證幀的完整性，達(dá)到系統(tǒng)最大的可靠性。圖像處理線程作為消費(fèi)者，從緩沖隊(duì)列讀取圖像幀，并處理后dispatch到GUI線程，這樣可以保證用戶界面的流暢性。

上位機(jī)軟件與FPGA數(shù)據(jù)流遵循自定義的幀同步協(xié)議，保證每幀數(shù)據(jù)的完整有效性。

上位機(jī)軟件的架構(gòu)如圖5所示：

Figure 5. Software architecture

圖5. 軟件架構(gòu)圖

5.3. 上位機(jī)圖形界面

同時(shí)，基于上章節(jié)中介紹的驅(qū)動(dòng)，在PC端開(kāi)發(fā)基于QT的GUI用戶應(yīng)用程序，用于實(shí)時(shí)把兩個(gè)圖像傳感器的實(shí)時(shí)圖像在經(jīng)過(guò)實(shí)時(shí)處理之后，分左右兩端在顯示器上全屏顯示，并將原尺寸400 × 400的圖像被分別壓縮成兩幅200 × 400的圖像，并在左右兩端顯示。

實(shí)際的成像效果圖如圖6所示：

Figure 6. Realtime image picture

圖6. 實(shí)時(shí)成像范圖

6. 完成情況

截至投稿前，已完成所有的機(jī)械和軟、硬件工作，并已應(yīng)用于實(shí)際的模擬實(shí)驗(yàn)中。

圖7展示3D內(nèi)窺鏡在模擬遠(yuǎn)程操作器械端時(shí)的實(shí)時(shí)成像系統(tǒng)。圖中用紅色部分標(biāo)注了3D內(nèi)窺鏡本體部分和3D頭盔。

Figure 7. Finished product picture

圖7. 成品圖

7. 未來(lái)展望

未來(lái)主要在以下幾個(gè)方面考慮微型3D內(nèi)窺鏡在FPGA上的系統(tǒng)優(yōu)化[4]-[6]。

7.1. FPGA集成圖像處理

1) 立體匹配：FPGA可加速基于雙目或多目立體視覺(jué)的深度計(jì)算，提高3D成像的實(shí)時(shí)性。

2) 圖像去噪與增強(qiáng)：可在FPGA內(nèi)部集成圖像濾波器，以增強(qiáng)對(duì)比度，優(yōu)化內(nèi)窺圖像質(zhì)量。

7.2. 數(shù)據(jù)壓縮

1) 實(shí)時(shí)數(shù)據(jù)壓縮：使用FPGA加速JPEG、JPEG2000、H.264/265等壓縮算法，減少數(shù)據(jù)帶寬需求。

2) 高速接口支持：如MIPI、LVDS等接口的CMOS，提高內(nèi)窺鏡系統(tǒng)的數(shù)據(jù)傳輸速率。

7.3. AI與圖像分析

目標(biāo)檢測(cè)與分割：基于FPGA實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)(如CNN)加速，用于病變檢測(cè)、組織分類等。