轉自知乎Camera技術專家?劉斯寧

鏈接：https://zhuanlan.zhihu.com/p/100777121

前言

攝像機用來成像的感光元件叫做image sensor或imager。CMOS Image Sensor (CIS) 最早是美國噴氣推進實驗室（Jet Propulsion Laboratory, JPL）的一個研究項目，Dr. Eric Fossum 是業(yè)界公認的CIS技術發(fā)明人。

1992年，Dr. Eric R. Fossum 在美國加州Pasadena(帕薩迪納)的噴氣推進實驗室工作，負責NASA一些雄心勃勃的太空探測器的建造和運行。那一年NASA向員工們發(fā)出了一個頗為有趣的要求 ——“更快，更好，更便宜”。作為JPL圖像傳感器研究的負責人，F(xiàn)ossum 負責重新發(fā)明NASA太空船上的巨型相機。當時在數(shù)碼攝影市場上已經應用了CCD技術，但是CCD需要消耗大量的能量和相當多的支持芯片。Fossum 團隊發(fā)現(xiàn)，如果能夠消除在成像陣列中反復轉移電荷的需要，那么這兩個問題都將解決，于是就誕生了CMOS有源像素傳感器。下圖是JPL 首個CMOS APS 芯片，只有28x28個像素，像素尺寸40umx40um，誕生于1993年4月。APS 是Active Pixel Sensor （主動像素傳感器）的縮寫。

CMOS sensor 的本質是自帶像素的相機芯片（"camera-on-chip"），每個像素都可以進行自己的電荷轉換，從而顯著減少產生圖像所需要的能量和支持電路。此外，CMOS傳感器采用與大多數(shù)微處理器和存儲器芯片相同的材料和技術制造，使其更容易制造并且最具成本效益。

CMOS的確“更快，更好，更便宜”，但是NASA的反響卻并不樂觀。Fossum 說“人們完全投入了CCD陣營，不相信這可以做到，甚至都沒興趣聽一聽。”但是Fossum 不是一個輕易屈服的人，在四處尋求投資無果之后，1995年Fossum 和他的妻子以及一位JPL同事Sabrina Kemeny 用自有資金創(chuàng)辦了Photobit 公司。

一年后Fossum 離開了JPL全職加入Photobit，并邀請到了Georgia Tech 新博士畢業(yè)生Dr. Michael Kaplinsky 也加入Photobit 繼續(xù)推進CMOS sensor 設計，這樣一干就是5年，其中的艱辛想必也是不堪回首。最終Photobit 于2001年被美光半導體（Micron Technology）收購，成為了美光的CMOS業(yè)務部門，Michael 擔任美光SoC Group 經理，主導了MT2000 （200萬像素CMOS sensor）和的后續(xù)300萬、500萬像素sensor的開發(fā)并取得了商業(yè)成功。

在美光收購之前的2000年，F(xiàn)ossum 邀請了另一位高人Dr. Junichi Nakamura 加入了Photobit。Dr. Nakamura 畢業(yè)于東京大學，在奧林巴斯從事光學工作，并于1993~1996年間在JPL 做訪問學者參與CMOS sensor 的設計開發(fā)。這位仁兄后來去了日本美光，并出版了一本非常不錯的專著，建議從事camera 行業(yè)的同仁都該買一本惠存。

2003年Dr. Michael Kaplinsky和一位美光同事Dr. Vladimir Berezin 預見到高清CMOS sensor 的時代已經到來，他們必須做點什么，于是他們成立了Arecont Vision公司開始開發(fā)高清安防攝像機，Dr. Berezin 拿出了自己大部分積蓄，而Dr. Kaplinsky 向銀行抵押了自己的唯一住房以換取40萬美金的創(chuàng)業(yè)貸款，當這筆錢還剩下4000塊的時候，Kaplinsky 和 Berezin 需要決定公司是準備兩個月后關門，還是用這筆錢去Las Vegas參加世界安防展，去那里碰碰運氣找找客戶，如果找不到也就認命了。顯然Kaplinsky 和Berezin 賭對了，在經歷了種種磨難之后終于通過展會找到了第一筆訂單，公司也迎來了轉機和接下來蒸蒸日上的發(fā)展。Kaplinsky 于2006年底邀請到了Purdue 新畢業(yè)生Mr Sining Liu（也就是筆者）加入Arecont Vision 從事CMOS高清攝像機的開發(fā)，使筆者有機會親身歷證了世界安防行業(yè)的繁榮伴隨著中國安防的崛起和外企的逐漸衰落。在曾經屬于AV 的時代，筆者交付的camera 跟隨米軍部署在伊拉克戰(zhàn)場最前線，跟隨SpaceX Dragon 貨運飛船進入了太空，也曾在東方大國的國慶閱兵儀式中默默服役。

由于發(fā)展理念上的分歧，F(xiàn)ossum 后來離開了美光，攜巨款去南加州大學過起了安穩(wěn)的教授生活，憑借歷史上的貢獻還能時不時獲個伊麗莎白女王獎。美光的Pasadena office最終全部關閉，其CMOS部門于2008年獨立出來成為了Aptina，后來又在2014年被ON Semiconductor 收購。美光的Pasadena office關閉后催生了一批camera相關的創(chuàng)業(yè)公司，有的做高速camera，有的做運動camera，有的做手機camera，有的做安防camera，雖然各有各的艱辛，但也各有各的樂趣。Pasadena是一個特別美麗的城市，筆者周末開車閑逛時也會經常路過JPL，總會想起這段歷史。。。

P.S. 據(jù)史料記載，1936年時，加州理工大學的五個學生在宿舍里制作火箭燃料，結果發(fā)生了爆炸，把宿舍墻炸出了一個洞。令人不可思議的是，學校竟然沒有收繳他們的作案工具，而是把他們趕到了郊外的一塊河谷上讓他們在那里繼續(xù)做實驗，于是他們就用學校的資助在河谷上建了一個火箭實驗基地，這就是JPL的前身。那五個學生中就有“中國導彈之父”錢學森。

1 CMOS Sensor 原理

1.1 簡介

CMOS 是英文Complementary Metal Oxide Semicondutor 的縮寫，這是一種主流的半導體工藝，具有功耗低、速度快的優(yōu)點，被廣泛地用于制造CPU、存儲器和各種數(shù)字邏輯芯片?；贑MOS 工藝設計的圖像傳感器叫做CMOS Image Sensor (CIS)，與通用的半導體工藝尤其是存儲器工藝相似度達到90%以上。

CMOS技術的主要特點是成對地使用PMOS和NMOS兩種晶體管，PMOS負責拉高，NMOS負責拉低，兩者配合可以實現(xiàn)數(shù)字信號的快速切換，這就是Complementary的具體含義。下圖以最基本的反相器為例說明了CMOS技術的基本原理。

傳統(tǒng)的 CMOS 數(shù)字電路使用'0'和'1'兩種邏輯電壓控制晶體管的Gate從而控制晶體管的電流流動，CMOS sensor 則是讓光子直接進入晶體管內部生成電流，光信號的強弱直接決定了電流的大小。這是CMOS sensor與CMOS 數(shù)字邏輯的主要區(qū)別之處。

CMOS sensor 通常由像敏單元陣列、行驅動器、列驅動器、時序控制邏輯、AD轉換器、數(shù)據(jù)總線輸出接口、控制接口等幾部分組成。這幾部分功能通常都被集成在同一塊硅片上，其工作過程一般可分為復位、光電轉換、積分、讀出幾部分，如下所示。

英文中的camera 實際上包含了兩類產品，一種是以拍攝靜態(tài)圖片為主的digital still camera，中文叫做相機，比如各種單反相機和微單類產品。

另一類是以拍攝連續(xù)視頻為主的video camera，中文叫做攝像機，比如各種安防監(jiān)控攝像頭（video surveillance camera/CCTV security camera），運動DV，家用camcorder，以及錄制影視節(jié)目用的電影攝像機（cinema camera）。

用于手機的camera則有一點特別，拍照和拍視頻兩種功能使用都比較頻繁。

行車記錄儀和流媒體后視鏡屬于車載camera產品，也是近年來增長比較快的市場。

在所有這些camera 產品中，CMOS sensor 是當之無愧的核心元件，它位于鏡頭和圖像信號處理器（ISP）之間，把光信號轉換成ISP能夠處理的數(shù)字信號（電信號）。CMOS sensor 與鏡頭、ISP一起構成了camera 的靈魂，決定了camera 的核心價值。

當人們選購camera產品時，可能第一關注的就是分辨率指標，這個指標也是很多普通消費者唯一能夠理解的技術指標。比如某手機支持1200萬像素攝像頭，它背后的意義是該手機可能使用SONY IMX378 sensor，該sensor在抓拍靜態(tài)照片時輸出分辨率為4056x3040的完整尺寸圖像，而拍照之前的預覽視頻則一般默認是1920x1080的FHD高清圖像。

有些眼尖的讀者已經注意到這個問題了，為什么抓拍和預覽時圖像分辨率會不同？原因并不復雜，第一是省電，處理1200萬像素的預覽視頻消耗的能量基本上是200萬像素的6倍，手機的電量會迅速耗光；第二是成本，能夠處理1200萬像素預覽視頻的ISP復雜度更高，芯片面積更大，價格也更貴。第三是沒有必要，因為手機屏幕的主流才剛剛達到200萬像素，更高的分辨率沒有實際意義。基于以上原因，手機在抓拍和預覽時需要進行模式切換，而每次切換模式需要為sensor和ISP重新配置大量的寄存器參數(shù)，一般會有2萬個左右，所以在切換瞬間預覽視頻會短暫黑屏，而實際抓拍到的圖像與預覽圖像會存在一個明顯的時間延遲。這個延遲會給用戶造成不少困擾，比如會使家長們在抓拍小孩的表情時遇到一定的技術困難，會錯過很多生活中的精彩瞬間。

在印刷行業(yè)中，描述一幅圖像的質量通常會使用“像素密度”的概念，一種常用的定義是PPI(pixel per inch)或DPI(dot per inch)，即每英寸長度上（1in=25.4mm）打印多少個像素點。Photoshop軟件中默認的標準像素密度是72dpi，高質量標準是300dpi。

下面的例子說明了不同像素密度對應的圖像質量效果。

一張A4 紙的尺寸是210mm×297mm，即8.27inx11.69in。當以72dpi質量打印圖像時，圖像的分辨率至少需要是595×842， 當以300dpi質量打印時，圖像的分辨率至少需要是2480×3508。

在我國一般采用國際單位體系，因此像素密度通常用PPM（pixels per meter）單位。在安防行業(yè)中，人們一般將圖像質量從高到低分為5個等級，每個等級可以滿足一定的應用需求，即

• Identification：圖像質量優(yōu)秀，圖像中提供了充足的細節(jié)，可以完全確定目標的身份，并排除其它可能性

• Recognition: 圖像質量良好，圖像提供的細節(jié)足以斷定圖像中的目標是否與真實人物（或參考照片）屬于同一人物

• Classification：圖像質量一般，圖像提供的細節(jié)僅能幫助分辨體貌特征，如男女、高矮、顏色等，但不能斷定全部細節(jié)

• Detection：圖像質量差，僅能勉強分辨圖像中是否存在關注的目標

• Useless：圖像質量太差，不能說明任何問題

下圖說明的是人臉識別場景涉及的圖像質量等級

下圖說明的是車牌識別場景涉及的圖像質量等級

下圖依次說明了像素密度從大到小時圖像質量的變化情況。

1.2 光電轉換

目前大部分的sensor都是以硅為感光材料制造的，硅材料的光譜響應如下圖所示。

從圖中可以看到，硅材料的光譜響應在波長1000nm的紅外光附近達到峰值，在400nm的藍光處只有峰值的15%左右，因此硅材料用于藍光檢測其實不算特別理想。在實際CIS產品中，特別是在暗光環(huán)境下，藍色像素往往貢獻了主要的噪聲來源，成為影響圖像質量的主要因素。從上圖中可以看到，裸硅在可見光波段的光電轉換效率大約是峰值的20%~60%，與入射光的波長有關。

Sensor感光的基本單元叫做“像點”，英文是photosite，每個sensor上承載了幾百萬甚至更多的像點，它們整齊、規(guī)律地排成一個陣列，構成sensor的像敏區(qū)。當可見光通過鏡頭入射到像點并被光敏區(qū)吸收后會有一定概率激發(fā)出電子，這個過程叫做光電轉換，如下圖所示。

光子激發(fā)出電子的概率也稱為量子效率，由光激發(fā)產生的電子叫做光生電子或光電子。光子激發(fā)出電子會被像點下方的電場捕獲并囚禁起來備用，如下圖所示。這個電場的專業(yè)名稱叫做“勢阱”，后面會有專門討論。

像點的作用可以類比成一個盛水的小桶，它可以在一定范圍內記錄其捕獲的光電子數(shù)，如果入射的光子太少則可能什么都記錄不到，如果入射的光子太多則只能記錄其所能容納的最大值，多余的光電子由于無處安置只能就地釋放，就像水桶盛滿之后再繼續(xù)接水就會溢出一樣。溢出的自由電子會被專門的機制捕獲并排空。像點曝光的過程，非常類似下圖所示的用很多小桶接雨水的過程。

1.3 像點微觀結構

一個像點的解剖結構如下圖所示。

從圖中可以看到，一個像點主要由五部分功能構成

• 硅感光區(qū)，捕獲光子，激發(fā)光生電子

• 勢阱，用電場捕獲、存儲光生電子

• 電路，將電荷數(shù)量變換為電壓信號，以及復位、選擇、讀出邏輯

• 濾光膜，選擇性透過三種波長中的一種

• 微透鏡，將入射光線會聚到感光區(qū)

1.4 Bayer Filter

為了能夠區(qū)分顏色，人們在硅感光區(qū)上面設計了一層濾光膜，每個像素上方的濾光膜可以透過紅、綠、藍三種波長中的一種，而過濾掉另外兩種，如下圖所示。

像點之所以叫像點而不叫像素正式因為這了原因，一個嚴格意義上的像素，即pixel，是一個具備紅、綠、藍三個顏色分量的組合體，能夠表達RGB空間中的一個點。而sensor上的一個像點只能表達三種顏色中的一個，所以在sensor范疇內并不存在嚴格意義上的像素概念。但是很多情況下人們并不刻意區(qū)分像素和像點在概念上的差別，經常會用像素來指代像點，一般也不會引起歧義。

所有的像點按照一定格式緊密排成一個陣列，構成sensor的像敏區(qū)，即color imaging array。像點陣列的微觀效果如下圖所示。

其中感光膜的布局叫做Bayer Mosaic Color Filter Arrary，通常簡寫為Bayer CFA或CFA。

早期的工藝微透鏡之間是存在無效區(qū)域的，為了提高光能量的利用率，人們會努力擴大微透鏡的有效面積，最終實現(xiàn)了無縫的透鏡的陣列。

索尼的Power HAD CCD 技術在Hyper HAD 技術基礎上縮小了微透鏡間距，進一步提升了像素感光能力。

Bayer格式圖片是伊士曼·柯達公司科學家Bryce Bayer發(fā)明的，拜耳陣列被廣泛運用與數(shù)字圖像處理領域。

不同的sensor可能設計成不同的布局方式，下面是幾種常見的布局

下面是光線通過微透鏡和Bayer陣列會聚到硅勢阱激發(fā)出光生電子這一物理過程的示意圖。需要說明的是光生電子本身是沒有顏色概念的，此圖中把電子的顏色只是為了說明該電子與所屬像點的關系。

Bayer格式的數(shù)據(jù)一般稱為RAW格式，需要用一定的算法變換成人們熟悉的RGB格式。

從RAW 數(shù)據(jù)計算RGB 數(shù)據(jù)的過程在數(shù)學上是一種不適定問題（ill-posed problem），理論上有無窮多種方法，因此與其說是一種科學，不如說是一種藝術。

下面介紹一種最簡單的方法。這個方法考慮3x3范圍內的9個像素，為簡單起見只考慮兩種情形，即中心像素為紅色和綠色，其它情形同理。

上述過程常稱為Bayer Demosaic，或者Debayer，經過此操作之后，每個像素就包含了3個完整的顏色分量，如下圖所示。

上述各種Bayer格式的共同特點是接受一種顏色而拒絕兩種顏色，因此理論上可以近似認為光能量損失了2/3，這是非?？上У?。為了提高光能量的利用率，人們提出了RYYB的pattern，這是基于CMY三基色的CFA pattern，Cyan是青色（Red的補色），Magenta是品紅（Green的補色），Yellow是黃色（Blue的補色）。目前這種特殊的Bayer pattern已經在華為P30系列和榮耀20手機上實現(xiàn)了量產。據(jù)華為終端手機產品線總裁何剛透露，為了保證RYYB陣列在調色方面的準確性，華為付出了整整3年的時間。

1.5 成像與讀出

Sensor成像的過程可以比喻成用水桶接水的過程，如下圖所示。在這個比喻中，雨水即相當于光子，每個水桶即相當于一個像點，水桶收集雨水的過程即相當于像點的曝光過程。當收集到合適數(shù)量的雨水后，會有專門的工序統(tǒng)計每一個水桶收集到多少雨水，然后將桶倒空，重新開始下一次收集。

像點記錄光信號以及信號讀出的原理和計算機內存的工作原理非常相似。sensor 會使用一個行選信號(Row Select)和一個列選信號(Column Select)來選中一個存儲單元(Pixel)，被選中的存儲單元與輸出放大器聯(lián)通，將其存儲的電荷數(shù)轉換成電壓值輸出到陣列外部。下圖說明了這個過程。

像素讀出的基本過程是

1. 每個像素內置一個電荷/電壓放大器（Charge/Voltage Converter, CVC），將像素勢阱中電荷的數(shù)量轉換成電壓信號

2. 讀出邏輯選中某一行，該行所有像素的電荷/電壓放大器的輸出信號與列輸出信號聯(lián)通

3. 讀出邏輯繼續(xù)選中某一列，該列信號與可編程輸出放大器（Output Amplifier）聯(lián)通，被選中的像素的電壓信號被放大一定倍數(shù)

4. 放大后的電壓信號經ADC轉換器后變成數(shù)字信號，在sensor 內部經過一定的ISP處理，最后通過一定的接口協(xié)議（如MIPI）輸出到外部

1.6 卷簾曝光（rolling shutter）

CMOS sensor 的典型曝光方式稱為卷簾曝光(rolling shutter)，其曝光過程涉及兩個控制信號，即

• 一個reset 信號負責將某一行像素清零，使其從零開始積累電荷

• 一個read 信號負責選擇某一行，導致該行被讀出

這兩個信號的工作時序是reset 信號在先，read 信號在后，之間相差一個恒定的間隔，這個間隔在空間上看是兩個信號前后相差固定的行數(shù)，在時間上看是一行像素被清零后，等待固定的時間后即被讀出。

一行像素在遇到reset 信號之前處于“自由曝光”的狀態(tài)，在遇到reset 之后開始“受控曝光”，在遇到read 信號之后又恢復到“自由曝光”狀態(tài)，如下圖所示。

下圖顯示了一個像素的曝光過程。

1. 一個曝光過程從RESET開始，RESET信號保持一段時間后像素清零，恢復高電壓

2. 像素自由積分，時間取決于用戶設置的曝光時間

3. 像素采樣，準備讀出

Rolling shutter 在空間和時間上的關系如下圖所示。

顯然，sensor read 信號與 reset 信號之間的時間間隔就是每個像素能夠積累光信號的時間，也就是人們所熟知的“曝光時間（exposure time）”，在技術領域則更多會使用“積分時間（integration time）”這個術語，它一般是以行為單位的一個量，能夠精確地反映像素曝光過程的物理本質和實現(xiàn)原理。

熟悉攝影的人都會知道，如果被拍攝的物體在相對攝像機運動，則需要使用比較短的曝光時間，否則畫面就會出現(xiàn)運動模糊，這是因為在曝光過程中物體不斷從一個像素位置轉移到另一個像素位置，物體運動速度越快，運動模糊越嚴重，如下圖所示。

在下圖的例子中，由于彈琴的手在不停地移動位置，所以在很多像素上都會留下一點曝光的痕跡，卻沒有任何一個像素上停留足夠久的時間。

以拍攝人物為例，當在畫面中以正常速度步行時，如果曝光時間大于1/30秒（約30ms）則畫面就開始出現(xiàn)運動模糊，下圖給出了一組經驗值，用于參考絕對曝光時間和運動模糊的關系。

在智能交通（ITS）領域，普通城市路面監(jiān)控一般要求曝光時間短于1/60s，否則拍到的車牌就開始模糊，如果曝光時間更長則夜間的車燈就會出現(xiàn)明顯的拖尾現(xiàn)象，如下圖所示。

如果拍攝對象是鳥類這種動若脫兔的目標，則曝光時間不能超過1/125s（<10ms），否則很容易出現(xiàn)運動模糊。

當然，攝影技術中還存在一個專門的分支叫做高速攝影和超高速攝影，通常用于捕捉高速飛行的子彈，或者火箭發(fā)動機點火的過程，此時曝光時間需要鎖定在微秒甚至納秒級別。

1.7 Rolling shutter 效應

卷簾曝光的最顯著特點是每一行像素開始曝光的時間點是不同的，是與像素位置有關的的函數(shù)。當畫面中存在運動的物體時，物體在曝光過程中空間位置在不斷變化，畫面就發(fā)生變形，物體速度越快，變形就越嚴重。

下面的動畫可以很好地說明這種效果的成因。

正常螺旋槳

形成原因

這種形變通常稱為RS效應，或者“果凍效應”(Jello effect)，指圖像出現(xiàn)扭曲、傾斜等現(xiàn)象，仿佛進入了“時空扭曲”的世界一般。

與rolling shutter 做對比的是CCD sensor 采用的全局快門 (global shutter)，其特點是sensor 上所有像素是在同一瞬間全部開始曝光的，因此sensor 采集的是物體在同一時間點的畫面。下圖是兩種曝光方式的對比。

一般來說，RS效應存在三種表現(xiàn)形式，前兩種屬于畫面畸變，合稱果凍效應。

• 整體傾斜（skew），如下圖車輛的例子

• 圖像搖擺（wobble），如下圖所示

在無人機、車載等應用中，camera本身隨載具平臺一起運動，平臺的高頻機械振動會對成像造成較大擾動，圖像產生搖擺。即使在安防場景中，如果camera附近存在振動源（如空調電機）也會產生同樣的問題。

• 部分閃光（partial flash），如下圖所示
  普通攝影閃光燈的閃光時間 通常只有幾個毫秒，顯著短于一幀圖像的成像時間，因此只有一部分畫面能夠被閃光照亮。

微軟研究院的Simon等人使用光流法追蹤搖擺像素的運動矢量，從而對搖擺進行校正。

針對手機拍攝的場景，斯坦福的Alexandre等人使用手機自帶的加速度傳感器提取camera的加速度信號用于補償圖像擺動。

1.8 積分時間 (integration time)

用戶在使用camera拍攝時需要根據(jù)場景特點決定所采用的曝光時間（exposure time），或者讓camera 在設定范圍內自動選擇最合適的曝光時間，這時所涉及的曝光時間概念主要與拍攝場景有關，一般是以毫秒為單位計算的絕對時間，也是用戶比較熟悉和容易理解的概念。

而sensor 中用來控制曝光長短的寄存器參數(shù)稱為積分時間，一般是以行為單位的，這個概念是源于sensor 的技術特性，一般不需要用戶去理解。

曝光時間和積分時間存在確定的換算關系。比如說int_t=159，指的是sensor reset 信號和read 信號之間的間隔為159行，而每行所占的絕對時間（line_time）與sensor 主頻(pixel clock, PCLK)的和每一行包含多少像素(行長 )有關，具體公式是：

line_time=h_size / pclk

其中h_size 為行長，以PCLK 數(shù)為單位，1/pclk 為一個時鐘周期，即掃描一個像素需要花費的絕對時間

因此曝光時間與積分時間的換算公式如下：

exposure time = int_t * line_time

舉例來說，假設一個1080p sensor PCLK=76MHz，每行配置成2000個PCLK（由有效像素和blanking組成），則有

line_time = 2000 / 76MHz = 26.32 us

如果某個場景需要10ms曝光時間，則sensor 積分時間應如下計算，

int_t = 10000us / 26.32us = 379.9 （行）

顯然這個例子可以安全地將sensor 寄存器配置為380行，就能得到10ms的曝光時間。

但是當 int_t < 2 時問題就會變得有些復雜。假設計算出的理想積分時間是1.5行，此時自動曝光算法就很容易產生振蕩，不停在1行和2行之間切換而無法穩(wěn)定在一個固定值。因此有些sensor 會支持分數(shù)行，可以幫助解決這個問題。

1.9 工頻閃爍 (flicker)

工頻閃爍，通常發(fā)生在室內場景，曝光時間設置如果不是光源能量周期的整數(shù)倍，則圖像不同位置處積累的信號強度不同，并呈周期性變化，這是單幀圖像的情況。在視頻序列上，如果滿足一定條件，視頻會出現(xiàn)條紋模式在垂直方向上緩慢移動。

工頻閃爍的形成原因與CMOS sensor rolling shutter的工作原理相關，并且受交流電的頻率影響。對于同樣的積分時間t，sensor不同位置處的像點開始積分時所處電信號的相位不同，所以同樣時間t 內能夠積累的光子數(shù)也不同。如下圖所示。

flicker 的本質是像素曝光起始點相對交流電的相位關系在不斷變化。這個問題不僅存在于一幀圖像內部，在幀與幀之間也存在同樣的問題。

以電頻率50Hz為例，如果sensor 工作在25或50fps（frame per second），則幀頻率剛好與電頻率同步，每幀圖像的flicker 表現(xiàn)（明暗位置）與上一幀完全相同，所以明暗條紋在視頻上是靜止不動的。如果sensor工作在30或60fps，則每幀的flicker與上一幀會產生固定的相移，視頻上的明暗條紋圖樣會在畫面垂直方向上緩慢移動。

在室內，為了避免工頻閃爍，曝光時間應設置為光源能量周期的整數(shù)倍。在中國，光源能量周期為10ms(交流電周期的1/2)，在美國則為8.3ms，調整曝光時間時要特別注意這一點。

1.10 與CCD的對比

CCD技術的發(fā)展起源于1960年代，在2000年以前曾是image sensor 的主流解決方案，下圖對比了CCD和CMOS讀出方式的主要區(qū)別。

如圖所示，CCD 器件通常只有一個電荷-電壓轉換器（Charge-Voltage Converter），當sensor讀出像素數(shù)據(jù)時，每一行像素中積累的電荷需要在行電壓的控制下一步步“蠕動”到下一行，直到最終抵達陣列所屬的行緩沖（row buffer），然后開始在列電壓的控制下繼續(xù)一步步“蠕動”到陣列出口處的電荷-電壓轉換器，完成讀出過程。

CCD的一個主要優(yōu)點在于所有像素共享同一個電荷-電壓轉換器，所以像素一致性非常好。相比之下get="_blank">CMOS每個像素都有自己專用的電荷-電壓轉換器，一致性很不容易控制。

當CCD像素數(shù)多于200萬時，所有像素共用一個電荷-電壓轉換器會嚴重影響讀出速度，所以此時會考慮把像素設計成兩個或四個陣列，每個陣列配備專用的行緩沖和電荷-電壓轉換器，可以成倍加快讀出速度。

寫到此處筆者回憶起一個沉痛的往事。筆者一好友曾試圖對接某國產高端sensor，由于自己研發(fā)實力有限，便求助于北京的朋友空閑之余幫忙做做，結果不出意料地半年沒什么結果。朋友有點著急了，付了50萬研發(fā)費委托深圳本地的公司幫忙開發(fā)，該公司的主要業(yè)務是設計生產國產FPGA，接單的主要動力是推廣自家的FPGA。sensor出圖到是比較順利，但是朋友很快發(fā)現(xiàn)國產FPGA 體積大功耗高，無法滿足量產需求，于是朋友要求承接方提供源代碼以遷移到X家FPGA，不料承接方以合同金額不包括源代碼為由拒絕提供，于是50萬瞬間沉沒。萬般無奈朋友只好雇人自己開發(fā)FPGA，如是就遇到了sensor四個陣列輸出不同步的問題，廠家也講不清楚四個陣列的輸出時序到底該如何預測，好像是sensor想輸出誰就輸出誰，什么時候高興什么時候輸出。這就給FPGA設計增添了巨大的難度，朋友雇的年輕人無法應對如此巨大的技術挑戰(zhàn)，堅持半年后離職，項目最終流產。

1.11 改進的曝光方式

Interlaced 曝光

為了改善rolling shutter 曝光方式存在的問題，有人提出了Interlaced 曝光和讀出方式，如下圖所示，新的曝光順序將一幀拆分成8組，第一組包含行號 {0,8,16,24...}，第二組包含行號 {1,9,17,25,...} ，以此類推，第八組包含行號 {7,15,23,31,....} 。這種曝光方式的優(yōu)點是組與組之間的曝光延時為一幀時間的八分之一，以1080p@30fps 為例，一幀的讀出時間大致在28ms左右，在新的曝光方式下像素間的最大曝光延時僅為3.5ms，可以更好地捕捉運動場景。

斬波曝光（chopped）

在智能交通領域常會遇到拍攝交通信號燈的需求。大部分信號燈直接使用220V市電供電，因此會存在10ms的光能量周期（美國是110V，周期8.3ms）。偶爾也會有信號燈廠家偷工減料，使用半波整流器件將電頻率的負半周過濾不用，這就導致信號燈每亮10ms之后就會熄滅10ms。雖然人眼看不出來，但sensor看的非常清楚。P.S. 遇到這種偷工減料的信號燈，一般可以要求業(yè)主更換信號燈供應商，并拉黑原供應商。

由于信號燈存在10ms的明暗周期，當sensor曝光時間很短時，就會遇到某一幀圖像里信號燈碰巧全都不亮的尷尬場景，如下圖所示。

一般在晴朗的夏天，sensor曝光時間可能會需要短于1ms才能保證畫面不過曝，此時遇到信號燈近似熄滅的概率已接近50%。而在夜晚則曝光時間通常需要大于10ms，所以不會遇到信號熄滅的問題，相反會遇到信號燈光太強以致sensor過飽和，全部信號變成白燈的問題。

除了紅綠燈之外，很多汽車上使用的LED大燈或者信號燈也是有頻率的，而且平均點亮的時間（占空比，duty cycle）可能更短，如下圖所示，這種情況sensor抓拍到LED（信號）燈熄滅的概率會更大。

為了緩解這個問題，有人提出了斬波曝光的工作模式，其原理是把正常曝光所需的曝光時間（比如1ms）分散到11ms的固定時間間隔內執(zhí)行，通過多次短暫曝光的效果累加實現(xiàn)1ms等效曝光時間，且能保證采樣到信號燈最亮的時刻，如下圖所示。

這種方法的好處是增大了捕捉到信號燈點亮的概率，但是由于捕捉的時間短，所以畫面上信號燈的亮度會比正常的要弱。所以這種方法并沒有完美解決問題，只是一種緩解（mitigation）的方法。

1.12 畫幅

中畫幅的sensor典型尺寸為44或53mm寬，3千萬~1億像素。

全畫幅的sensor典型尺寸為35mm寬，和早期的電影膠片一樣大，具有1千萬~5千萬像素不等。

APS-C sensor 典型尺寸22mm寬，是單反相機的主力軍，具有6百萬~5千萬像素不等。

4/3英寸畫幅sensor，典型尺寸17.3mm寬，微單產品的主力，具有8百萬~2千萬像素不等。

1英寸畫幅sensor，典型尺寸13.2mm寬，用于單反和高端安防產品

1/3~2/3英寸sensor，便攜camera和安防camera的主力軍，1百萬~2千萬像素不等。

1/4~1/2英寸sensor，主要用于手機camera模組，8百萬~4千萬像素不等。

參考資料

https://clarkvision.com/articles/digital.sensor.performance.summary/clarkvision.com/articles/digital.sensor.performance.summary/