1，ISP圖像信號處理介紹

ISP(Image Signal Processing) 圖像信號處理。主要用來對前端圖像傳感器輸出信號處理的單元，以匹配不同廠商的圖象傳感器。相機用圖像處理器ISP（Image Signal Processor）。被管道化的圖像處理專用引擎可以高速處理圖像信號。也搭載了為了實現(xiàn)Auto Exposure / Auto Focus / Auto White Balance評測的專用電路。另外，THine開發(fā)的減噪等圖像處理模塊，能令各個CMOS傳感器實現(xiàn)最高畫質(zhì)。

2，ISP的目的是什么？

像素對某些波長組之間的光很敏感，本質(zhì)上它們是顏色不可知的。獲取彩色圖像的方法是在頂部放置一個濾鏡（通常是拜耳圖案濾色鏡），然后對相鄰像素的顏色進行插值。8 MP CMOS不會為每個像素感應(yīng)紅色，綠色和藍色，而是為每個像素感應(yīng)一種顏色，然后ISP根據(jù)其旁邊的顏色猜測顏色。這就是所謂的去馬賽克，它可能是ISP的主要工作，并且有許多秘密的調(diào)味方法來計算此插值圖像。此外，ISP還負責其他所有內(nèi)部管理工作，它可以控制相機系統(tǒng)的自動對焦，曝光和白平衡。最近添加了對不完善的鏡頭系統(tǒng)（例如，在instagram中添加的不完美鏡頭系統(tǒng)所賦予的漸暈或色差）等鏡頭缺陷的校正，以及HDR重組，降噪，其他濾鏡，臉部校正或臉部校正等功能。對象檢測以及色彩空間之間的轉(zhuǎn)換。ISP的功能之間存在差異，但這實際上是將拜耳數(shù)據(jù)獲取到可行的圖像陣列中的控制器。

3， ISP的處理流程以及算法

如下所示是一個典型的數(shù)字相機 Pipeline處理流程：

ISP處理算法大致包括：
Bayer、黑電平補償（black level compensation）、鏡頭矯正（lens shading correction）、壞像素矯正（bad pixel correction）、顏色插值（demosaic）、Bayer 噪聲去除、白平衡（AWB）矯正、色彩矯正（color correction）、gamma 矯正、色彩空間轉(zhuǎn)換（RGB 轉(zhuǎn)換為 YUV）、在YUV 色彩空間上彩噪去除與邊緣加強、色彩與對比度加強，中間還要進行自動曝光控制，圖像壓縮等。

3.1鏡頭的幾何變形

3.2 鏡頭漸暈

3.3 曝光控制：曝光不足

3.4 Optical Black Clamping

3.5 Image Compression

4 ISP的內(nèi)部組成

如下圖所示，ISP內(nèi)部包含 CPU、SUP IP、IF 等設(shè)備，事實上，可以認為 ISP 是一個 SOC（system of chip），可以運行各種算法程序，實時處理圖像信號。

CPU：CPU 即中央處理器，可以運行 AF、LSC 等各種圖像處理算法，控制外圍設(shè)備?，F(xiàn)代的 ISP 內(nèi)部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
SUB IP：SUB IP 是各種功能模塊的通稱，對圖像進行各自專業(yè)的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。
圖像傳輸接口：圖像傳輸接口主要分兩種，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱，鑒于 MIPI CSI 的諸多優(yōu)點，在手機相機領(lǐng)域，已經(jīng)廣泛使用 MIPI-CSI 接口傳輸圖像數(shù)據(jù)和各種自定義數(shù)據(jù)。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個接口。內(nèi)置 ISP 一般只需要 MIPI-CSIS 接口。
通用外圍設(shè)備：通用外圍設(shè)備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于讀取 OTP 信息，控制 VCM 等。對于外置 ISP，ISP 本身還是 I2C 從設(shè)備。AP 可以通過 I2C 控制 ISP 的工作模式，獲取其工作狀態(tài)等。