Monochrome Camera Sensor MT9J001

MT9J001

一直以來都是接觸BAYER PATTERN感光元件，最近研究NBI，特別去找了Monochrome(單色)感光元件，下面是操作筆記。

世界之所以多采多姿，是因為有不同波長和強弱的光。這些不同波長的光進入人眼後投射在視網膜平面，就會刺激其上散佈的數百萬個視錐細胞，每個視錐細胞內又因為含有不同的色素，就能反映出當下不同波長(顏色)的信號，再傳入大腦中，即成為主動感知資訊。

與人眼相比，底片成像的物理性較高，黑白底片是有一層能感應光線強弱的感光劑，定影後顯示灰階效果。彩色底片則是塗抹三層不同感色能力的感光劑，最上層的感光層只感應藍色，中間層只感應綠色，最下層只感應紅色，各感光層是獨立感光且會各自染出不同顏色，也因為感應後染色的反應不同，三層不同顏色的感光層疊加，再經過顯影定影後，就會成為彩色照片。

數位相機感光元件的概念，介於人眼和底片之間。感光元件是個平面，佈滿著矩陣排列的感光像素，每個像素能反映出當時光線的強弱(這部分類似於黑白底片)。但每個都是相同的感光像素要如何表現出彩色訊號呢？

1976年，Bryce Edward Bayer提出color filter array概念，透過格狀濾光片，取得某個點的紅或綠或藍三色中某色強度，再由附近像素，插分組額出該點紅、綠、藍三色。這方法可精巧重現色彩資訊，也因此將數位影像帶入了彩色時代。而且加入color filter array後，只要套用0.30*R + 0.59*G + 0.11*B，就能將彩色資訊再轉換為黑白數值。也就是說，彩色數位相機可同時達到彩色和黑白兩者需求。

市場主導下，很快的所有消費型數位相機，都是具備color filter array的彩色感光元件。只有少數要觀察的物體和環境光源波長有特定關係時(例如我正接觸的NBI或工業製程或OCT或Holographic Microscopy)，會在乎color filter array濾光片誤差，以及感光靈敏度，才會尋找無color filter array感光元件。

下圖是自帶color filter array的量測結果，因為濾光片的效果，不同波長的反應程度有很大不同。

下圖是移除濾光片後的靈敏度表現，可以發現都更為靈敏。

無CFA的幾種方案。

1. 無CFA感光膜組：OV和ON-Semi(前身為Aptina)。
2. 市場上整機產品：例如Firefly MV 相機USB2.0 - FMVU-03MTM/C-CS(產品連結   SPEC文件)。或是台灣的The Imaging Source 兆鎂新(連結)。
3. 手動移除：有點好笑，連結一，連結二。

目前採用方案一，ON-Semi的MT9J001(連結)。特點如下。

1. Monochrome Bayer pattern同型號MT9J003是color filter模組
2. 1/2.3" optical format
3. 10MP 3856 x 2764 MT9J001 sensor
4. 1.67 x 1.67 um Pixel size
5. 7.5fps at full resolution
6. 0.31V/lux-sec responsivity
7. 65.2dB dynamic range
8. single 3.3V power input
9. Parallel camera interface
10. 一般類似的小型感光元件都會自帶陽春ISP(Image Signal Processor)，這顆沒有，所以要自行設定exposure, white balance, gain settings

Camera Digital Interface

藉著這個sensor，另外加入控制硬體相關知識。因為WINDOWS無法直接控制感光元件，元件開發者還有販售影像轉換板，做為中間橋梁。順便加入sensor和MCU的資料傳送機制，camera digital interfaces設定為以下幾類(連結)。

Camera Parallel Interface (CPI) 這是常見的方式，也是目前這顆sensor使用方式

又包含了兩部分：
1. control the interface : I2C bus ,  control the various registers of the camera module. 包括SDA (data) and SCK (clock).

2. image data itself : parallel bus

  Image data is output for each rising edge of PCLK. HREF is high while clocking out active image

data for each scan line. VSYNC is pulsed high at the start of each frame. 

Camera Serial Interface 又區分三種 CSI-1 CSI-2 CSI-3，這也就是MIPI部分

同樣是兩個部分：

1. control the interface : 維持

2. image data itself : The parallel portion is replaced differential clock and data signals.

CSI-1 has a single data pair and a single clock pair.

CSI-2 can provide multiple data pairs.

CSI-3 is an extension of CSI-2 and accounts for additional protocol specifications and EMI concerns.

兩者的組合比較如下

連結位置

LVDS (low voltage differential signaling) 只知道可以用更低的電壓傳送訊號，詳細內容完全不知。

控制軟體

可選擇WINDOWS或RASP。WINDOWS位置在C:\Users\kayjean\Downloads\ArduCAM_USB_Camera_Shield-master\ArduCAM_USB_Camera_Shield-master\Windows\GUI\USBTest\x64\Release

設定下面數值，還可以控制，控制的文件(連結)。
曝光值Exposure 12306 100
GAIN值 12328 50

WINDOWS APP的控制畫面

鏡頭相關資料

Default M12 mount 4.2mm LS-18023 lens。

購買約12USD 連結

從MOUNT的角度來說，CS/C MOUNT(連結)是為固定機構相機的設計，類似的小型鏡頭模組有自己形式。這個網頁提供非常多科普知識(連結)，包括如何計算並選擇出適合功能需要的鏡頭模組(計算連結)。

因為鏡頭可以移動，試著亂調整鏡頭位置，發現越接近感光元件，成像較大一些較模糊，越遠離感光元件，成像較小一些也較模糊。

在合適範圍內，最近對焦距離可以控制三到五公分(此時遠距離模糊)，一公尺以外要清楚必須稍微再旋轉調整鏡頭位置(手動對焦啦)。

解析度還不錯

實驗過程

實驗步驟一，在黑暗狀況下，以不同波長光線，拍攝同一個色板，從成像可以看出，亮度部分明顯不同。

以綠光拍攝舌下，可以發現明顯血管線條和分布狀況。

NBI利用血管對不同波長光線的不同反射狀況

其他
1.OCT特殊850左右的波長，目前看起來，螢火蟲相機對波長的容忍度較大。
2.目前鏡頭模組似乎有加裝IR filter，或許要拔除。