2019年5月2日 星期四

Digital Holographic Microscopy (DHM)


以往只要談到影像處理,必定要經過鏡頭取像,這觀念已經根深蒂固,沒有光學鏡頭要怎麼成像呢,只覺得震驚與不可思議,所以初次聽到DHM(Digital Holographic Microscopy)概念時,直覺是騙人的玩意。

但在接觸微流體(連結)的過程中,類似系統需要有效的對通道中細小物體的進行計數和觀察(連結 連結)。光學顯微鏡的確可以清楚辨識物體,但受限於視野大小,僅能觀察小範圍內畫面,若是通道較寬或觀察面積大,就要尋求另外方案,無鏡頭拍攝lensless概念應運而生。

DHM直接讓光線穿越觀測物體,讓投影光線直接照射在感光元件上,與光學顯微鏡不同,DHM是記錄物體的全息資訊,電腦僅是重建相位和振幅(光強)訊息,所以原始畫面多半模糊不清(下圖),只要經過提取,就能還原出清晰的原始畫面(下下圖)。 連結



詳細資料如論文(連結  連結  連結 連結 中文博碩士 ),詳細說明如何以低成本重建實驗。

一、光源
論文的光源是穿透力較強的紫光LED,波長470nm。架構上,平行光最佳,實際上使用的是點光源,也能避免繞射。

點光源可由PINHOLE產生,是光電實驗不可或缺的工具。台灣廠商沒人理我,掏寶5µm°單價450/台幣,價格實惠 (連結  連結)。

二、觀測物
除了真正微流體物品,可以觀測普通顯微切片,或是標準玻璃測試片。

三、感光元件
實驗時,可以手邊就有的OV7670為主,移除透鏡模組直接拍攝。另外,目前感光元件上,配合BAYER PATTERN,都鋪有一層color filter。既然DHM是同波長光源(藍),目前架構無形中浪費四分之三感光面積,若能移除(連結)或取得無filter應會有更好表現。


四、影像分析
DHM的原理是光的全像計算,某種程度來說,電腦僅是扮演光學顯微鏡的成像透鏡。但因為僅要分辨出物體的平面輪廓,只要刻意拉近物體和觀測面的距離,就能大幅減少散射帶來的影響。

DHM同樣也有參考光


兩種計算程式,都包含GPU模式。

第一是C版本,CWO++,連結。結論軟體說明,Diffraction calculations, such as the angular spectrum method and Fresnel diffractions, are used for calculating scalar light propagation. The calculations are used in wide-ranging optics fields: for example, Computer Generated Holograms (CGHs), digital holography, diffractive optical elements, microscopy, image encryption and decryption, three-dimensional analysis for optical devices and so on.

第二是JAVA版本稱JDiffraction,連結。wave propagation library Includes angular spectrum, Fresnel-Fourier and Fresnel-Bluestein methods.

五、其他考慮項目。
如前面三個元件彼此距離如何分配。以及實際微流體應用時,因為影像是由平面投影而來,同一物體在通道的高點和低點,投影結果就有很大不同。

LENSLESS

上述DHM強調近距離影像的重現,若考慮更大範圍的全像資訊,可以參考2012年左右論文(連結),文章介紹(連結) Losing the Lens   連結

2017年DiffuserCam專案(連結 藉RASPIBERRY PI蒐集影像資訊,再經由PC處理,近距離可拍攝出立體照片,遠距離也有清楚平面畫面)。連結  連結  連結 連結


computational-imaging   opticalCNN  連結


近距離的物體,會有立體效果

另外分支為PinHole方式,擴大PinHole成為MASK,如flatcam、flatscope(連結連結  連結),最近更看利用機器學習專案,Towards Photorealistic Reconstruction of Highly Multiplexed Lensless Images (連結)。交大光電所 107 林冠宇 無透鏡。 連結

flatnet 連結 連結

COMHTVM/lensless  連結  python學生作業,Optimizing phase mask for a lensless imaging system

CSIPlab/flatcamRBG-D 連結  matlab : code and data for paper Joint Image and Depth Estimation with Mask-Based Lensless Cameras

CSIPlab/Programmable3Dcam   連結  matlab  Repository for "A Simple Framework for 3D Lensless Imaging with Programmable Masks," ICCV 2021  連結 

PhlatCam: Designed Phase-Mask Based Thin Lensless ...連結

文章  Learned reconstructions for practical mask-based lensless imaging

文章  Lensless cameras using a mask based on almost perfect sequence through deep learning

由於自身知識不足,即使閱讀了技術文件( 如无透镜片上显微成像技术院理论尧发展与应用 連結),编码摄像(連結),也是懵懵懂懂,但能因此拓展自己光學相關知識的邊界,就覺得開心。

無鏡頭光學部分lensless:(包含許多數學和物理的原理。連結  連結。)以往是因為天文望遠鏡的資訊不能通過玻片而設計,屬於小分支,從應用上來看,擺脫長久以往,只能透過透鏡或是針孔才能成像的觀念,最有可能的亮點是可以替換掉鏡片,但鏡片越來越小狀況下,這個應用應該沒什麼噱頭。

近距離時三維空間偵測似乎較有可能使用到。這部分有一些PAPER。

從lensless到掃瞄出整個3D,可以參考openwater.cc。但要變成產品需要深厚理論基礎。還得解決超音波問題,就算做出來了,還要解決醫療認證問題,還有銷售管道等等。這些按超音波區別在哪呢?

lensless 連結 連結


Generalizing Learning-Based Lensless Image Reconstruction to Mask Pattern Changes
E Bezzam, M Vetterli
Computational Optical Sensing and Imaging, CF1A. 3

Hardware-in-the-loop training for lensless imaging with a programmable mask
E Bezzam, M Vetterli
Computational Optical Imaging and Artificial Intelligence in Biomedical …

Digicam: Single-shot lensless sensing with a low-cost programmable mask
E Bezzam, M Vetterli, M Simeoni
Flat Optics: Components to Systems, JTu4A. 45

自我實現的途徑

如果能做出真正屬於自己的事情,就定義為自我實現。從現在狀況來說,是沒有的。若真義挑選,最有可能就是lensless。todostart1 2024/11/16 投入lensless todoend。這會是,只有因為我而出現的事物。至於說內容,不太可能是學理突破,頂多是製造和推廣。

沒有留言:

張貼留言