一種高分辨率光場圖片重建方法與成像裝置的制造方法
【技術領域】
[0001] 本發明涉及圖像處理技術領域，具體地說，本發明涉及一種高分辨率光場圖片重 建方法與成像裝置。
【背景技術】
[0002] 光場是一個4D函數，描述了穿過兩個平面的所有光線的亮度（可參考文獻 Levoy M, Hanrahan P. Light field rendering[C]//Proceedings of the 23rd annual conference on Computer)。對于傳統3D空間中的一點來說，傳統數碼圖片上的一個像素點 只能記錄所有經過該點光線的積分強度。不同于傳統數碼圖片，光場圖片可以分別記錄穿 過同一點的多條光線。利用光場圖片記錄的光場數據，我們可以觀察到不同視角和不同焦 距下的圖片。最近幾年，已經出現了一些光場相機。光場相機是一種可以捕捉光場數據的 設備。現有的光場相機可以分為三類：(a)相機陣列；(b)基于微透鏡陣列的光場相機（可 參考文獻 Ng R, Levoy M, Bredif M, et al. Light field photography with a hand-held plenoptic camera[J] ? Computer Science Technical Report CSTR, 2005, 2(11).) ; (c)可 編程孔徑相機。這些光場相機中，主流產品是基于微透鏡陣列的光場相機，最近幾年，這個 領域已經出現了一些商業產品，比如Lytro和Raytrix光場相機。
[0003] 然而，為了獲得足夠的角分辨率，光場相機犧牲了相當一部分空間分辨率，因此拍 攝得到的光場圖片空間分辨率比傳統相機低很多。同時，光場相機所拍攝的光場圖片的角 分辨率和空間分辨率之間存在一種逆關系。比如，Lytro是光場相機的第一個商業產品，它 的圖像傳感器原本是1400萬像素，但是因為微透鏡陣列每個宏像素記錄了 121條光線，此 時角分辨率為121，導致空間分辨率降為10萬。而與此同時，采用同一圖像傳感器的傳統數 碼相機的空間分辨率仍為1400萬。也就是說，在給定同等分辨率的圖像傳感器時，光場相 機所拍攝圖片的空間分辨率遠遠小于傳統相機。
[0004] 現有技術中，為了改善光場圖片的空間分辨率，人們提出了很多超分辨率算法。文 獻Bishop T E, Zanetti S, Favaro P. Light field superresolution[C]//Computational Photography (ICCP)，2009提出了一種圖像生成過程模型，它利用傳感器和文本統計的 先驗條件，基于一種貝葉斯理論的框架模型，來得到高分辨率光場，這種改善光場圖片的 空間分辨率的算法可稱為Bishop算法。文獻Mitra K，Veeraraghavan A. Light field denoising, light field superresolution and stereo camera based refocussing using a gmm light field patch prior[C]//Computer Vision and Pattern Recognition Workshops(CVPRff), 2012 IEEE Computer Society Conference on. IEEE, 2012:22-28 提出了一種針對光場的高斯混合先驗模型，該模型中，對圖像中的每一個塊估計了差異 值，然后使用LMMSE估計算法，重建出高分辨率塊。這種改善光場圖片空間分辨率的 算法可稱為 Mitra 算法。文獻 Boominathan V, Mitra K, Veeraraghavan A. Improving resolution and depth-〇f-field of light field cameras using a hybrid imaging system[C]//Computational Photography(ICCP), 2014 IEEE International Conference on. IEEE，2014:1-10.提出了一種混合成像系統，它通過使用一種基于塊的簡單算法，來重 建超分辨光場視角，下文中將這種混合成像系統所采用的超分辨光場視角重建算法（即超 分辨率算法）稱為Boominathan算法。
[0005] 上述幾種超分辨率算法都能夠改善光場圖片的空間分辨率，然而，它們的計算復 雜度都較高，時間開銷大，并且它們只專注于光場成像的后處理階段的改進，因此有很多的 局限性。
【發明內容】
[0006] 因此，本發明的任務是提供一種低復雜度的改善光場圖片的空間分辨率的解決方 案。
[0007] 本發明提供了一種高分辨率光場圖片重建方法，包括：
[0008] 1)獲取所拍攝景象和視角均完全相同的光場圖片和數碼圖片，其中，所述光場圖 片的空間分辨率小于所述數碼圖片；
[0009] 2)根據所述光場圖片與所述數碼圖片像素的對應關系，將所述光場圖片中的光場 信息映射到所述數碼圖片的相應像素上；
[0010] 3)對于映射了光場信息的數碼圖片中光場信息未知的每一個像素，根據該像素與 周圍光場信息已知像素的距離，計算出該像素的光場信息。
[0011] 其中，所述步驟1)還包括：對所述光場圖片和所述數碼圖片之間的平移和伸縮變 換進行處理。
[0012] 其中，所述步驟2)中，所述光場信息為光場信息向量，該向量的維度對應于光場 角分辨率。
[0013] 其中，所述步驟3)還包括：對于所述光場信息未知的像素，根據處于其鄰域的光 場信息已知像素的光場信息向量，基于高斯濾波算法計算其光場信息。
[0014] 其中，所述步驟3)中，所述的該像素與光場信息已知像素的距離包括它們的位置 坐標的歐氏距離。
[0015] 其中，所述步驟3)中，所述的該像素與光場信息已知像素的距離還包括它們在顏 色空間中的歐氏距離。
[0016] 其中，所述顏色空間為RGB顏色空間，所述數碼圖片為RGB圖片。
[0017] 其中，所述步驟3)中，所采用的高斯濾波算法為雙邊高斯濾波算法。
[0018] 其中，光場信息未知的像素（i，j)的光場信息向量
[0019]
【主權項】
1. 一種高分辨率光場圖片重建方法，其特征在于，包括： 1) 獲取所拍攝景象和視角均完全相同的光場圖片和數碼圖片，其中，所述光場圖片的 空間分辨率小于所述數碼圖片； 2) 根據所述光場圖片與所述數碼圖片像素的對應關系，將所述光場圖片中的光場信息 映射到所述數碼圖片的相應像素上； 3) 對于映射了光場信息的數碼圖片中光場信息未知的每一個像素，根據該像素與周圍 光場信息已知像素的距離，計算出該像素的光場信息。
2. 根據權利要求1所述的高分辨率光場圖片重建方法，其特征在于，所述步驟1)還包 括：對所述光場圖片和所述數碼圖片之間的平移和伸縮變換進行處理。
3. 根據權利要求2所述的高分辨率光場圖片重建方法，其特征在于，所述步驟2)中，所 述光場信息為光場信息向量，該向量的維度對應于光場角分辨率。
4. 根據權利要求1所述的高分辨率光場圖片重建方法，其特征在于，所述步驟3)還包 括：對于所述光場信息未知的像素，根據處于其鄰域的光場信息已知像素的光場信息向量， 基于高斯濾波算法計算其光場信息。
5. 根據權利要求4所述的高分辨率光場圖片重建方法，其特征在于，所述步驟3)中，所 述的該像素與光場信息已知像素的距離包括它們的位置坐標的歐氏距離。
6. 根據權利要求5所述的高分辨率光場圖片重建方法，其特征在于，所述步驟3)中，所 述的該像素與光場信息已知像素的距離還包括它們在顏色空間中的歐氏距離。
7. 根據權利要求6所述的高分辨率光場圖片重建方法，其特征在于，所述顏色空間為 RGB顏色空間，所述數碼圖片為RGB圖片。
8. 根據權利要求6所述的高分辨率光場圖片重建方法，其特征在于，所述步驟3)中，所 采用的高斯濾波算法為雙邊高斯濾波算法。
9. 根據權利要求8所述的高分辨率光場圖片重建方法，其特征在于，光場信息未知的 像素（i，j)的光場信息向量
其中，.LFJii是像素點（i, j)的光場信息向量，Ω表示像素（i, j)的鄰域，p e Ω表示在 鄰域Ω中的光場信息已知的像素 p，表示像素 p的光場信息向量，G。（）表示均值為0， 方差為σ的高斯算子，σ^σχ分別表示與RGB歐氏距離和坐標歐式距離對應的方差， 表示像素（i，j)和像素 P之間的RGB歐氏距離，表示像素（i，j)和像素 p之間的（x，y) 坐標的歐氏距離。
10. 根據權利要求2所述的高分辨率光場圖片重建方法，其特征在于，所述步驟1)還包 括，利用分光鏡將來自于目標場景的入射光分離成透射光和反射光，然后用反射鏡再次所 述反射光，得到與所述透射光平行的二次反射光，再使用光場相機和數碼相機按相同視角 分別接收所述透射光和二次反射光，得到所拍攝景象和視角均完全相同的光場圖片和數碼 圖片。
11. 一種用于權利要求1~10中任意一項所述的高分辨率光場圖片重建方法的成像裝 置，包括成像模塊，其特征在于，所述成像模塊包括： 分光單元，用于將來自目標場景的光線分成兩個平行的第一光束和第二光束； 傳統數碼相機接收單元，用于接收所述分光單元輸出的第一光束并成像；以及 光場相機接收單元，用于接收所述分光單元輸出的第二束光并成像。
12. 根據權利要求11所述的成像裝置，其特征在于，所述分光單元包括：鏡頭，分光鏡 和反射鏡，所述鏡頭置于分光鏡和目標場景之間，所述分光鏡用于將通過所述鏡頭的光線 分成第一光束和第二光束，所述反射鏡用于將分光鏡所分出的第一光束反射并使其與分光 鏡所分出的第二光束平行； 所述傳統數碼相機接收單元為傳統數碼相機光傳感器， 所述光場相機接收單元為光場相機光傳感器。
13. 根據權利要求11所述的成像裝置，其特征在于，所述成像裝置還包括：圖像處理單 元，用于根據所述光場圖片與所述數碼圖片像素之間的對應關系，將所述光場圖片中的光 場信息映射到所述數碼圖片的相應像素上；對于映射了光場信息的數碼圖片中光場信息未 知的每一個像素，根據該像素與光場信息已知像素的距離，基于高斯濾波算法計算出該像 素的光場信息。
【專利摘要】本發明提供一種高分辨率光場圖片重建方法，包括：1)獲取所拍攝景象和視角均完全相同的光場圖片和數碼圖片；2)根據所述光場圖片與所述數碼圖片像素的對應關系，將所述光場圖片中的光場信息映射到所述數碼圖片的相應像素上；3)對于映射了光場信息的數碼圖片中光場信息未知的每一個像素，根據該像素與周圍光場信息已知像素的距離，計算出該像素的光場信息。本發明還提供了相應的用于高分辨率光場圖片重建的成像裝置。本發明顯著提高了光場圖片的空間分辨率，同時還具有計算復雜度低，處理速度快的優勢。
【IPC分類】H04N5-232, H04N5-225
【公開號】CN104735351
【申請號】CN201510100489
【發明人】代鋒, 張勇東, 馬宜科, 呂靖
【申請人】中國科學院計算技術研究所
【公開日】2015年6月24日
【申請日】2015年3月6日