前 言
計(jì)算光學(xué)的本質(zhì)是光場(chǎng)的獲取與解譯，無疑，光場(chǎng)扮演著非常重要的角色。隨著研究的深入，我們發(fā)現(xiàn)：光場(chǎng)是作為計(jì)算成像的靈魂存在的。
光場(chǎng)的本質(zhì)是光的物理屬性在空間和時(shí)間維度上的分布特性?！肮鈭?chǎng)”到底應(yīng)該怎么描述？光場(chǎng)的形式是什么？在計(jì)算光學(xué)中擔(dān)任的角色是什么？我們?cè)撛趺蠢霉鈭?chǎng)？這就是我們這一期要講的內(nèi)容。
1
什么是光場(chǎng)
首先，我們看一看什么是光場(chǎng)？
大多數(shù)人一見到“光場(chǎng)”這個(gè)詞，很自然就會(huì)想起“光場(chǎng)相機(jī)”。在這里，我要說明一下：這個(gè)詞出現(xiàn)在計(jì)算成像中也是 Computer Science領(lǐng)域的學(xué)者定義的“Light Field”，是指除了包含原圖像矩陣中的空間坐標(biāo)（x,y）和強(qiáng)度I外，還有光線入射的角度信息(θ, φ)。這段歷史其實(shí)可以追溯到1991年，MIT的Edward H. Adelson 教授和James R.Bergen教授指出基礎(chǔ)視覺可以認(rèn)為是沿著單一函數(shù)的一個(gè)或多個(gè)方向的局部變化，描述了光照射到觀察面的信息結(jié)構(gòu)。一旦定義了這個(gè)函數(shù)，各種潛在的視覺屬性 (如運(yùn)動(dòng)、顏色和方向) 的測(cè)量就能夠自動(dòng)分離出來。這個(gè)函數(shù)被稱為全光函數(shù)，表示為：L(x, y, z, θ, φ, λ, t),其中(x,y,z)為空間位置，(θ, φ)是光線入射角度，λ代表顏色,t為時(shí)間，這就是著名的“七維光場(chǎng)”，光場(chǎng)相機(jī)的那個(gè)“光場(chǎng)”其實(shí)是“四維光場(chǎng)”。
首先，我們要注意，E.H.Adelson教授是Computer Science視覺領(lǐng)域?qū)＜?，光學(xué)界的學(xué)者再次落后。光學(xué)專家后知后覺的結(jié)果就是發(fā)現(xiàn)“光場(chǎng)”的樁地基已經(jīng)被人家打過了。于是，很多人就開始琢磨創(chuàng)新：這個(gè)模型里沒有偏振信息，應(yīng)該引入了偏振P這個(gè)物理量，變成“八維光場(chǎng)”；再后來，渦旋光的潮流出現(xiàn)之后，又有人說：軌道角動(dòng)量也是光的屬性，可以拓展為“九維光場(chǎng)“。可想而知，如果哪天可以探測(cè)光子自旋了，那光子自旋之類的物理量應(yīng)該也必須應(yīng)該加入到光場(chǎng)函數(shù)中。那就是說，光場(chǎng)函數(shù)到底有多少維，似乎就變成了玄學(xué)問題。
2
從物理學(xué)的角度看光場(chǎng)
從上文的論述可以看到，其實(shí)“光場(chǎng)”這個(gè)概念在Computer Vision中描述的是空間中（x,y,z）、運(yùn)動(dòng)的（t）、顏色的(λ)、具有深度信息(θ, φ)物體，這恰好是機(jī)器視覺需要的，而這種描述很不“物理”，看：λ是指顏色，而不是光譜！
那么，物理上應(yīng)該怎么去描述光場(chǎng)？我們知道，強(qiáng)度（I）、相位（φ）、光譜（λ）、偏振P(DoP, AoP)等都是光的物理屬性，加上空間坐標(biāo)（x,y,z），這些量就構(gòu)成了整個(gè)光場(chǎng)信息。
那么，(θ, φ)哪里去了？這兩個(gè)量其實(shí)是從光場(chǎng)相機(jī)引出來的，是光場(chǎng)相機(jī)里由兩個(gè)面(x,y)和(u,v)計(jì)算出來的夾角描述“光線”的方向，從而計(jì)算出景深（Depth of View），獲得z這個(gè)深度信息?，F(xiàn)在應(yīng)該清楚了，空間坐標(biāo)（x,y,z）中的z就代表了(θ, φ)。這其實(shí)是一個(gè)問題從不同角度看而已。
同時(shí)，光場(chǎng)還隨著時(shí)間的變化而變化，在機(jī)器視覺的應(yīng)用中其表現(xiàn)形式其實(shí)就是視頻。因此，我們可以給出光場(chǎng)的特點(diǎn)：光的物理屬性在空間和時(shí)間維度上的分布特性。這就是說，光場(chǎng)實(shí)際上有三個(gè)維度集：物理維度集、空間維度集和時(shí)間維度。在這里，物理維度集是最復(fù)雜的，有強(qiáng)度、相位、光譜、偏振、量子信息等，而這些物理量在很多時(shí)候是沒有辦法同時(shí)測(cè)量、甚至很多量是間接測(cè)量的。因此，測(cè)量“全”光場(chǎng)信息很難很難，同時(shí)，“全”光場(chǎng)信息在實(shí)際應(yīng)用中沒有意義，這是因?yàn)槲覀兺P(guān)注的都是光場(chǎng)信息在若干維度上的投影，例如：圖像就是強(qiáng)度（色彩）信息在平面上的投影，視頻是強(qiáng)度（色彩）信息在時(shí)間維度和平面上的投影，偏振成像是強(qiáng)度（色彩）、偏振度、偏振角在平面上的投影，光場(chǎng)相機(jī)是做強(qiáng)度（色彩）在三維空間上的投影。
我們來看一個(gè)例子：當(dāng)一個(gè)小球進(jìn)入到“純凈”的空間背景時(shí)，光場(chǎng)會(huì)隨之發(fā)生變化，運(yùn)動(dòng)中的小球各種狀態(tài)都體現(xiàn)在光場(chǎng)的變化之中。這恰似一潭靜水，一滴水滴入后打破了原先的平靜，蕩起了漣漪，引起了水波的變化。正如我們可以從水波的變化中能夠還原水滴滴入的全過程一樣，光場(chǎng)的“漣漪”也能夠很好地還原小球在空間的運(yùn)動(dòng)狀態(tài)。
當(dāng)這個(gè)小球的運(yùn)動(dòng)速度比較快時(shí)，如果快門速度不夠，會(huì)產(chǎn)生運(yùn)動(dòng)模糊而產(chǎn)生的拖尾；同時(shí)，我們還會(huì)發(fā)現(xiàn)一個(gè)問題，盡管我們可以用視頻記錄小球的運(yùn)動(dòng)狀態(tài)，但卻不能做空間定位。目前，成熟的解決方案是交會(huì)攝影，用兩個(gè)以上的相機(jī)進(jìn)行交會(huì)測(cè)量，其精度與相機(jī)間的距離（基線）有關(guān)，核心是利用三角幾何關(guān)系解方程?，F(xiàn)在，我們換一個(gè)思路考慮：如果能把小球做運(yùn)動(dòng)的光場(chǎng)信息記錄下來，那么，我們就能從光場(chǎng)信息中解譯出目標(biāo)的位置、運(yùn)動(dòng)速度。且一旦有了光場(chǎng)信息，那么對(duì)于離焦、運(yùn)動(dòng)模糊這類常見的問題，在計(jì)算光學(xué)中將迎刃而解，因?yàn)槲覀冇涗浟讼辔恍畔ⅰ?/p>
再舉一個(gè)例子，能否用一臺(tái)相機(jī)實(shí)現(xiàn)3D成像？機(jī)器視覺中獲取三維信息必須要有兩臺(tái)以上的相機(jī)交會(huì)攝影才能完成，3D電影也是這樣拍攝出來的。那么一臺(tái)相機(jī)能否實(shí)現(xiàn)呢？答案是肯定的。按照傳統(tǒng)的方法，這幾乎不可能。答案肯定依然是光場(chǎng)起了決定性的作用。現(xiàn)在，行業(yè)里很多人都知道偏振3D成像已經(jīng)日趨成熟，這是正因?yàn)樵趥鹘y(tǒng)的幾何成像基礎(chǔ)上引入了偏振信息的結(jié)果。在光場(chǎng)中引入了偏振角信息，可以獲取法線方向，從而實(shí)現(xiàn)偏振3D成像。我們團(tuán)隊(duì)已經(jīng)研制了一臺(tái)偏振3D成像的衛(wèi)星載荷，計(jì)劃今年發(fā)射。另外一種方法是結(jié)構(gòu)光三維成像，技術(shù)成熟度更高，通常以條紋形狀的結(jié)構(gòu)光投射到物體表面,單相機(jī)拍攝后通過結(jié)構(gòu)光偏移距離求解相位，得到物體的三維信息，這也是在光場(chǎng)中間接引入了相位信息。
補(bǔ)充一點(diǎn)：光場(chǎng)相機(jī)是基于幾何光學(xué)的，本質(zhì)上最核心的原理就是初中物理課上我們學(xué)的透鏡成像公式：
精度上只能做到10-2到10-3，超出5米成像范圍后精度就會(huì)變差，幾乎不可用，這個(gè)在后面的系列中我會(huì)詳細(xì)講。另外，最早的光場(chǎng)相機(jī)其實(shí)是相機(jī)陣列的，之后是編碼孔徑的，現(xiàn)在多為微透鏡陣列的。
3
“全”光場(chǎng)的意義是什么
既然“全”光場(chǎng)在應(yīng)用上沒有意義，我們?yōu)槭裁催€要去研究“全”光場(chǎng)？請(qǐng)注意，我在這里說在應(yīng)用上沒有意義，并不是說在研究層面上沒有意義，恰好相反，在理論研究方面，“全”光場(chǎng)意義重大，這是因?yàn)槲覀冄芯康母鞣N成像方式，其本質(zhì)都是“全”光場(chǎng)在若干維度上的投影，也就是說，當(dāng)我們獲得了“全”光場(chǎng)的信息，就可以在物理維度集、空間維度集和時(shí)間維度做各種投影，就可以實(shí)現(xiàn)偏振成像、三維成像、光譜成像等等；而如果我們把物理量、空間和時(shí)間做某些變換，再做光場(chǎng)在這些變換域上的投影，這就是新的計(jì)算光學(xué)成像方式，這就成了計(jì)算成像的活力源泉。
正所謂：有用的最沒用，沒用的最有用。因?yàn)槲覀儗?duì)傳統(tǒng)的成像模式太熟悉，需要解決什么問題，就開始從直接從哪個(gè)量、哪個(gè)維度入手。比如光譜成像，既然需要光譜，我們就用分光元件把寬譜光分解成光譜，再通過掃描、探測(cè)器分區(qū)域等部分獲得光譜圖像，因?yàn)槠矫嫣綔y(cè)器的原因，要么犧牲時(shí)間換空間，要么犧牲空間換時(shí)間。如果我們從數(shù)學(xué)的角度看問題，把這些量統(tǒng)一作為最優(yōu)化的輸入輸出，做相應(yīng)的變換，會(huì)獲得更優(yōu)的成像維度，得到新的成像方法。這就像色度學(xué)里的色彩空間常見的有RGB、HSI、CMYK和Lab，前三個(gè)色彩空間每個(gè)量都有其物理意義，而Lab這個(gè)只有L有其亮度的物理意義，a和b都是變換量，沒有物理意義，但我們知道，Lab的色域覆蓋范圍是最廣的。從這個(gè)例子上，我們能得到一個(gè)啟示：在計(jì)算光學(xué)中，我們也可以做類似的變換域，在變換域中解決問題，可能會(huì)獲得更多更好的結(jié)果。
既然光場(chǎng)那么重要，我們就需要多了解光場(chǎng)，深入研究光場(chǎng)從光源到介質(zhì)、光學(xué)系統(tǒng)、探測(cè)器各個(gè)鏈路上的分布變化，更能夠凝練出光場(chǎng)的傳播規(guī)律，發(fā)展計(jì)算光學(xué)。從這個(gè)層面來看，光場(chǎng)就是作為計(jì)算光學(xué)的靈魂而存在的。
一方面，我們可以從理論上分析光場(chǎng)的分布，另一方面，可以從實(shí)驗(yàn)中獲取光場(chǎng)數(shù)據(jù)。物理光場(chǎng)的仿真研究很多，但多為部分物理量的仿真，覆蓋“全”光場(chǎng)的理論仿真我沒有見到，也不作為我們這篇文章的重點(diǎn)；在這里，我們重點(diǎn)講述光場(chǎng)的如何測(cè)量問題。
4
如何測(cè)量“全”光場(chǎng)
既然“全”光場(chǎng)那么重要，那么，有沒有測(cè)量“全”光場(chǎng)的儀器呢？答案是沒有！那么，研制一臺(tái)“全”光場(chǎng)測(cè)量的科學(xué)儀器就非常重要了，盡管很難。
我在一次報(bào)告中講到：“研制多維物理光場(chǎng)特性的精密測(cè)量?jī)x器旨在對(duì)復(fù)雜條件全光場(chǎng)信息進(jìn)行測(cè)量，通過在自然環(huán)境中主動(dòng)、被動(dòng)光源及云霧、煙塵、生物組織等復(fù)雜環(huán)境中光場(chǎng)傳輸物理仿真及光學(xué)傳輸特性測(cè)量，將不同維度的光學(xué)特性信息進(jìn)行采樣與融合，可打破傳統(tǒng)光學(xué)探測(cè)手段的局限性，提高光學(xué)成像手段的探測(cè)精度，更全面地揭示了光在復(fù)雜環(huán)境中的信息傳播機(jī)理，對(duì)于全天候、自適應(yīng)、普適性、遠(yuǎn)距離成像的民用及商用發(fā)展有著深遠(yuǎn)意義?！?/p>
目前的光學(xué)成像手段往往利用的是光場(chǎng)信息在某個(gè)或某幾個(gè)維度的投影信息，且光場(chǎng)受信息采樣、量化的關(guān)系很大。例如基于光電效應(yīng)的探測(cè)方式導(dǎo)致獲取目標(biāo)信息的同時(shí)伴隨多維度信息的丟失：空間三維物體被投影為二維成像、振幅、偏振、相位、光譜等多物理維度信息變?yōu)閱我粡?qiáng)度信息；物理上連續(xù)的光場(chǎng)信息經(jīng)采樣和量化后變?yōu)殡x散信息，引起信息數(shù)據(jù)量變化。
研制這樣的儀器，就是為了揭示光場(chǎng)信息傳遞、解譯的物理規(guī)律，通過在多種狀態(tài)下光場(chǎng)物理信息參量的高精度測(cè)量，完善成像“全”光場(chǎng)信息模型，分析光場(chǎng)信息解譯的邊界條件，為計(jì)算光學(xué)成像技術(shù)提供基礎(chǔ)數(shù)據(jù)，建立非線性成像模型，開拓計(jì)算光學(xué)的領(lǐng)域。從這個(gè)角度看，“全”光場(chǎng)的測(cè)量?jī)x器太重要了！
該儀器主要由五部分組成：光源、介質(zhì)、光學(xué)系統(tǒng)、多維度探測(cè)和信息存儲(chǔ)與處理，這幾部分都是可調(diào)控的，具有很高的自由度，涵括了相干光、非相干光、光譜、偏振等多種信息調(diào)控，實(shí)現(xiàn)對(duì)光場(chǎng)的振幅、相位、偏振、光譜、相關(guān)等多維度特征參數(shù)測(cè)量。通過這個(gè)設(shè)備，我們通過改變光源、更換介質(zhì)和光學(xué)系統(tǒng)等等，都會(huì)引起光場(chǎng)的變化，借助于這些變化，就能夠分析出由一些已知條件中推演出照明、介質(zhì)、光學(xué)系統(tǒng)等引起的光場(chǎng)變化特性，從而總結(jié)光場(chǎng)規(guī)律。
5
光場(chǎng)對(duì)計(jì)算光學(xué)的推動(dòng)
為什么說光場(chǎng)是計(jì)算光學(xué)的靈魂？
我們先看一個(gè)例子。在利用散斑自相關(guān)的透過散射介質(zhì)成像實(shí)驗(yàn)中，寬光譜一直是非常難以克服的問題。針對(duì)寬光譜的問題，我們用Shift and Add算法做過拓寬光譜范圍，也得到了一些比較好的結(jié)果，但也會(huì)受到一些條件的限制，當(dāng)光譜太寬時(shí)，重建效果就會(huì)變差，甚至不再適用。后來，我們把偏振信息引入進(jìn)來，結(jié)果發(fā)現(xiàn)：偏振能夠建立起寬光譜與散斑自相關(guān)的橋梁，再寬光譜都不成問題。
我們從這個(gè)例子上可以看出，由于引入了偏振信息，光場(chǎng)信息的維度提升，使得在低維度空間難以解釋的現(xiàn)象在高維度空間變得很簡(jiǎn)單。這就像量子糾纏令人費(fèi)解一樣。如果我們考慮一把由兩個(gè)圓環(huán)構(gòu)成的椅子，當(dāng)光照到椅子之后，在地面上會(huì)看到兩個(gè)圓；在三維空間中旋轉(zhuǎn)椅子時(shí)，你會(huì)發(fā)現(xiàn)地面上的一個(gè)圓在動(dòng)，另外一個(gè)圓也會(huì)同時(shí)在動(dòng)。如果單純從地面上看兩個(gè)圓的必然運(yùn)動(dòng)，很難發(fā)現(xiàn)其在高維空間中其實(shí)是椅子在旋轉(zhuǎn)。這種現(xiàn)象就像量子糾纏，糾纏雙光子一個(gè)發(fā)生變化，另外一個(gè)必然發(fā)生變化，其在高維空間是什么樣，目前，我們還不清楚。
高維度光場(chǎng)也是如此，原先低維度光場(chǎng)無法解釋的問題，在高維度光場(chǎng)就不是什么問題了，這也是我們要研究高維度光場(chǎng)的原因。
傳統(tǒng)成像中存在的很多限制，其實(shí)很多問題是因?yàn)槲覀冊(cè)凇暗途S度空間”看問題。一旦我們走到“高維度空間”，我們就站在了“上帝視角”，拿到了通往未來之路的鑰匙。正如偏振能架起了散射成像與寬光譜的橋梁，其他物理量如相位、光譜等也能填補(bǔ)其他成像的鴻溝。
大氣和水等介質(zhì)對(duì)光電成像影響其實(shí)也是其對(duì)光場(chǎng)的作用，按照傳統(tǒng)的光電成像方法只接收能量，維度單一，自然就會(huì)造成“看不遠(yuǎn)、看不清”的問題，同樣，生物組織亦是如此?，F(xiàn)有的光學(xué)系統(tǒng)都是像差約束的，而未來的計(jì)算光學(xué)系統(tǒng)將是以信息為傳遞的光場(chǎng)形式出現(xiàn)；計(jì)算探測(cè)器也將不再是單一的強(qiáng)度探測(cè)模式，相位、偏振、光譜、甚至探測(cè)器的空間分布（形狀與采樣模式）都會(huì)有相應(yīng)的形式出現(xiàn)。
以上，我們還都是局限于歐式空間在考慮問題，如果把光場(chǎng)變換到黎曼空間，我想，這里一定會(huì)有新的發(fā)現(xiàn)，新技術(shù)也將層出不窮。同時(shí)，計(jì)算光學(xué)成像是以信息為傳遞的，而傳遞的手段就是光場(chǎng)。我在第一篇文章中講到，計(jì)算照明、計(jì)算介質(zhì)、計(jì)算光學(xué)系統(tǒng)和計(jì)算探測(cè)器都涉及到光場(chǎng)的問題，通過對(duì)高維度高精度光場(chǎng)的測(cè)量，總結(jié)光場(chǎng)的傳播規(guī)律，針對(duì)“更高、更遠(yuǎn)、更廣、更小、更強(qiáng)”的成像需求，從本質(zhì)上解決問題，都離不開光場(chǎng)。在后續(xù)的文章里，我將逐一詳細(xì)討論這些問題。
最后，我要說：光場(chǎng)太重要了！它作為靈魂出現(xiàn)，將在手機(jī)攝影、汽車自動(dòng)駕駛、公共安全監(jiān)控、生物醫(yī)學(xué)成像、深空探測(cè)及軍事應(yīng)用等領(lǐng)域大放異彩。
本文經(jīng)授權(quán)轉(zhuǎn)載自微信公眾號(hào)“西電科大光電成像工程中心”。
中國(guó)工程科技知識(shí)中心_學(xué)術(shù)社群已經(jīng)組建，添加微信：xpcztym邀請(qǐng)您進(jìn)群
