最近，何潤-紐倫堡大學(xué)的學(xué)者提出了一種新的神經(jīng)網(wǎng)絡(luò)方法，用于3D圖像的場景細(xì)化和新視圖合成。只需要輸入點(diǎn)云的初始估計(jì)和相機(jī)參數(shù)，就可以輸出任意相機(jī)角度合成的圖像，360度旋轉(zhuǎn)不成問題。
研究人員表示，高效的單像素光柵化使他們能夠?qū)崟r顯示超過1億像素的點(diǎn)云場景。
一億像素是什么概念？說白了，這些3D圖像太逼真了，跟拍照沒什么區(qū)別。
這項(xiàng)研究最近在推特上受到了很多關(guān)注，網(wǎng)友們紛紛回應(yīng):印象深刻！同時，也有網(wǎng)友表示，這項(xiàng)研究確實(shí)利用了點(diǎn)云的大規(guī)模動態(tài)輸入，這本來就是一個“超級難”的問題。
如下圖所示，給定一組RGB圖像和初始3D重建(左)，這種渲染方法可以合成新的幀并優(yōu)化場景參數(shù)。
紙張地址:
使用神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)和合成高清3D圖像已經(jīng)取得了成效，但之前很難實(shí)現(xiàn)大的動態(tài)視角變化。他們是怎么做到的？
一個
秘密:點(diǎn)云輸入和可微優(yōu)化
合成真實(shí)感虛擬環(huán)境是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺研究的熱點(diǎn)領(lǐng)域之一。
其中，3D形狀的編碼形式是非常關(guān)鍵的一部分。人們通常會考慮三角形網(wǎng)格、體素網(wǎng)格、隱函數(shù)和點(diǎn)云，每種表示法都有各自的優(yōu)缺點(diǎn)。
從左到右，有點(diǎn)云、體素和三角網(wǎng)格形式的兔子3D圖像。
為了有效地渲染不透明的表面，人們通常選擇三角形網(wǎng)格。
體素網(wǎng)格常用來表示容量，而隱函數(shù)則適用于精確描述非線性分析曲面(例如A ^ 2+B ^ 2+C ^ 2 = 1為單位球面。
另一方面，點(diǎn)云具有易于使用的優(yōu)點(diǎn)，因?yàn)樗恍枰紤]拓?fù)鋵傩?，作為三維圖像合成的中間輸出階段非常方便。不考慮拓?fù)湫再|(zhì)，就是說不管是環(huán)還是球，它的表示都是一樣的。
2000年左右，點(diǎn)云渲染，尤其是點(diǎn)離散，在計(jì)算機(jī)圖形學(xué)中得到了廣泛的研究。
與此同時，基于圖像的繪制技術(shù)越來越受到人們的重視。也就是說，基于粗略的和重建的3D模型以及一組現(xiàn)有的對象圖像，合成新的視圖。
這些方法存在輸入不準(zhǔn)確的問題，例如，如果幾何圖形包含孔洞或輸入圖像沒有完全對齊，則會出現(xiàn)偽影。
基于神經(jīng)圖像的渲染方法使用神經(jīng)網(wǎng)絡(luò)來去除這些偽影，可以生成前所未有的高質(zhì)量新視圖，如同照片一樣逼真。
Aliev等人表明，將傳統(tǒng)的點(diǎn)光柵化器與深度神經(jīng)網(wǎng)絡(luò)配對也是可行的。
這一發(fā)現(xiàn)對于3D重建尤其有利，因?yàn)樗ǔＪ褂妹芗狞c(diǎn)云作為初始輸出。因此，我們可以跳過不必要的三角剖分，直接可視化重建的場景。
本文中，研究者的方法基于Aliev等人的流水線，并在許多方面進(jìn)行了改進(jìn)。
如上圖所示，由紋理點(diǎn)云和環(huán)境圖組成的場景被柵格化成一組多分辨率的稀疏神經(jīng)圖像。
用深度神經(jīng)網(wǎng)絡(luò)重建HDR圖像。
然后通過基于物理學(xué)的可微分色調(diào)映射器將其轉(zhuǎn)換成給定新視點(diǎn)場景的LDR圖像。
在訓(xùn)練階段，可以同時優(yōu)化矩形框和神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)。
在整個流水線中，他們特別添加了一個物理可微的相機(jī)模型和一個可微的色調(diào)映射器，并提出了一個公式來更好地近似單像素光柵化的空間梯度。
可微性的優(yōu)點(diǎn)是不僅可以優(yōu)化神經(jīng)點(diǎn)的特征，還可以在訓(xùn)練階段糾正不準(zhǔn)確的輸入。
因此，系統(tǒng)可以根據(jù)神經(jīng)渲染網(wǎng)絡(luò)的視覺損失來調(diào)整這些參數(shù):
相機(jī)型號
攝像機(jī)角度
點(diǎn)云位置
點(diǎn)云顏色
環(huán)境測繪
渲染網(wǎng)絡(luò)權(quán)重
淡出
相機(jī)響應(yīng)功能
每個圖像的曝光和白平衡
畫
得益于此，圖像的渲染質(zhì)量得到了顯著提高。
此外，這種方法可以合成任意高動態(tài)范圍成像(HDR，即大曝光變化)和LDR(低動態(tài)范圍成像，容易丟失圖像細(xì)節(jié))設(shè)置，修正曝光不足或曝光過度的視圖(如下圖所示)。
與此同時，深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量也顯著減少，因?yàn)榱炼群皖伾兓怯晌锢砩险_的傳感器模型單獨(dú)處理的。
如下表所示，與其他可微分渲染器相比，該方法的效率大約高出兩個數(shù)量級。
表一:1920×1080圖像在RTX 2080ti上正反向渲染時間(毫秒)。
因此，提高了渲染性能，并減少了過擬合偽影。
綜上所述，本文的研究成果如下:
用于場景細(xì)化和可視化的端到端可訓(xùn)練的基于點(diǎn)的神經(jīng)渲染管道。
一種使用偽影幾何概念的用于單個像素點(diǎn)片段的差分光柵化器。
一個基于物理的可區(qū)分色調(diào)映射器，可以模擬數(shù)碼攝影鏡頭和傳感器的效果。
大規(guī)模點(diǎn)云高效多層渲染的隨機(jī)點(diǎn)丟棄技術(shù)。
最后，這項(xiàng)研究是開源的:
二
管道的詳細(xì)說明
下面詳細(xì)介紹一下模型管道。
它通過使用相機(jī)參數(shù)將每個點(diǎn)投影到圖像空間中，并將其呈現(xiàn)為單個像素大小的片段。
如果像素通過測試，它將在神經(jīng)網(wǎng)絡(luò)的輸出圖像中占據(jù)一個描述符。所有未被點(diǎn)著色的像素都用背景色填充。
因?yàn)槲覀儗Ⅻc(diǎn)渲染為單個像素大小的片段，所以輸出圖像可能非常稀疏，這取決于點(diǎn)云的空間分辨率和相機(jī)距離。
因此，以不同的比例渲染多個層會使輸出圖像變得密集，并處理遮擋和光照問題。
它由一個四層全卷積U-Net和跳連接組成，其中分辨率較低的輸入圖像連接到中間特征張量。通過平均池執(zhí)行下采樣，通過雙線性插值對圖像進(jìn)行上采樣。
研究人員主要使用門控卷積，它最初是為了填補(bǔ)孔洞而開發(fā)的，因此非常適合稀疏點(diǎn)輸入。
總的來說，網(wǎng)絡(luò)架構(gòu)類似于Aliev等人提出的網(wǎng)絡(luò)架構(gòu)，只是減少了一層并做了一些修改以支持HDR成像。
首先，去除批標(biāo)準(zhǔn)化層，因?yàn)樗鼈儗⒅虚g圖像的平均值和標(biāo)準(zhǔn)偏差標(biāo)準(zhǔn)化為固定值。這將導(dǎo)致總傳感器輻照度(類似于光強(qiáng)度的概念)損失，并且它不能從3D點(diǎn)傳播到最終圖像。
此外，如果場景的亮度范圍相當(dāng)大(大于1: 400)，則神經(jīng)點(diǎn)描述符以對數(shù)方式存儲。否則，神經(jīng)描述符將被線性存儲。對于對數(shù)描述符，它們在柵格化過程中被轉(zhuǎn)換到線性空間，從而在卷積運(yùn)算中僅使用線性亮度值。
色調(diào)映射器模擬數(shù)碼相機(jī)的物理鏡頭和傳感器特性。因此，它最適合捕捉智能手機(jī)、數(shù)碼單反相機(jī)和攝像機(jī)的LDR圖像。
三
限制
雖然合成效果如此驚人，但研究人員也在實(shí)驗(yàn)中發(fā)現(xiàn)了一些局限性。
局限性之一是，由于不同參數(shù)的數(shù)量巨大，因此不容易找到合適的超參數(shù)。需要平衡紋理顏色、結(jié)構(gòu)參數(shù)、色調(diào)映射設(shè)置和神經(jīng)網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)速率。為了找到適合所有場景的可行設(shè)置，需要進(jìn)行廣泛的網(wǎng)格搜索。
另一個限制是對于中到大的學(xué)習(xí)速率，點(diǎn)位置的優(yōu)化是不穩(wěn)定的。因此，管道需要一個合理的初始點(diǎn)云，例如，通過多視圖立體系統(tǒng)或激光雷達(dá)掃描儀。
研究人員認(rèn)為，這個問題是光柵化過程中的梯度近似造成的。它適用于相機(jī)模型和相機(jī)角度優(yōu)化，因?yàn)槌汕先f個點(diǎn)的空間梯度在一個優(yōu)化器步驟中被平均。然而，對于位置點(diǎn)梯度，僅使用單個近似梯度來更新其坐標(biāo)。因此，需要非常低的學(xué)習(xí)速率來平均點(diǎn)梯度隨時間的變化。
最后，由于單像素點(diǎn)渲染，當(dāng)相機(jī)離物體太近或點(diǎn)云非常稀疏時，可能會出現(xiàn)孔洞。這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)結(jié)構(gòu)只能填充具有一定大小閾值的孔洞。在實(shí)驗(yàn)中，研究人員通過人為增加點(diǎn)密度來減少這一問題。然而，這并不是一個普遍可行的解決方案，因?yàn)樵谧杂梢晥D環(huán)境中，用戶仍然可以任意移動相機(jī)以接近對象的表面。研究人員表示，他們未來的工作應(yīng)該從這里開始。例如，他們可以嘗試在放大過程中使用插值神經(jīng)描述符動態(tài)生成新點(diǎn)。