久久一区二区三区超碰国产精品,亚洲人成在线网站,国产在线精品一区免费香蕉,国产精品免费电影

唐木來自天龍寺

量子比特報告| 公眾號

點(diǎn)云作為三維世界更加真實(shí)有效的表達(dá)方式，近年來受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。 激光雷達(dá)和深度相機(jī)的大規(guī)模應(yīng)用也為點(diǎn)云的發(fā)展創(chuàng)造了豐富的數(shù)據(jù)條件。

然而，傳感器獲得的點(diǎn)云是含有噪聲的非均勻稀疏坐標(biāo)點(diǎn)，無法直接通過現(xiàn)有的用于處理圖像的卷積網(wǎng)絡(luò)進(jìn)行處理。

在渲染、分析和理解之前，我們需要有效的手段對點(diǎn)云進(jìn)行處理，以提高點(diǎn)云數(shù)據(jù)的質(zhì)量。

點(diǎn)云本質(zhì)上是稀疏且不規(guī)則的，處理原始點(diǎn)云以產(chǎn)生密集、完整、均勻的點(diǎn)云的上采樣任務(wù)引起了許多研究人員的關(guān)注。

這項復(fù)雜的任務(wù)不僅需要在輸入數(shù)據(jù)不完善的前提下進(jìn)行高效的上采樣，還要填補(bǔ)缺失的空洞和間隙，提高點(diǎn)云分布的均勻性。

目前有多種致力于加密點(diǎn)云以提高點(diǎn)云質(zhì)量的深度學(xué)習(xí)方法，包括PU-GAN、EC-Net和MPU等方法。 然而，當(dāng)面對極其稀疏且不規(guī)則的低質(zhì)量點(diǎn)云輸入時，仍然無法恢復(fù)有效的點(diǎn)云結(jié)果。

然而，提高點(diǎn)云質(zhì)量是工業(yè)界非常迫切的需求，這是后續(xù)分析處理任務(wù)的重要保障。

香港中文大學(xué)和特拉維夫大學(xué)的研究人員在今年的ICCV上提出了一種生成對抗方法PU-GAN，該方法集成了點(diǎn)云上采樣和均勻點(diǎn)云補(bǔ)全等修復(fù)任務(wù)。 通過訓(xùn)練，具有多樣化點(diǎn)云生成能力的生成器和高效判別器，實(shí)現(xiàn)原始點(diǎn)云的恢復(fù)和質(zhì)量提升。

同時，為了穩(wěn)定訓(xùn)練過程，PU-GAN還使用了up-down-up模塊來擴(kuò)展點(diǎn)云特征港中文，并引入self-機(jī)制來提高點(diǎn)云融合的質(zhì)量，實(shí)現(xiàn)了良好的重建的點(diǎn)云。 密度、完整性、均勻性均達(dá)到最先進(jìn)水平。

普甘

點(diǎn)云上采樣的主要任務(wù)是利用輸入的原始稀疏點(diǎn)云生成與目標(biāo)幾何形狀相同的密集點(diǎn)云。

在PU-GAN的生成對抗架構(gòu)中，生成器主要負(fù)責(zé)生成更密集的點(diǎn)云，而鑒別器則專注于識別生成的點(diǎn)云中的錯誤樣本。 隔離生成器生成更接近目標(biāo)幾何形狀的形狀。 分布更均勻的點(diǎn)云，結(jié)果更完整。

整個模型主要分為兩部分：生成器和判別器。 生成器包括特征預(yù)提取、特征擴(kuò)展和點(diǎn)云生成模塊； 判別器包括特征提取器、自注意力單元和輸出置信概率。 多層感知器結(jié)構(gòu)。

在生成器中，n*d點(diǎn)云輸入到網(wǎng)絡(luò)中，然后進(jìn)入特征預(yù)提取模塊。 這里的點(diǎn)云可以是只包含空間坐標(biāo)的三維點(diǎn)云，也可以是包含顏色等豐富信息的高維點(diǎn)云。

這里研究人員使用了一種基于密集連接網(wǎng)絡(luò)的方法來提取不同級別的點(diǎn)云特征。 然后將提取的點(diǎn)云特征F傳遞給特征擴(kuò)展模塊進(jìn)行上采樣，以擴(kuò)展更豐富的特征。

在特征擴(kuò)展模塊中，研究人員提出了一種自上而下的擴(kuò)展方法。 該方法首先對輸入特征進(jìn)行上采樣，然后將其下采樣到與輸入特征相同的維度。

此時，計算新的下采樣特征與之前的原始特征的差異，并對該差異進(jìn)行上采樣，得到擴(kuò)展后的差異特征，最后與第一步上采樣的擴(kuò)展特征相加，得到最終的特征擴(kuò)展輸出。

這種類似殘差的特征擴(kuò)展方法不僅避免了冗長的多步訓(xùn)練，而且提高了生成細(xì)粒度特征的能力。 值得一提的是留學(xué)之路，在上采樣操作過程中，模型還為每個擴(kuò)展特征引入了唯一的二維向量，為擴(kuò)展特征提供了更豐富的信息。

最后，擴(kuò)展的特征通過一系列多層感知器來重建密集的點(diǎn)云。 在生成更加均勻的密集點(diǎn)云方面，特征擴(kuò)展階段額外的二維和最遠(yuǎn)點(diǎn)采樣器發(fā)揮著非常重要的全局作用。

在判別器中，研究人員首先采用了點(diǎn)特征提取結(jié)構(gòu)，并通過輕量級模型將局部和全局模型結(jié)合起來。 自注意力單元進(jìn)一步集成到模型中以改進(jìn)特征學(xué)習(xí)。 自注意力單元提高了特征集成和后續(xù)特征提取能力。

網(wǎng)絡(luò)的有效訓(xùn)練離不開損失函數(shù)的指導(dǎo)。 除了對抗性損失之外，PU-GAN還引入了均勻性損失，它計算生成的點(diǎn)云的空間分布以獲得局部和全局均勻性指標(biāo)，用于指導(dǎo)模型生成更均勻的點(diǎn)云結(jié)果。 下圖展示了不同分布的點(diǎn)云均勻性損失的計算結(jié)果。 可以看到右側(cè)的均勻點(diǎn)云損失較小。

最后，為了鼓勵生成靠近目標(biāo)表面的點(diǎn)云，PU-GAN 使用 Earth Mover 的作為重建損失函數(shù)。 最終的損失函數(shù)包括三部分：生成損失、均勻化損失和重建損失。

密集、均勻、完整的點(diǎn)云才是好的點(diǎn)云。

PU-GAN 使用 PU-Net、MPU 和 PU-GAN 中的 147 個豐富的 3D 模型，并為其中 120 個模型構(gòu)建訓(xùn)練數(shù)據(jù)集。 在每個三維模型上分割200個點(diǎn)云切片，總共獲得24000個點(diǎn)云結(jié)果。 此外，還對樣本進(jìn)行了旋轉(zhuǎn)、縮放和噪聲擾動以增強(qiáng)數(shù)據(jù)。

△圖的左半部分顯示了從模型中采樣的種子點(diǎn)，以及采樣點(diǎn)云片對應(yīng)的密集點(diǎn)云和稀疏點(diǎn)云。

從結(jié)果可以看出，PU-GAN修復(fù)的點(diǎn)云在密度、均勻性和完整性方面都超過了之前的方法。

此方法產(chǎn)生的結(jié)果噪聲更少、偽影更少且細(xì)節(jié)更多。 尤其是在細(xì)長物體的重建部分，具有明顯的優(yōu)勢。

實(shí)驗中還使用不同噪聲水平和稀疏度的點(diǎn)云作為輸入來評估模型的穩(wěn)定性。 如下圖所示，該模型在不同噪聲水平（左）和輸入密度（右）下都能產(chǎn)生穩(wěn)定的輸出。 加密后結(jié)果統(tǒng)一、完整。

對于自動駕駛的真實(shí)激光雷達(dá)數(shù)據(jù)，PU-GAN 還可以有效地填補(bǔ)漏洞并生成統(tǒng)一的結(jié)果。 如下圖所示，稀疏的人體和車輛得到了有效的重構(gòu)，這對于自動駕駛中的識別算法非常有效，為算法的準(zhǔn)確感知提供了堅實(shí)的基礎(chǔ)。

協(xié)作科研容易產(chǎn)出論文

PU-GAN的作者有五位，分別來自香港中文學(xué)院、特拉維夫大學(xué)、廣東省計算機(jī)與虛擬現(xiàn)實(shí)重點(diǎn)實(shí)驗室、深圳先進(jìn)技術(shù)研究院。

在粵港澳大灣區(qū)協(xié)同發(fā)展背景下，學(xué)術(shù)交流融合不斷呈現(xiàn)高水平論文新成果。

第一作者李是香港中國語言文學(xué)系計算機(jī)科學(xué)系二年級博士生。 目前正在第三作者Chi-Wing Fu的指導(dǎo)下進(jìn)行點(diǎn)云處理和視覺方面的研究。

第二作者李賢智，博士。 即將從香港計算機(jī)工程系畢業(yè)的學(xué)生。 對點(diǎn)云加密有深入的研究。 他也是兩篇點(diǎn)云上采樣論文的作者之一，包括 EC-Net 和 PU-Net。 導(dǎo)師是 Pheng-Ann Heng 和 Chi-Wing Fu。

傅三座（ Chi-Wing FU）是香港中國語言及文學(xué)計算機(jī)系教授。 主要研究方向為三維視覺、交互和數(shù)據(jù)可視化。 主頁顯示港中文，今年他的團(tuán)隊有16篇論文被各大頂級會議接收，包括SIG Asia、ICCV、CVPR、PAMI等。

第四作者科恩-奧爾是以色列特拉維夫大學(xué)教授。 主要在圖形學(xué)、三維感知理解、計算機(jī)視覺等方面進(jìn)行深入研究，發(fā)表多篇代表性論文。

吳佐王平安是香港中文計算機(jī)科學(xué)系教授，曾擔(dān)任系主任和研究生帶頭人。 兼任中國科學(xué)院深圳先進(jìn)技術(shù)研究院人機(jī)交互中心主任。

如果您對他們的研究感興趣，請保留以下傳送門：

- 超過-

大咖齊聚！量子比特智能未來大會

Qubit MEET 2020智能未來大會回放來了！ 李開復(fù)、倪光南、景坤、周博文、吳明輝、曹旭東、葉杰平、唐文斌、王彥峰、黃剛、馬原等AI巨頭將與您一起了解人工智能。 掃碼觀看回放~~

量子比特·今日頭條簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新進(jìn)展

喜歡的話就點(diǎn)擊“觀看”吧！