港中文 點云天然具有稀疏性和非規則性，提高點云數據的質量
更新時間：2024-04-25 17:18:20作者：佚名
唐木來自天龍寺
量子比特報告| 公眾號
點云作為三維世界更加真實有效的表達方式，近年來受到學術界和工業界的廣泛關注。 激光雷達和深度相機的大規模應用也為點云的發展創造了豐富的數據條件。
然而，傳感器獲得的點云是含有噪聲的非均勻稀疏坐標點，無法直接通過現有的用于處理圖像的卷積網絡進行處理。
在渲染、分析和理解之前，我們需要有效的手段對點云進行處理，以提高點云數據的質量。
點云本質上是稀疏且不規則的，處理原始點云以產生密集、完整、均勻的點云的上采樣任務引起了許多研究人員的關注。
這項復雜的任務不僅需要在輸入數據不完善的前提下進行高效的上采樣，還要填補缺失的空洞和間隙，提高點云分布的均勻性。
目前有多種致力于加密點云以提高點云質量的深度學習方法，包括PU-GAN、EC-Net和MPU等方法。 然而，當面對極其稀疏且不規則的低質量點云輸入時，仍然無法恢復有效的點云結果。
然而，提高點云質量是工業界非常迫切的需求，這是后續分析處理任務的重要保障。
香港中文大學和特拉維夫大學的研究人員在今年的ICCV上提出了一種生成對抗方法PU-GAN，該方法集成了點云上采樣和均勻點云補全等修復任務。 通過訓練，具有多樣化點云生成能力的生成器和高效判別器，實現原始點云的恢復和質量提升。
同時，為了穩定訓練過程，PU-GAN還使用了up-down-up模塊來擴展點云特征港中文，并引入self-機制來提高點云融合的質量，實現了良好的重建的點云。 密度、完整性、均勻性均達到最先進水平。
普甘
點云上采樣的主要任務是利用輸入的原始稀疏點云生成與目標幾何形狀相同的密集點云。
在PU-GAN的生成對抗架構中，生成器主要負責生成更密集的點云，而鑒別器則專注于識別生成的點云中的錯誤樣本。 隔離生成器生成更接近目標幾何形狀的形狀。 分布更均勻的點云，結果更完整。
整個模型主要分為兩部分：生成器和判別器。 生成器包括特征預提取、特征擴展和點云生成模塊； 判別器包括特征提取器、自注意力單元和輸出置信概率。 多層感知器結構。
在生成器中，n*d點云輸入到網絡中，然后進入特征預提取模塊。 這里的點云可以是只包含空間坐標的三維點云，也可以是包含顏色等豐富信息的高維點云。
這里研究人員使用了一種基于密集連接網絡的方法來提取不同級別的點云特征。 然后將提取的點云特征F傳遞給特征擴展模塊進行上采樣，以擴展更豐富的特征。
在特征擴展模塊中，研究人員提出了一種自上而下的擴展方法。 該方法首先對輸入特征進行上采樣，然后將其下采樣到與輸入特征相同的維度。
此時，計算新的下采樣特征與之前的原始特征的差異，并對該差異進行上采樣，得到擴展后的差異特征，最后與第一步上采樣的擴展特征相加，得到最終的特征擴展輸出。
這種類似殘差的特征擴展方法不僅避免了冗長的多步訓練，而且提高了生成細粒度特征的能力。 值得一提的是留學之路，在上采樣操作過程中，模型還為每個擴展特征引入了唯一的二維向量，為擴展特征提供了更豐富的信息。
最后，擴展的特征通過一系列多層感知器來重建密集的點云。 在生成更加均勻的密集點云方面，特征擴展階段額外的二維和最遠點采樣器發揮著非常重要的全局作用。
在判別器中，研究人員首先采用了點特征提取結構，并通過輕量級模型將局部和全局模型結合起來。 自注意力單元進一步集成到模型中以改進特征學習。 自注意力單元提高了特征集成和后續特征提取能力。
網絡的有效訓練離不開損失函數的指導。 除了對抗性損失之外，PU-GAN還引入了均勻性損失，它計算生成的點云的空間分布以獲得局部和全局均勻性指標，用于指導模型生成更均勻的點云結果。 下圖展示了不同分布的點云均勻性損失的計算結果。 可以看到右側的均勻點云損失較小。
最后，為了鼓勵生成靠近目標表面的點云，PU-GAN 使用 Earth Mover 的作為重建損失函數。 最終的損失函數包括三部分：生成損失、均勻化損失和重建損失。
密集、均勻、完整的點云才是好的點云。
PU-GAN 使用 PU-Net、MPU 和 PU-GAN 中的 147 個豐富的 3D 模型，并為其中 120 個模型構建訓練數據集。 在每個三維模型上分割200個點云切片，總共獲得24000個點云結果。 此外，還對樣本進行了旋轉、縮放和噪聲擾動以增強數據。
△圖的左半部分顯示了從模型中采樣的種子點，以及采樣點云片對應的密集點云和稀疏點云。
從結果可以看出，PU-GAN修復的點云在密度、均勻性和完整性方面都超過了之前的方法。
此方法產生的結果噪聲更少、偽影更少且細節更多。 尤其是在細長物體的重建部分，具有明顯的優勢。
實驗中還使用不同噪聲水平和稀疏度的點云作為輸入來評估模型的穩定性。 如下圖所示，該模型在不同噪聲水平（左）和輸入密度（右）下都能產生穩定的輸出。 加密后結果統一、完整。
對于自動駕駛的真實激光雷達數據，PU-GAN 還可以有效地填補漏洞并生成統一的結果。 如下圖所示，稀疏的人體和車輛得到了有效的重構，這對于自動駕駛中的識別算法非常有效，為算法的準確感知提供了堅實的基礎。
協作科研容易產出論文
PU-GAN的作者有五位，分別來自香港中文學院、特拉維夫大學、廣東省計算機與虛擬現實重點實驗室、深圳先進技術研究院。
在粵港澳大灣區協同發展背景下，學術交流融合不斷呈現高水平論文新成果。
第一作者李是香港中國語言文學系計算機科學系二年級博士生。 目前正在第三作者Chi-Wing Fu的指導下進行點云處理和視覺方面的研究。
第二作者李賢智，博士。 即將從香港計算機工程系畢業的學生。 對點云加密有深入的研究。 他也是兩篇點云上采樣論文的作者之一，包括 EC-Net 和 PU-Net。 導師是 Pheng-Ann Heng 和 Chi-Wing Fu。
傅三座（ Chi-Wing FU）是香港中國語言及文學計算機系教授。 主要研究方向為三維視覺、交互和數據可視化。 主頁顯示港中文，今年他的團隊有16篇論文被各大頂級會議接收，包括SIG Asia、ICCV、CVPR、PAMI等。
第四作者科恩-奧爾是以色列特拉維夫大學教授。 主要在圖形學、三維感知理解、計算機視覺等方面進行深入研究，發表多篇代表性論文。
吳佐王平安是香港中文計算機科學系教授，曾擔任系主任和研究生帶頭人。 兼任中國科學院深圳先進技術研究院人機交互中心主任。
如果您對他們的研究感興趣，請保留以下傳送門：
- 超過-
大咖齊聚！量子比特智能未來大會
Qubit MEET 2020智能未來大會回放來了！ 李開復、倪光南、景坤、周博文、吳明輝、曹旭東、葉杰平、唐文斌、王彥峰、黃剛、馬原等AI巨頭將與您一起了解人工智能。 掃碼觀看回放~~
量子比特·今日頭條簽約作者
?'?' ? 追蹤AI技術和產品新進展
喜歡的話就點擊“觀看”吧！