1. 項(xiàng)目概述為什么你需要一個(gè)高質(zhì)量的點(diǎn)云數(shù)據(jù)集庫在三維視覺、自動(dòng)駕駛、機(jī)器人導(dǎo)航這些領(lǐng)域摸爬滾打久了你會(huì)發(fā)現(xiàn)一個(gè)殘酷的現(xiàn)實(shí)想法很豐滿數(shù)據(jù)很骨感。無論是想驗(yàn)證一個(gè)新算法還是訓(xùn)練一個(gè)魯棒的模型第一步往往就卡在了數(shù)據(jù)上。自己采集一套像樣的激光雷達(dá)設(shè)備動(dòng)輒幾十上百萬還得有合適的場(chǎng)地和場(chǎng)景成本和時(shí)間都是巨大的門檻。這時(shí)候一個(gè)免費(fèi)、開源、高質(zhì)量的點(diǎn)云數(shù)據(jù)集就成了我們這些從業(yè)者、研究者和學(xué)生們的“救命稻草”。激光點(diǎn)云數(shù)據(jù)簡(jiǎn)單說就是通過激光雷達(dá)掃描獲取的、由海量三維空間點(diǎn)構(gòu)成的數(shù)據(jù)集合。每個(gè)點(diǎn)都包含了精確的X, Y, Z坐標(biāo)通常還帶有反射強(qiáng)度、顏色RGB等信息。它就像是現(xiàn)實(shí)世界的“數(shù)字骨架”能精確還原物體的幾何形狀和空間位置。從自動(dòng)駕駛汽車感知周圍的行人車輛到無人機(jī)測(cè)繪生成城市三維模型再到文化遺產(chǎn)的數(shù)字化存檔點(diǎn)云都是不可或缺的核心數(shù)據(jù)。然而點(diǎn)云數(shù)據(jù)的獲取和處理門檻極高。原始數(shù)據(jù)量大、格式多樣如PCD, PLY, LAS等、標(biāo)注困難。因此一個(gè)經(jīng)過良好整理、標(biāo)注清晰、場(chǎng)景豐富的公開數(shù)據(jù)集其價(jià)值不亞于一篇頂會(huì)論文的源碼。它不僅能讓你快速上手驗(yàn)證算法baseline更能通過分析不同數(shù)據(jù)集的特性深入理解點(diǎn)云處理中的核心挑戰(zhàn)比如遮擋、噪聲、密度不均、大規(guī)模場(chǎng)景等。我整理這8個(gè)數(shù)據(jù)集的初衷正是源于自己過去項(xiàng)目中的無數(shù)次“數(shù)據(jù)荒”。這些數(shù)據(jù)集覆蓋了從室內(nèi)到室外、從靜態(tài)物體到動(dòng)態(tài)場(chǎng)景、從簡(jiǎn)單分類到復(fù)雜語義分割的多種任務(wù)。它們不僅是免費(fèi)的午餐更是經(jīng)過學(xué)術(shù)界和工業(yè)界反復(fù)錘煉的“標(biāo)準(zhǔn)考題”。無論你是剛?cè)腴T想找個(gè)練手項(xiàng)目還是資深開發(fā)者需要測(cè)試算法在極端場(chǎng)景下的性能這個(gè)列表里總有一款適合你。接下來我們就逐一拆解看看每個(gè)數(shù)據(jù)集到底“香”在哪里以及具體怎么用。2. 八大免費(fèi)激光點(diǎn)云數(shù)據(jù)集深度解析與實(shí)戰(zhàn)指南2.1 KITTI自動(dòng)駕駛領(lǐng)域的“基準(zhǔn)測(cè)試黃金標(biāo)準(zhǔn)”提到激光點(diǎn)云數(shù)據(jù)集KITTI如果稱第二恐怕沒人敢稱第一。它由德國卡爾斯魯厄理工學(xué)院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦早已成為自動(dòng)駕駛感知算法評(píng)測(cè)的事實(shí)標(biāo)準(zhǔn)。它的核心價(jià)值在于提供了多傳感器同步采集的數(shù)據(jù)包括64線激光雷達(dá)、灰度/彩色攝像頭、GPS/IMU并且數(shù)據(jù)是在真實(shí)的城市、鄉(xiāng)村和高速公路場(chǎng)景中采集的包含了豐富的動(dòng)態(tài)物體車輛、行人、騎行者。數(shù)據(jù)集核心構(gòu)成與獲取 KITTI數(shù)據(jù)集包含多個(gè)子任務(wù)對(duì)于點(diǎn)云處理而言最常用的是“3D Object Detection”和“Odometry/SLAM”兩部分。3D檢測(cè)數(shù)據(jù)集提供了7481張訓(xùn)練圖像和7518張測(cè)試圖像以及對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)標(biāo)注了“Car”、“Pedestrian”、“Cyclist”等類別的3D邊界框。數(shù)據(jù)以bin文件格式存儲(chǔ)點(diǎn)云標(biāo)注文件是簡(jiǎn)單的文本格式。下載時(shí)建議直接從官方頁面獲取并仔細(xì)閱讀開發(fā)工具包devkit中的說明里面詳細(xì)定義了數(shù)據(jù)格式、坐標(biāo)系轉(zhuǎn)換尤其注意激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系以及評(píng)估指標(biāo)。實(shí)戰(zhàn)應(yīng)用與注意事項(xiàng) 使用KITTI的第一步通常是可視化。你可以用Python的Open3D庫快速加載一個(gè).bin文件并顯示。這里有個(gè)關(guān)鍵點(diǎn)KITTI的點(diǎn)云文件是Nx4的數(shù)組前三維是坐標(biāo)第四維是反射強(qiáng)度。在用于檢測(cè)任務(wù)時(shí)你需要讀取對(duì)應(yīng)的標(biāo)注文件將3D框畫在點(diǎn)云上直觀感受一下標(biāo)注質(zhì)量和任務(wù)的難度。注意KITTI的標(biāo)注是在圖像上完成的然后投影到點(diǎn)云上。這意味著被嚴(yán)重遮擋或截?cái)嗟奈矬w其點(diǎn)云可能非常稀疏甚至沒有標(biāo)注。這在訓(xùn)練檢測(cè)模型時(shí)是一個(gè)巨大的挑戰(zhàn)需要設(shè)計(jì)專門的數(shù)據(jù)增強(qiáng)或損失函數(shù)來處理。一個(gè)常見的實(shí)戰(zhàn)流程是1) 解析.bin文件和標(biāo)注文件2) 將點(diǎn)云和3D框可視化進(jìn)行質(zhì)量檢查3) 根據(jù)你的算法需求如Voxel化、PointNet需要的采樣等進(jìn)行數(shù)據(jù)預(yù)處理4) 劃分訓(xùn)練/驗(yàn)證集。由于測(cè)試集的標(biāo)注未公開通常的做法是將官方的訓(xùn)練集按一定比例如80/20自行劃分訓(xùn)練和驗(yàn)證集。2.2 SemanticKITTI推動(dòng)點(diǎn)云語義分割的里程碑如果說KITTI的檢測(cè)數(shù)據(jù)集是“老大哥”那么SemanticKITTI就是其在語義分割領(lǐng)域的全面升級(jí)版。它基于KITTI Odometry數(shù)據(jù)集的所有22個(gè)序列對(duì)總共超過43000次雷達(dá)掃描進(jìn)行了逐點(diǎn)語義標(biāo)注定義了包括“道路”、“人行道”、“建筑物”、“車輛”、“行人”等在內(nèi)的28個(gè)語義類別。核心價(jià)值與挑戰(zhàn) 這個(gè)數(shù)據(jù)集的最大意義在于它將點(diǎn)云研究從針對(duì)獨(dú)立物體的檢測(cè)推向了對(duì)整個(gè)駕駛場(chǎng)景的稠密理解。這對(duì)于自動(dòng)駕駛的路徑規(guī)劃、可行駛區(qū)域判斷至關(guān)重要。數(shù)據(jù)以.bin格式存儲(chǔ)同時(shí)提供了將序列號(hào)、掃描號(hào)映射到語義標(biāo)簽的文件。實(shí)戰(zhàn)中你面臨的第一個(gè)挑戰(zhàn)就是數(shù)據(jù)量巨大單個(gè)序列的標(biāo)簽文件可能就有幾百M(fèi)B需要妥善管理存儲(chǔ)和內(nèi)存。數(shù)據(jù)處理流程與技巧 處理SemanticKITTI我推薦使用官方提供的Python工具腳本。它能幫你輕松地加載點(diǎn)云和標(biāo)簽并進(jìn)行可視化。一個(gè)標(biāo)準(zhǔn)的預(yù)處理流程包括序列劃分官方已經(jīng)劃分好了訓(xùn)練集00-10、驗(yàn)證集11-21和測(cè)試集11-21的特定子集標(biāo)簽未公開。點(diǎn)云與標(biāo)簽對(duì)齊確保每個(gè)點(diǎn)的坐標(biāo)與其語義標(biāo)簽一一對(duì)應(yīng)。類別平衡處理這是語義分割的老大難問題。數(shù)據(jù)集中“道路”、“植被”等類別點(diǎn)數(shù)極多而“摩托車”、“其他地面”等類別非常少。直接訓(xùn)練會(huì)導(dǎo)致模型嚴(yán)重偏向大類別。常用的技巧包括使用加權(quán)交叉熵?fù)p失根據(jù)類別頻率設(shè)置權(quán)重、或采用lovasz-softmax損失函數(shù)。塊提取Block Sampling由于單幀點(diǎn)云點(diǎn)數(shù)過多~10萬點(diǎn)無法直接送入網(wǎng)絡(luò)。通常需要隨機(jī)裁剪或滑動(dòng)窗口采樣成固定大小如4096個(gè)點(diǎn)的小塊進(jìn)行訓(xùn)練。實(shí)操心得在可視化時(shí)不要只看彩色點(diǎn)云多用不同的顏色映射來突出顯示小物體類別檢查標(biāo)注的完整性。你會(huì)發(fā)現(xiàn)一些遠(yuǎn)處的小物體如行人可能因?yàn)辄c(diǎn)云過于稀疏而被誤標(biāo)或漏標(biāo)這需要在設(shè)計(jì)模型時(shí)考慮上下文信息來彌補(bǔ)。2.3 Waymo Open Dataset面向大規(guī)模自動(dòng)駕駛的工業(yè)級(jí)挑戰(zhàn)當(dāng)你覺得KITTI已經(jīng)夠用的時(shí)候Waymo Open DatasetWaymo開放數(shù)據(jù)集會(huì)給你帶來降維打擊。它來自谷歌旗下的Waymo公司數(shù)據(jù)規(guī)模、傳感器配置和場(chǎng)景復(fù)雜度都提升了一個(gè)數(shù)量級(jí)。它包含了1150個(gè)場(chǎng)景每個(gè)場(chǎng)景長(zhǎng)達(dá)20秒涵蓋了不同城市、不同時(shí)間白天/夜晚、不同天氣條件晴天/雨天下的駕駛情況。數(shù)據(jù)集特點(diǎn)與差異 與KITTI相比Waymo最顯著的特點(diǎn)是使用了更高性能的激光雷達(dá)中程和遠(yuǎn)程提供了360度的全覆蓋點(diǎn)云。其標(biāo)注也更為精細(xì)不僅包含了3D框還有2D框、激光雷達(dá)框和關(guān)聯(lián)跟蹤ID。數(shù)據(jù)格式采用了TFRecord這是一種TensorFlow常用的序列化數(shù)據(jù)存儲(chǔ)格式雖然效率高但對(duì)新手來說解析稍顯復(fù)雜。實(shí)戰(zhàn)入門與解析 要使用Waymo數(shù)據(jù)集首先需要熟悉其官方提供的Python API。這個(gè)API封裝了TFRecord的解析、數(shù)據(jù)可視化、評(píng)估等一系列功能。一個(gè)基本的讀取流程如下import waymo_open_dataset from waymo_open_dataset import dataset_pb2 as open_dataset # 讀取一個(gè)TFRecord文件 filenames [‘path/to/your/tfrecord’] dataset tf.data.TFRecordDataset(filenames, compression_type‘’) for data in dataset: frame open_dataset.Frame() frame.ParseFromString(bytearray(data.numpy())) # 通過frame.laser_labels獲取標(biāo)注frame.context.stats了解場(chǎng)景 # 通過frame.projections將點(diǎn)云投影到圖像使用Waymo的挑戰(zhàn)在于計(jì)算資源。單幀點(diǎn)云的點(diǎn)數(shù)可能達(dá)到幾十萬對(duì)整個(gè)場(chǎng)景進(jìn)行端到端處理需要強(qiáng)大的GPU和巧妙的內(nèi)存管理。常見的策略是1在訓(xùn)練前預(yù)先將每個(gè)場(chǎng)景的點(diǎn)云和標(biāo)注轉(zhuǎn)換成更易處理的格式如.npy或.pkl2采用更高效的點(diǎn)云采樣方法如FPS最遠(yuǎn)點(diǎn)采樣或體素化方法3利用其跟蹤信息可以嘗試時(shí)序融合模型利用多幀信息提升檢測(cè)和分割的穩(wěn)定性。2.4 nuScenes豐富標(biāo)注與全傳感器融合的標(biāo)桿nuScenes數(shù)據(jù)集由Motional原Aptiv公司發(fā)布是另一個(gè)自動(dòng)駕駛領(lǐng)域的重量級(jí)數(shù)據(jù)集。它在規(guī)模上介于KITTI和Waymo之間但強(qiáng)項(xiàng)在于極其豐富的標(biāo)注和完整的傳感器套件。它包含了1000個(gè)場(chǎng)景每個(gè)場(chǎng)景20秒標(biāo)注了1.4M個(gè)3D邊界框涵蓋了23個(gè)物體類別并且每個(gè)標(biāo)注框都有可見性、活動(dòng)狀態(tài)等屬性。核心優(yōu)勢(shì)標(biāo)注的深度與傳感器融合 nuScenes的標(biāo)注不僅僅是3D框還包括了屬性如車輛是否停車、行人是否坐下和跟蹤ID。這對(duì)于研究復(fù)雜的行為預(yù)測(cè)任務(wù)至關(guān)重要。此外它提供了6個(gè)攝像頭、1個(gè)激光雷達(dá)、5個(gè)雷達(dá)和GPS/IMU的數(shù)據(jù)為多傳感器融合研究提供了絕佳平臺(tái)。數(shù)據(jù)以“blob”文件格式存儲(chǔ)需要使用官方提供的nuscenes-devkit開發(fā)包進(jìn)行讀取和可視化。使用流程與融合實(shí)踐 使用nuScenes通常從安裝devkit開始pip install nuscenes-devkit。其核心數(shù)據(jù)結(jié)構(gòu)是NuScenes類通過它你可以訪問所有數(shù)據(jù)。from nuscenes.nuscenes import NuScenes nusc NuScenes(version‘v1.0-mini’, dataroot‘/data/sets/nuscenes’, verboseTrue) # 獲取一個(gè)樣本 my_sample nusc.sample[0] # 根據(jù)sample token獲取點(diǎn)云數(shù)據(jù) lidar_data nusc.get(‘sample_data’, my_sample[‘data’][‘LIDAR_TOP’]) # 加載點(diǎn)云文件 points np.fromfile(lidar_data[‘filename’], dtypenp.float32).reshape(-1, 5) # x, y, z, intensity, ring_index在融合實(shí)踐中一個(gè)經(jīng)典的入門項(xiàng)目是“基于相機(jī)圖像的2D檢測(cè)結(jié)果在激光雷達(dá)點(diǎn)云中生成3D提案”。你可以利用devkit中提供的函數(shù)將圖像上的2D框投影到點(diǎn)云空間中形成一個(gè)粗略的3D搜索區(qū)域然后再用點(diǎn)云網(wǎng)絡(luò)進(jìn)行精修。這能讓你直觀體會(huì)到融合的難點(diǎn)比如標(biāo)定誤差、遮擋導(dǎo)致的信息缺失等。2.5 ModelNet40三維物體分類與檢索的“MNIST”如果說前面幾個(gè)都是戶外大場(chǎng)景那么ModelNet40就是專注于室內(nèi)單個(gè)物體分類的經(jīng)典數(shù)據(jù)集。它包含了40個(gè)常見物體類別如桌子、椅子、飛機(jī)、汽車等每個(gè)類別有數(shù)百到數(shù)千個(gè)不同的三維CAD模型。雖然它本身不是激光雷達(dá)掃描的但其提供的點(diǎn)云數(shù)據(jù)通過對(duì)CAD模型進(jìn)行均勻采樣得到格式規(guī)整、噪聲小是入門點(diǎn)云深度學(xué)習(xí)的絕佳起點(diǎn)。數(shù)據(jù)特性與預(yù)處理 ModelNet40通常提供兩種格式原始的CAD模型.off文件和預(yù)處理好的點(diǎn)云數(shù)據(jù).ply文件每個(gè)模型采樣1024個(gè)點(diǎn)。對(duì)于大多數(shù)分類網(wǎng)絡(luò)如PointNet, PointNet直接使用采樣好的點(diǎn)云數(shù)據(jù)即可。數(shù)據(jù)已經(jīng)按類別分好了訓(xùn)練集和測(cè)試集。實(shí)戰(zhàn)訓(xùn)練你的第一個(gè)點(diǎn)云分類模型 以PyTorch和PointNet為例步驟非常清晰數(shù)據(jù)加載編寫一個(gè)Dataset類讀取.ply文件將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為Tensor。注意通常需要將點(diǎn)云歸一化到單位球內(nèi)或進(jìn)行其他標(biāo)準(zhǔn)化。模型搭建實(shí)現(xiàn)或調(diào)用現(xiàn)成的PointNet模型。其核心是一個(gè)共享權(quán)重的多層感知機(jī)MLP提取每個(gè)點(diǎn)的特征然后通過一個(gè)對(duì)稱函數(shù)如max pooling聚合全局特征。訓(xùn)練與評(píng)估由于數(shù)據(jù)干凈模型收斂很快。你可以觀察到即使簡(jiǎn)單的PointNet在ModelNet40上也能達(dá)到接近90%的分類準(zhǔn)確率。這能快速建立你的信心。注意事項(xiàng)ModelNet40是合成數(shù)據(jù)且視角完整。這導(dǎo)致在此數(shù)據(jù)集上表現(xiàn)優(yōu)異的模型直接應(yīng)用到真實(shí)掃描的、帶有遮擋和噪聲的數(shù)據(jù)上時(shí)性能可能會(huì)大幅下降。因此它更適合算法原型驗(yàn)證和教學(xué)而非最終的性能基準(zhǔn)。2.6 ScanNet室內(nèi)場(chǎng)景理解與三維重建的豐富資源ScanNet是一個(gè)大規(guī)模的RGB-D視頻數(shù)據(jù)集包含了2.5M張RGB-D圖像標(biāo)注了超過1500次掃描中的3D相機(jī)姿態(tài)、表面重建和語義分割。雖然它主要基于深度相機(jī)如Kinect但其提供的三維網(wǎng)格和點(diǎn)云數(shù)據(jù)可從中導(dǎo)出對(duì)于室內(nèi)場(chǎng)景理解、語義分割、實(shí)例分割和三維重建研究具有極高價(jià)值。從RGB-D到點(diǎn)云 ScanNet的數(shù)據(jù)核心是.sens文件它是一個(gè)包含了彩色圖像、深度圖像、相機(jī)內(nèi)參和姿態(tài)的序列文件。官方提供了完整的工具鏈ScanNet Toolkit來解析這些文件并將其轉(zhuǎn)換為點(diǎn)云、網(wǎng)格以及各種標(biāo)注。你可以使用工具將深度圖與彩色圖根據(jù)相機(jī)姿態(tài)融合生成帶有RGB顏色的完整場(chǎng)景點(diǎn)云。應(yīng)用場(chǎng)景與處理流程 ScanNet的典型應(yīng)用是室內(nèi)場(chǎng)景的語義分割。處理流程如下數(shù)據(jù)下載與解析使用官方腳本下載指定場(chǎng)景的.sens文件并用reader.py解析出圖像和姿態(tài)序列。生成點(diǎn)云標(biāo)注使用bundler工具將深度圖融合生成帶語義標(biāo)簽的.ply文件。每個(gè)點(diǎn)除了坐標(biāo)和顏色還有一個(gè)語義標(biāo)簽如墻、地板、椅子等和一個(gè)實(shí)例標(biāo)簽。數(shù)據(jù)準(zhǔn)備由于整個(gè)場(chǎng)景點(diǎn)云巨大需要將其切割成小塊如1m x 1m的方塊進(jìn)行訓(xùn)練。同時(shí)要處理類別不平衡問題墻和地板點(diǎn)數(shù)遠(yuǎn)多于物體。模型訓(xùn)練可以使用專門為室內(nèi)場(chǎng)景設(shè)計(jì)的點(diǎn)云分割網(wǎng)絡(luò)如PointNet、SparseConvNetMinkowski Engine等。ScanNet的復(fù)雜性在于遮擋多、物體種類繁雜、布局多樣非常考驗(yàn)?zāi)Ｐ偷姆夯芰Α?.7 Paris-Lille-3D大規(guī)模城市級(jí)點(diǎn)云語義數(shù)據(jù)集當(dāng)我們把視野從自動(dòng)駕駛和室內(nèi)場(chǎng)景移開城市測(cè)繪和數(shù)字化管理是點(diǎn)云技術(shù)的另一個(gè)重要應(yīng)用。Paris-Lille-3D數(shù)據(jù)集提供了法國巴黎和里爾部分城市區(qū)域的機(jī)載激光雷達(dá)點(diǎn)云并進(jìn)行了精細(xì)的語義標(biāo)注如地面、植被、建筑、車輛等。這個(gè)數(shù)據(jù)集對(duì)于研究大規(guī)模、城市場(chǎng)景下的點(diǎn)云處理算法非常有幫助。數(shù)據(jù)特點(diǎn)與挑戰(zhàn) 這是一個(gè)典型的“大范圍、低密度”點(diǎn)云數(shù)據(jù)集。與自動(dòng)駕駛車載雷達(dá)的“小范圍、高密度”不同機(jī)載雷達(dá)掃描范圍廣但地面點(diǎn)的密度相對(duì)較低建筑物立面信息可能缺失。數(shù)據(jù)以LAS格式一種測(cè)繪領(lǐng)域標(biāo)準(zhǔn)格式提供需要使用LAS工具或庫如laspy進(jìn)行讀取。處理LAS格式與大規(guī)模數(shù)據(jù)策略import laspy las laspy.read(‘city_sample.las’) # 獲取點(diǎn)坐標(biāo) x, y, z las.x, las.y, las.z # 獲取分類標(biāo)簽如果存在 classification las.classification處理這種數(shù)據(jù)的關(guān)鍵挑戰(zhàn)是規(guī)模。一個(gè)文件可能包含數(shù)億個(gè)點(diǎn)無法一次性讀入內(nèi)存。策略包括分塊處理根據(jù)地理坐標(biāo)將整個(gè)區(qū)域劃分成網(wǎng)格每次只處理一個(gè)網(wǎng)格內(nèi)的點(diǎn)。抽稀在保證特征不丟失的前提下對(duì)點(diǎn)云進(jìn)行均勻降采樣。使用空間索引如KD-tree或八叉樹來加速鄰近點(diǎn)搜索等操作。 這個(gè)數(shù)據(jù)集非常適合用來研究點(diǎn)云的地面濾波、建筑物提取、植被分類等傳統(tǒng)測(cè)繪算法也可以嘗試將深度學(xué)習(xí)模型應(yīng)用于此類大范圍場(chǎng)景。2.8 其他特色數(shù)據(jù)集與資源獲取渠道除了上述七個(gè)明星數(shù)據(jù)集還有一些特色鮮明、值得關(guān)注的免費(fèi)資源ICL-NUIM數(shù)據(jù)集專注于室內(nèi)視覺SLAM/RGB-D SLAM的評(píng)測(cè)提供了帶有真實(shí)相機(jī)軌跡和表面重建的合成RGB-D數(shù)據(jù)非常適合SLAM算法初學(xué)者的測(cè)試與調(diào)試。The Stanford 3D Scanning Repository包含了著名的“斯坦福兔子”、“龍”等經(jīng)典模型的高精度掃描點(diǎn)云常用于點(diǎn)云配準(zhǔn)、重建和壓縮算法的測(cè)試。ETH3D提供高精度的多視角立體視覺和激光掃描數(shù)據(jù)用于三維重建和SLAM評(píng)估其數(shù)據(jù)質(zhì)量極高。資源獲取與社區(qū)官方渠道優(yōu)先始終從數(shù)據(jù)集官網(wǎng)或發(fā)布論文中指定的鏈接下載確保數(shù)據(jù)完整和版本正確。學(xué)術(shù)數(shù)據(jù)平臺(tái)如Princeton的ModelNet、Stanford的3D Data Repository都是可靠來源。代碼倉庫許多經(jīng)典論文如PointNet, PointNet的GitHub頁面通常會(huì)提供處理流行數(shù)據(jù)集的腳本和教程這是極佳的學(xué)習(xí)入口。保持關(guān)注關(guān)注CVPR、ICCV、ECCV等頂級(jí)會(huì)議新的、更具挑戰(zhàn)性的數(shù)據(jù)集往往會(huì)伴隨論文一起發(fā)布。3. 點(diǎn)云數(shù)據(jù)處理全流程實(shí)戰(zhàn)與核心工具鏈擁有了數(shù)據(jù)集下一步就是如何高效地處理它。點(diǎn)云數(shù)據(jù)處理是一條從原始數(shù)據(jù)到模型輸入的流水線每個(gè)環(huán)節(jié)都有其門道。3.1 數(shù)據(jù)讀取與可視化跨越格式壁壘的第一步點(diǎn)云數(shù)據(jù)格式繁多第一步是正確讀取。這里介紹幾個(gè)核心Python庫Open3D功能全面支持PCD, PLY, XYZ, LAS等多種格式的讀寫和可視化交互式查看功能強(qiáng)大。import open3d as o3d pcd o3d.io.read_point_cloud(“pointcloud.ply”) o3d.visualization.draw_geometries([pcd]) # 交互式可視化Pyntcloud基于Pandas適合進(jìn)行快速的數(shù)據(jù)處理和屬性分析語法類似Pandas非常直觀。from pyntcloud import PyntCloud cloud PyntCloud.from_file(“pointcloud.ply”) print(cloud.points) # 這是一個(gè)DataFramelaspy專門用于處理LAS/LAZ測(cè)繪標(biāo)準(zhǔn)格式的庫可以訪問文件頭信息、各種維度數(shù)據(jù)。import laspy with laspy.open(‘file.laz’) as f: las f.read() print(las.header) # 查看文件頭信息實(shí)操心得可視化時(shí)不要只看點(diǎn)。用Open3D可以輕松計(jì)算并顯示點(diǎn)云的法線、邊界框甚至進(jìn)行簡(jiǎn)單的交互式分割。對(duì)于標(biāo)注數(shù)據(jù)用不同顏色渲染不同類別或?qū)嵗菣z查數(shù)據(jù)質(zhì)量最直接的方法。遇到文件無法讀取時(shí)首先檢查文件頭是否損壞或者嘗試用文本編輯器打開PLY等ASCII格式文件查看前幾行定義。3.2 核心預(yù)處理操作為模型準(zhǔn)備“食材”原始點(diǎn)云通常不能直接喂給模型需要經(jīng)過一系列預(yù)處理下采樣Downsampling降低點(diǎn)云密度減少計(jì)算量。最常用的是體素化下采樣將空間劃分為小體素每個(gè)體素內(nèi)只保留一個(gè)點(diǎn)如重心。Open3D中voxel_down_sample函數(shù)一步到位。關(guān)鍵是體素大小的選擇太小則下采樣效果弱太大會(huì)丟失細(xì)節(jié)。去噪Denoising去除離群點(diǎn)。統(tǒng)計(jì)離群點(diǎn)移除是常用方法計(jì)算每個(gè)點(diǎn)到其K個(gè)近鄰的平均距離假設(shè)這個(gè)距離服從高斯分布移除距離均值超過一定標(biāo)準(zhǔn)差如2倍的點(diǎn)。Open3D的remove_statistical_outlier函數(shù)即實(shí)現(xiàn)此功能。歸一化Normalization將點(diǎn)云縮放和平移到標(biāo)準(zhǔn)空間。常見做法是零均值化減去點(diǎn)云重心和尺度歸一化縮放點(diǎn)云使其最大邊界框的尺寸為1或固定值。這能提升訓(xùn)練的穩(wěn)定性和收斂速度。特征計(jì)算Feature Computation除了坐標(biāo)有時(shí)需要附加特征。法線估計(jì)是最常見的Open3D的estimate_normals函數(shù)可以基于局部平面擬合快速計(jì)算。對(duì)于搜索近鄰的半徑參數(shù)radius需要根據(jù)點(diǎn)云密度調(diào)整。3.3 數(shù)據(jù)增強(qiáng)讓小數(shù)據(jù)集發(fā)揮大能量點(diǎn)云數(shù)據(jù)增強(qiáng)是提升模型泛化能力、防止過擬合的關(guān)鍵尤其是在數(shù)據(jù)量有限時(shí)。幾何變換隨機(jī)旋轉(zhuǎn)繞Z軸重力方向旋轉(zhuǎn)是安全的繞X/Y軸旋轉(zhuǎn)需謹(jǐn)慎可能破壞物理合理性如把車“倒過來”。隨機(jī)平移在小范圍內(nèi)抖動(dòng)點(diǎn)云位置。隨機(jī)縮放輕微放大或縮小。隨機(jī)抖動(dòng)給每個(gè)點(diǎn)的坐標(biāo)添加微小的高斯噪聲。點(diǎn)級(jí)操作隨機(jī)丟棄點(diǎn)以一定概率隨機(jī)丟棄一部分點(diǎn)模擬遮擋或傳感器噪聲。隨機(jī)采樣每次訓(xùn)練時(shí)從原始點(diǎn)云中隨機(jī)采樣固定數(shù)量的點(diǎn)如PointNet常用的1024點(diǎn)本身也是一種增強(qiáng)。場(chǎng)景級(jí)增強(qiáng)針對(duì)室內(nèi)/室外場(chǎng)景混合Mix3D將兩個(gè)場(chǎng)景的點(diǎn)云在空間上拼接并合并它們的標(biāo)簽創(chuàng)造新的訓(xùn)練樣本。實(shí)例粘貼從其他樣本中裁剪出單個(gè)物體如一輛車粘貼到當(dāng)前場(chǎng)景中并確保不與其他物體碰撞。注意事項(xiàng)數(shù)據(jù)增強(qiáng)必須符合物理常識(shí)和任務(wù)特性。例如在自動(dòng)駕駛點(diǎn)云中不應(yīng)進(jìn)行破壞地面平面假設(shè)的大幅度旋轉(zhuǎn)在語義分割中進(jìn)行幾何變換時(shí)點(diǎn)的標(biāo)簽必須隨之變換。增強(qiáng)策略需要在訓(xùn)練集上驗(yàn)證其有效性觀察可視化結(jié)果是否合理。4. 從數(shù)據(jù)到模型經(jīng)典任務(wù)實(shí)戰(zhàn)與避坑指南有了處理好的數(shù)據(jù)我們就可以針對(duì)具體任務(wù)搭建模型了。這里以最經(jīng)典的分類和語義分割任務(wù)為例梳理實(shí)戰(zhàn)流程和常見陷阱。4.1 任務(wù)一三維點(diǎn)云分類以ModelNet40為例流程簡(jiǎn)述數(shù)據(jù)加載構(gòu)建Dataset和DataLoader。在__getitem__方法中讀取點(diǎn)云文件進(jìn)行歸一化并返回點(diǎn)云數(shù)組和類別標(biāo)簽。模型選擇初學(xué)者可從PointNet開始。它結(jié)構(gòu)簡(jiǎn)單易于理解。進(jìn)階可選擇PointNet或DGCNN它們能更好地捕捉局部幾何特征。訓(xùn)練配置損失函數(shù)分類任務(wù)使用交叉熵?fù)p失CrossEntropyLoss。優(yōu)化器Adam優(yōu)化器是默認(rèn)且有效的選擇初始學(xué)習(xí)率通常設(shè)為0.001。評(píng)估指標(biāo)整體準(zhǔn)確率Overall Accuracy和每個(gè)類別的平均準(zhǔn)確率Mean Class Accuracy。訓(xùn)練與驗(yàn)證注意觀察訓(xùn)練損失和驗(yàn)證準(zhǔn)確率曲線防止過擬合。ModelNet40較簡(jiǎn)單可能很快在訓(xùn)練集上達(dá)到100%此時(shí)要密切關(guān)注驗(yàn)證集性能。避坑指南輸入點(diǎn)序不變性點(diǎn)云是無序的。確保你的模型或數(shù)據(jù)加載過程對(duì)點(diǎn)的順序不敏感。PointNet使用對(duì)稱函數(shù)Max Pooling來解決此問題。歸一化的重要性未歸一化的數(shù)據(jù)可能導(dǎo)致梯度爆炸或訓(xùn)練不穩(wěn)定。務(wù)必在數(shù)據(jù)加載階段進(jìn)行零均值化和尺度歸一化。類別不平衡ModelNet40各類別樣本數(shù)相對(duì)均衡但如果處理不平衡數(shù)據(jù)集需考慮加權(quán)損失或重采樣。4.2 任務(wù)二點(diǎn)云語義分割以SemanticKITTI為例流程簡(jiǎn)述數(shù)據(jù)準(zhǔn)備這是最耗時(shí)的部分。你需要將大規(guī)模點(diǎn)云切割成訓(xùn)練塊。常用策略是使用滑動(dòng)窗口在場(chǎng)景中隨機(jī)選取一個(gè)中心點(diǎn)截取周圍固定半徑如30米或固定點(diǎn)數(shù)如81920點(diǎn)內(nèi)的所有點(diǎn)作為一個(gè)樣本。同時(shí)要為每個(gè)點(diǎn)生成one-hot形式的語義標(biāo)簽。模型選擇語義分割需要輸出逐點(diǎn)的類別。PointNet的逐點(diǎn)分割版本是一個(gè)強(qiáng)大的基線模型。對(duì)于大規(guī)模室外場(chǎng)景基于稀疏卷積的網(wǎng)絡(luò)如MinkowskiNetCylinder3D在速度和精度上往往有更好表現(xiàn)但實(shí)現(xiàn)更復(fù)雜。訓(xùn)練配置損失函數(shù)交叉熵?fù)p失。對(duì)于嚴(yán)重不平衡的類別必須使用加權(quán)交叉熵或Lovasz-Softmax損失。學(xué)習(xí)率策略通常使用余弦退火或帶熱重啟的余弦退火CosineAnnealingWarmRestarts調(diào)度器。評(píng)估指標(biāo)交并比IoU是核心指標(biāo)特別是各類別的IoU和所有類別的平均IoUmIoU。后處理模型預(yù)測(cè)是逐塊的需要將預(yù)測(cè)結(jié)果映射回原始場(chǎng)景點(diǎn)云。由于塊之間有重疊需要對(duì)重疊區(qū)域的預(yù)測(cè)進(jìn)行融合如投票平均。常見問題與排查問題訓(xùn)練損失不下降或mIoU始終為0。排查首先檢查數(shù)據(jù)加載和標(biāo)簽映射是否正確。可視化幾個(gè)訓(xùn)練樣本看輸入點(diǎn)云和標(biāo)簽是否對(duì)齊。其次檢查損失函數(shù)中各類別的權(quán)重設(shè)置是否正確小類別的權(quán)重是否被設(shè)置得過小或過大。可以嘗試先用一個(gè)極小的數(shù)據(jù)集如一個(gè)樣本讓模型過擬合如果連這都做不到說明模型或數(shù)據(jù)管道肯定有問題。問題模型在驗(yàn)證集上性能遠(yuǎn)低于訓(xùn)練集。排查典型的過擬合。增加數(shù)據(jù)增強(qiáng)的強(qiáng)度如更強(qiáng)的隨機(jī)旋轉(zhuǎn)、抖動(dòng)、丟棄。添加正則化如Dropout層。如果使用基于塊的方法檢查訓(xùn)練和驗(yàn)證時(shí)塊的采樣策略是否一致如訓(xùn)練時(shí)隨機(jī)采樣驗(yàn)證時(shí)順序采樣可能導(dǎo)致分布差異。問題某些類別如“摩托車”、“其他車輛”的IoU始終極低。排查這是類別不平衡的典型表現(xiàn)。首先確認(rèn)這些類別在數(shù)據(jù)集中點(diǎn)的數(shù)量是否確實(shí)很少。然后可以嘗試1) 大幅提高這些類別在損失函數(shù)中的權(quán)重2) 在采樣時(shí)有更高概率采樣包含這些小類別的塊3) 使用Focal Loss等專門為類別不平衡設(shè)計(jì)的損失函數(shù)。5. 進(jìn)階挑戰(zhàn)與未來展望當(dāng)你熟練掌握了上述數(shù)據(jù)集和基礎(chǔ)任務(wù)后可以嘗試一些更具挑戰(zhàn)性的方向這也是當(dāng)前研究的熱點(diǎn)無監(jiān)督/自監(jiān)督學(xué)習(xí)標(biāo)注點(diǎn)云數(shù)據(jù)成本極高。如何利用大量無標(biāo)簽數(shù)據(jù)學(xué)習(xí)點(diǎn)云的有效表示是一個(gè)重要方向。方法包括對(duì)比學(xué)習(xí)如PointContrast、重構(gòu)任務(wù)如點(diǎn)云上采樣、去噪等。多模態(tài)融合純點(diǎn)云信息在某些情況下存在歧義如遠(yuǎn)處物體稀疏、語義信息缺失。如何有效地與圖像RGB、文本語言描述進(jìn)行融合實(shí)現(xiàn)更魯棒和更智能的感知是自動(dòng)駕駛和機(jī)器人領(lǐng)域的核心問題。nuScenes和Waymo數(shù)據(jù)集為此提供了完美平臺(tái)。時(shí)序點(diǎn)云處理現(xiàn)實(shí)世界是動(dòng)態(tài)的。將連續(xù)幀的點(diǎn)云序列作為輸入進(jìn)行4D3D時(shí)間感知用于目標(biāo)跟蹤、運(yùn)動(dòng)預(yù)測(cè)、場(chǎng)景流估計(jì)等任務(wù)。這需要模型具備時(shí)序建模能力。效率與部署如何讓復(fù)雜的點(diǎn)云模型如3D稀疏卷積網(wǎng)絡(luò)在嵌入式設(shè)備如車載計(jì)算單元上實(shí)時(shí)運(yùn)行涉及模型壓縮、剪枝、量化和高效的推理引擎開發(fā)。選擇哪個(gè)方向取決于你的興趣和應(yīng)用場(chǎng)景。但無論如何從這些高質(zhì)量的公開數(shù)據(jù)集出發(fā)親手完成一次從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練評(píng)估的全流程是通向這些更前沿領(lǐng)域最堅(jiān)實(shí)的基石。記住在三維視覺的世界里對(duì)數(shù)據(jù)的深刻理解往往比模型本身的調(diào)參更為重要。