1. 從一次真實(shí)的模型訓(xùn)練“翻車”說起上周我花了整整兩天時(shí)間用自己收集的幾千張圖片訓(xùn)練一個(gè)圖像分類模型。看著訓(xùn)練集上的準(zhǔn)確率曲線一路飆升最終穩(wěn)定在99.5%以上我心里那個(gè)美啊感覺一個(gè)“神級(jí)”模型即將誕生。然而當(dāng)我滿懷期待地把模型放到預(yù)留的驗(yàn)證集上一跑結(jié)果卻像一盆冷水澆下來——準(zhǔn)確率只有可憐的65%。訓(xùn)練集和驗(yàn)證集的表現(xiàn)天差地別這種巨大的落差感相信很多剛開始接觸機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的朋友都遇到過。這不就是我們常說的“過擬合”嗎但知道是過擬合和真正解決它完全是兩碼事。今天我們就來徹底拆解這個(gè)經(jīng)典問題為什么訓(xùn)練集準(zhǔn)確率很高驗(yàn)證集準(zhǔn)確率卻很低我會(huì)結(jié)合自己踩過的坑從現(xiàn)象背后的本質(zhì)原因到一套完整的、可實(shí)操的排查與解決鏈路毫無保留地分享給你。無論你是在用YOLOv5、YOLOv8還是其他任何框架訓(xùn)練自己的數(shù)據(jù)集這篇文章都能幫你找到癥結(jié)所在。簡(jiǎn)單來說當(dāng)你的模型在訓(xùn)練集上表現(xiàn)優(yōu)異卻在沒見過的驗(yàn)證集上表現(xiàn)糟糕時(shí)這通常意味著模型沒有學(xué)到數(shù)據(jù)背后真正的、通用的規(guī)律而是“死記硬背”了訓(xùn)練數(shù)據(jù)中的噪聲、無關(guān)特征甚至是一些巧合。它就像一個(gè)只會(huì)背題庫答案的學(xué)生一旦考試題目稍有變化就立刻“原形畢露”。接下來我們將從數(shù)據(jù)、模型、訓(xùn)練過程三個(gè)維度層層深入看看究竟是哪個(gè)環(huán)節(jié)出了問題。2. 診斷第一步你的數(shù)據(jù)真的“干凈”嗎很多人一遇到驗(yàn)證集準(zhǔn)確率低第一反應(yīng)就是去調(diào)模型結(jié)構(gòu)、改超參數(shù)。但根據(jù)我的經(jīng)驗(yàn)超過一半的“過擬合”問題根源其實(shí)在數(shù)據(jù)本身。模型只是在忠實(shí)地反映你喂給它的數(shù)據(jù)質(zhì)量。所以排查的第一步必須回到數(shù)據(jù)源頭。2.1 數(shù)據(jù)泄露最隱蔽的“作弊”行為數(shù)據(jù)泄露是導(dǎo)致驗(yàn)證集表現(xiàn)失真的頭號(hào)殺手而且非常隱蔽。它指的是驗(yàn)證集或測(cè)試集的信息以某種方式“泄露”到了訓(xùn)練過程中導(dǎo)致模型看似在驗(yàn)證集上表現(xiàn)好實(shí)則是一種虛假的“作弊”。最常見的泄露場(chǎng)景有哪些劃分前進(jìn)行全局預(yù)處理這是新手最容易犯的錯(cuò)誤。比如你在劃分訓(xùn)練集和驗(yàn)證集之前對(duì)整個(gè)數(shù)據(jù)集進(jìn)行了歸一化計(jì)算均值和方差或標(biāo)準(zhǔn)化。這樣一來驗(yàn)證集的數(shù)據(jù)已經(jīng)“見過”了訓(xùn)練集的統(tǒng)計(jì)信息失去了獨(dú)立性。正確的做法是先劃分再分別用訓(xùn)練集的統(tǒng)計(jì)量去預(yù)處理驗(yàn)證集。時(shí)間序列數(shù)據(jù)的錯(cuò)誤劃分如果你的數(shù)據(jù)具有時(shí)間先后順序如股票價(jià)格、傳感器讀數(shù)絕對(duì)不能隨機(jī)劃分。用未來的數(shù)據(jù)訓(xùn)練去預(yù)測(cè)過去模型當(dāng)然會(huì)“表現(xiàn)很好”。必須嚴(yán)格按照時(shí)間順序劃分用過去的數(shù)據(jù)訓(xùn)練驗(yàn)證/測(cè)試未來的數(shù)據(jù)。樣本關(guān)聯(lián)性未被切斷在圖像領(lǐng)域如果同一個(gè)物體的不同角度、不同光照的照片被分別放入了訓(xùn)練集和驗(yàn)證集在NLP領(lǐng)域同一篇文章的不同段落被分開。模型很容易通過這些關(guān)聯(lián)性“猜”出答案而不是學(xué)習(xí)泛化特征。務(wù)必確保訓(xùn)練集和驗(yàn)證集的樣本是彼此獨(dú)立的。如何檢查一個(gè)簡(jiǎn)單的方法是計(jì)算訓(xùn)練集和驗(yàn)證集特征之間的相似度如余弦相似度矩陣如果發(fā)現(xiàn)異常高的相似樣本對(duì)很可能存在泄露。更根本的方法是嚴(yán)格審視你的數(shù)據(jù)預(yù)處理和劃分流水線確保隔離。2.2 數(shù)據(jù)分布不一致模型進(jìn)入了“陌生領(lǐng)域”即使沒有數(shù)據(jù)泄露如果訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)分布差異很大模型在驗(yàn)證集上表現(xiàn)差也是必然的。想象一下你用白天清晰的照片訓(xùn)練了一個(gè)貓狗分類器卻用夜間模糊的照片去驗(yàn)證效果能好才怪。需要重點(diǎn)對(duì)比的分布包括類別分布訓(xùn)練集和驗(yàn)證集中各個(gè)類別的樣本比例是否大致相同如果訓(xùn)練集里“貓”的圖片有1000張“狗”只有100張而驗(yàn)證集里兩者數(shù)量相當(dāng)模型對(duì)“狗”的識(shí)別能力自然會(huì)弱。這需要通過分層抽樣來保證。特征分布對(duì)于圖像可以比較亮度、對(duì)比度、顏色的直方圖對(duì)于表格數(shù)據(jù)可以比較每個(gè)特征的均值、方差、分布形態(tài)。使用seaborn的distplot或pandas的describe()函數(shù)可以快速對(duì)比。數(shù)據(jù)來源與質(zhì)量訓(xùn)練集和驗(yàn)證集是否來自同一個(gè)源頭例如訓(xùn)練集來自網(wǎng)絡(luò)爬蟲驗(yàn)證集來自手機(jī)拍攝兩者的分辨率、壓縮格式、背景復(fù)雜度可能完全不同。一個(gè)黃金法則是驗(yàn)證集的數(shù)據(jù)來源和場(chǎng)景應(yīng)盡可能模擬模型最終要部署的真實(shí)環(huán)境。我的一個(gè)實(shí)際教訓(xùn)是曾經(jīng)用一個(gè)公開的、背景干凈的數(shù)據(jù)集訓(xùn)練模型然后用自己手機(jī)拍的、背景雜亂的照片驗(yàn)證結(jié)果一塌糊涂。后來我刻意在訓(xùn)練集中混入了一定比例“手機(jī)拍攝風(fēng)格”的圖片驗(yàn)證集準(zhǔn)確率立刻有了顯著提升。2.3 數(shù)據(jù)量不足與小樣本陷阱“小樣本過擬合”是最近的熱詞它直指問題的核心當(dāng)數(shù)據(jù)量太少時(shí)模型參數(shù)又多它非常容易記住所有訓(xùn)練樣本而沒有能力學(xué)習(xí)規(guī)律。這在訓(xùn)練自己的定制化數(shù)據(jù)集時(shí)尤為常見比如你只有某個(gè)特定工廠的幾百張缺陷圖片。如何判斷是不是數(shù)據(jù)量問題繪制學(xué)習(xí)曲線。同時(shí)繪制訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率/損失隨訓(xùn)練周期epoch變化的曲線。典型的過擬合學(xué)習(xí)曲線表現(xiàn)為訓(xùn)練損失持續(xù)下降訓(xùn)練準(zhǔn)確率持續(xù)上升而驗(yàn)證損失在下降到某個(gè)點(diǎn)后開始反彈上升驗(yàn)證準(zhǔn)確率則停滯甚至下降。兩條曲線之間的“縫隙”越來越大。如果學(xué)習(xí)曲線顯示早期驗(yàn)證集指標(biāo)就有上升乏力或劇烈波動(dòng)的趨勢(shì)而不僅僅是后期惡化那很可能是數(shù)據(jù)量根本不足以支撐模型學(xué)習(xí)到穩(wěn)定模式。此時(shí)增加數(shù)據(jù)量無論是收集更多數(shù)據(jù)還是通過數(shù)據(jù)增強(qiáng)是根本性的解決方案。3. 模型復(fù)雜度與容量是“學(xué)霸”還是“死記硬背的機(jī)器”排除了數(shù)據(jù)問題我們就要審視模型本身。模型就像一個(gè)容器它的“容量”決定了它能裝載多復(fù)雜的信息。3.1 模型過于復(fù)雜殺雞用了牛刀這是過擬合最經(jīng)典的原因。你用一個(gè)擁有數(shù)百萬甚至數(shù)億參數(shù)的深度神經(jīng)網(wǎng)絡(luò)比如ResNet50去訓(xùn)練一個(gè)只有幾千張圖片、10個(gè)類別的簡(jiǎn)單分類任務(wù)。模型的表達(dá)能力遠(yuǎn)遠(yuǎn)超過了任務(wù)所需。它有多余的“腦容量”去記住訓(xùn)練數(shù)據(jù)中的每一個(gè)細(xì)節(jié)和噪聲而不是去抽象出關(guān)鍵特征。如何選擇合適的模型復(fù)雜度從簡(jiǎn)單模型開始不要一上來就用最復(fù)雜的SOTA模型。先嘗試一個(gè)簡(jiǎn)單的模型比如一個(gè)小型的CNN如3-4個(gè)卷積層或一個(gè)淺層全連接網(wǎng)絡(luò)建立性能基線。根據(jù)任務(wù)和數(shù)據(jù)規(guī)模選擇對(duì)于YOLO系列做目標(biāo)檢測(cè)如果你的數(shù)據(jù)集很小比如少于1000張圖從YOLOv5n、YOLOv8n這類輕量級(jí)模型開始是更明智的選擇而不是直接上YOLOv5x或YOLOv8x。觀察訓(xùn)練動(dòng)態(tài)如果簡(jiǎn)單模型在訓(xùn)練集上都很難擬合欠擬合再考慮增加復(fù)雜度。如果復(fù)雜模型一開始就在訓(xùn)練集上擬合得飛快就要高度警惕過擬合風(fēng)險(xiǎn)。3.2 沒有使用或正確使用正則化技術(shù)正則化是給模型“增加約束”防止它過于放飛自我、過度擬合訓(xùn)練數(shù)據(jù)的核心技術(shù)。如果你的模型沒有使用任何正則化或者參數(shù)設(shè)置不當(dāng)過擬合幾乎是必然的。核心的正則化“武器庫”及其使用要點(diǎn)Dropout在訓(xùn)練過程中隨機(jī)“丟棄”一部分神經(jīng)元迫使網(wǎng)絡(luò)不依賴于任何單個(gè)神經(jīng)元從而學(xué)習(xí)到更魯棒的特征。關(guān)鍵點(diǎn)Dropout通常只用于全連接層在卷積層中使用要謹(jǐn)慎或使用SpatialDropout。比率如0.5需要調(diào)試太高會(huì)導(dǎo)致欠擬合。L1/L2 權(quán)重衰減在損失函數(shù)中增加一個(gè)懲罰項(xiàng)讓模型的權(quán)重值傾向于變小、更平滑。這相當(dāng)于告訴模型“學(xué)可以但別學(xué)得太極端”。L2正則化更為常用。關(guān)鍵點(diǎn)權(quán)重衰減系數(shù)是一個(gè)非常重要的超參數(shù)太大模型學(xué)不動(dòng)太小沒效果。通常需要網(wǎng)格搜索。Batch Normalization雖然主要目的是加速訓(xùn)練、緩解梯度消失但它通過規(guī)范化每一層的輸入分布也帶來了一定的正則化效果有時(shí)可以部分替代Dropout。早停這不是模型結(jié)構(gòu)上的正則化而是訓(xùn)練策略。持續(xù)監(jiān)控驗(yàn)證集損失當(dāng)它不再下降反而開始上升時(shí)就停止訓(xùn)練。這是防止過擬合最簡(jiǎn)單有效的方法之一。關(guān)鍵點(diǎn)需要耐心設(shè)置一個(gè)合理的patience參數(shù)容忍驗(yàn)證損失不下降的epoch數(shù)。在我的一個(gè)文本分類項(xiàng)目里一個(gè)六層的Transformer模型在沒有Dropout的情況下訓(xùn)練集準(zhǔn)確率輕松達(dá)到98%驗(yàn)證集只有75%。后來我僅僅是在全連接層后加入了Dropout(0.3)并在優(yōu)化器中設(shè)置了較小的權(quán)重衰減1e-4驗(yàn)證集準(zhǔn)確率就提升到了88%。正則化的效果立竿見影。4. 訓(xùn)練過程與超參數(shù)油門、剎車與學(xué)習(xí)節(jié)奏即使數(shù)據(jù)和模型都沒問題訓(xùn)練過程的“駕駛技術(shù)”不好同樣會(huì)翻車。超參數(shù)就是控制訓(xùn)練過程的油門、剎車和方向盤。4.1 學(xué)習(xí)率一把雙刃劍學(xué)習(xí)率可能是最重要的超參數(shù)沒有之一。過高的學(xué)習(xí)率會(huì)導(dǎo)致?lián)p失函數(shù)在最優(yōu)解附近劇烈震蕩無法收斂到一個(gè)好的泛化點(diǎn)而過低的學(xué)習(xí)率雖然最終可能收斂但訓(xùn)練速度慢且有時(shí)會(huì)陷入糟糕的局部最優(yōu)解。學(xué)習(xí)率設(shè)置不當(dāng)如何導(dǎo)致驗(yàn)證集性能差學(xué)習(xí)率太大模型參數(shù)更新步伐過大每次迭代都“沖過頭”損失函數(shù)像坐過山車。這可能導(dǎo)致模型始終在一個(gè)泛化性能很差的參數(shù)區(qū)域徘徊。你會(huì)發(fā)現(xiàn)訓(xùn)練集的損失也下降得不穩(wěn)定波動(dòng)很大。學(xué)習(xí)率太小模型更新緩慢可能需要非常多的epoch才能收斂。在這個(gè)過程中模型有充足的時(shí)間去“雕琢”訓(xùn)練數(shù)據(jù)慢慢擬合每一個(gè)噪聲從而增加了過擬合的風(fēng)險(xiǎn)。同時(shí)也浪費(fèi)了大量的計(jì)算資源。怎么辦使用學(xué)習(xí)率調(diào)度器這是現(xiàn)代訓(xùn)練的標(biāo)配。如ReduceLROnPlateau當(dāng)驗(yàn)證指標(biāo)停滯時(shí)降低學(xué)習(xí)率、CosineAnnealingLR余弦退火等。它們能在訓(xùn)練初期用較大的學(xué)習(xí)率快速下降后期用較小的學(xué)習(xí)率精細(xì)調(diào)優(yōu)有助于找到更平坦、泛化更好的最小值。進(jìn)行學(xué)習(xí)率搜索不要憑感覺設(shè)一個(gè)值比如默認(rèn)的0.001。可以用學(xué)習(xí)率范圍測(cè)試?yán)L制損失隨學(xué)習(xí)率變化的曲線選擇一個(gè)損失下降最快且穩(wěn)定的區(qū)間。Warmup對(duì)于大模型或Adam優(yōu)化器訓(xùn)練開始時(shí)使用一個(gè)很小的學(xué)習(xí)率逐步提升到預(yù)設(shè)值有助于穩(wěn)定訓(xùn)練初期。4.2 訓(xùn)練輪數(shù)太多學(xué)“過”了這是最直觀的過擬合原因。模型訓(xùn)練得太久在訓(xùn)練集上已經(jīng)“學(xué)無可學(xué)”開始擬合噪聲。這直接體現(xiàn)在學(xué)習(xí)曲線上就是驗(yàn)證集損失開始上升的拐點(diǎn)。如何確定最佳的訓(xùn)練輪數(shù)早停法是你的最佳伙伴。幾乎所有的深度學(xué)習(xí)框架都支持早停回調(diào)。你需要做的是設(shè)置一個(gè)監(jiān)控指標(biāo)通常是val_loss驗(yàn)證集損失。設(shè)置一個(gè)patience比如10。這意味著如果連續(xù)10個(gè)epochval_loss都沒有比歷史最佳值下降就停止訓(xùn)練。模型訓(xùn)練結(jié)束后不是加載最后一代的權(quán)重而是加載在驗(yàn)證集上表現(xiàn)最好的那一代權(quán)重。這才是真正泛化能力最強(qiáng)的模型。注意早停的patience不宜設(shè)得太小否則可能在模型還沒充分學(xué)習(xí)時(shí)就停止了也不宜太大否則就失去了早停的意義。通常根據(jù)總epoch數(shù)和數(shù)據(jù)量設(shè)置在5-20之間。4.3 優(yōu)化器與批大小的選擇優(yōu)化器Adam及其變種如AdamW因其自適應(yīng)學(xué)習(xí)率特性已成為默認(rèn)選擇通常比SGD收斂更快。但有些研究表明SGD with momentum最終找到的解泛化性可能更好尤其是配合精心的學(xué)習(xí)率調(diào)度。如果你用Adam遇到了嚴(yán)重的過擬合可以嘗試換回SGD看看。批大小較小的批大小如32, 64由于每個(gè)批次的梯度估計(jì)噪聲更大被認(rèn)為具有正則化效果可能有助于泛化。而非常大的批大小如1024可能會(huì)使模型收斂到尖銳的極小值泛化能力變差。但這并非絕對(duì)也需要和優(yōu)化器、學(xué)習(xí)率配合調(diào)整。一個(gè)實(shí)用的建議是在GPU內(nèi)存允許的情況下從適中的批大小如64或128開始嘗試。5. 高級(jí)策略與數(shù)據(jù)增強(qiáng)給模型“制造困難”當(dāng)數(shù)據(jù)有限且調(diào)整模型和超參數(shù)后仍有提升空間時(shí)我們就需要祭出更高級(jí)的武器數(shù)據(jù)增強(qiáng)和集成學(xué)習(xí)。其核心思想是增加訓(xùn)練數(shù)據(jù)的多樣性或多樣性迫使模型學(xué)習(xí)更本質(zhì)、不變的特征。5.1 數(shù)據(jù)增強(qiáng)低成本“增加”數(shù)據(jù)量數(shù)據(jù)增強(qiáng)通過對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行一系列隨機(jī)的、保真的變換來人工擴(kuò)展數(shù)據(jù)集。它告訴模型“盡管圖片被旋轉(zhuǎn)、裁剪、變色了但它的類別沒有變”。這極大地提升了模型的魯棒性。針對(duì)圖像任務(wù)的增強(qiáng)組合拳對(duì)于YOLO等目標(biāo)檢測(cè)任務(wù)增強(qiáng)需要謹(jǐn)慎要保證邊界框坐標(biāo)變換的正確性。常用的有幾何變換隨機(jī)水平翻轉(zhuǎn)對(duì)大多數(shù)任務(wù)安全、小角度的隨機(jī)旋轉(zhuǎn)±10度、隨機(jī)縮放裁剪。顏色變換隨機(jī)調(diào)整亮度、對(duì)比度、飽和度、色調(diào)。輕微的變化可以模擬不同光照條件。高級(jí)增強(qiáng)MixUp將兩張圖像線性混合、CutMix將一張圖像的部分區(qū)域裁剪并粘貼到另一張上這些方法能強(qiáng)制模型學(xué)習(xí)更全局的特征正則化效果非常強(qiáng)。** mosaic增強(qiáng)**YOLOv5/v8等默認(rèn)使用的技術(shù)將四張訓(xùn)練圖像拼接成一張讓模型在早期就能學(xué)習(xí)到不同尺度、不同上下文的目標(biāo)對(duì)小目標(biāo)檢測(cè)和泛化提升顯著。關(guān)鍵心得數(shù)據(jù)增強(qiáng)的強(qiáng)度需要調(diào)試。太弱沒效果太強(qiáng)則會(huì)破壞圖像語義讓模型無法學(xué)習(xí)。例如把貓的圖片旋轉(zhuǎn)90度它還是貓但旋轉(zhuǎn)180度倒過來可能就難以識(shí)別了。一個(gè)好的策略是先使用一組溫和的增強(qiáng)如果仍過擬合再逐步增強(qiáng)力度。5.2 集成學(xué)習(xí)與模型平均“三個(gè)臭皮匠頂個(gè)諸葛亮”。訓(xùn)練多個(gè)不同的模型可以是不同結(jié)構(gòu)也可以是同一結(jié)構(gòu)不同隨機(jī)初始化的結(jié)果然后將它們的預(yù)測(cè)結(jié)果進(jìn)行平均分類任務(wù)或投票。由于不同模型過擬合的方向不同平均之后可以互相抵消得到更穩(wěn)定、泛化更好的預(yù)測(cè)。實(shí)用且高效的集成方法快照集成在同一個(gè)訓(xùn)練過程中使用循環(huán)余弦退火的學(xué)習(xí)率調(diào)度讓學(xué)習(xí)率周期性大幅變化。模型會(huì)在損失曲面不同的局部最優(yōu)點(diǎn)附近“跳轉(zhuǎn)”。保存每次低谷處的模型權(quán)重最后將這些“快照”模型集成起來。Stochastic Weight Averaging在訓(xùn)練后期沿著優(yōu)化路徑對(duì)模型的權(quán)重進(jìn)行平均通常能得到一個(gè)更平坦、泛化更好的解。雖然集成會(huì)增加推理時(shí)的計(jì)算成本但在許多競(jìng)賽和關(guān)鍵應(yīng)用中它仍然是提升模型最終性能的利器。6. 系統(tǒng)性排查清單與實(shí)戰(zhàn)調(diào)試流程理論說了這么多當(dāng)問題真正發(fā)生時(shí)我們應(yīng)該如何一步步動(dòng)手排查和解決呢下面是我總結(jié)的一個(gè)系統(tǒng)性流程你可以像查字典一樣對(duì)照使用。6.1 第一步確認(rèn)問題與可視化繪制學(xué)習(xí)曲線這是診斷的起點(diǎn)。同時(shí)畫出訓(xùn)練集和驗(yàn)證集的損失、準(zhǔn)確率曲線。確認(rèn)是否出現(xiàn)了典型的過擬合圖形訓(xùn)練指標(biāo)持續(xù)優(yōu)化驗(yàn)證指標(biāo)后期惡化。檢查混淆矩陣在驗(yàn)證集上計(jì)算混淆矩陣。看模型是普遍性能差還是只在某些特定類別上表現(xiàn)糟糕這能幫你定位問題是全局性的還是局部性的。查看錯(cuò)誤樣本手動(dòng)檢查一些驗(yàn)證集中被錯(cuò)誤分類的樣本。這些樣本有什么共同特點(diǎn)是模糊、遮擋、類別不平衡還是訓(xùn)練集中根本沒出現(xiàn)過的場(chǎng)景6.2 第二步由易到難逐項(xiàng)排查與干預(yù)請(qǐng)按照下表順序進(jìn)行通常能高效定位問題排查方向具體操作與檢查點(diǎn)預(yù)期效果與說明1. 數(shù)據(jù)與劃分- 復(fù)查數(shù)據(jù)劃分代碼確保隨機(jī)種子固定且劃分后無交集。- 檢查預(yù)處理流程確保在劃分之后分別進(jìn)行。- 統(tǒng)計(jì)分析訓(xùn)練/驗(yàn)證集的類別分布、基本統(tǒng)計(jì)量。解決最隱蔽的“作弊”問題。如果這里出錯(cuò)后續(xù)所有調(diào)參都是徒勞。2. 訓(xùn)練策略-立即啟用早停并設(shè)置合理的patience。- 檢查并降低學(xué)習(xí)率例如降為原來的0.1倍或改用帶Warmup的余弦退火調(diào)度。- 嘗試減小批大小如從256降到64。這是最快、最低成本的干預(yù)手段。早停和調(diào)學(xué)習(xí)率往往能帶來立竿見影的效果。3. 模型正則化- 在模型中添加或增大Dropout比率從0.1開始嘗試。- 在優(yōu)化器中添加L2權(quán)重衰減從1e-4開始嘗試。- 如果模型很深確保使用了BatchNorm。直接給模型增加約束防止其過度擬合。注意Dropout在訓(xùn)練和推理模式下的行為不同。4. 數(shù)據(jù)增強(qiáng)-引入或加強(qiáng)數(shù)據(jù)增強(qiáng)。從簡(jiǎn)單的翻轉(zhuǎn)、裁剪開始逐步嘗試顏色抖動(dòng)、MixUp等。- 對(duì)于目標(biāo)檢測(cè)確保mosaic等增強(qiáng)已開啟。本質(zhì)上是增加訓(xùn)練數(shù)據(jù)的多樣性和難度提升模型魯棒性。需注意增強(qiáng)的合理性。5. 模型結(jié)構(gòu)- 如果上述方法效果有限考慮換用更簡(jiǎn)單的模型減少層數(shù)、通道數(shù)。- 或者在復(fù)雜模型中插入更多的正則化層。降低模型容量使其無法記住所有噪聲。這是“釜底抽薪”的方法。6. 獲取更多數(shù)據(jù)- 如果學(xué)習(xí)曲線顯示早期就難以提升收集更多數(shù)據(jù)是根本。- 利用生成模型進(jìn)行數(shù)據(jù)合成需謹(jǐn)慎評(píng)估生成數(shù)據(jù)質(zhì)量。解決小樣本問題的終極方案。數(shù)據(jù)永遠(yuǎn)是最好的正則化器。6.3 一個(gè)YOLOv8訓(xùn)練中的調(diào)試案例假設(shè)我們正在用YOLOv8n訓(xùn)練一個(gè)自定義的零件缺陷檢測(cè)數(shù)據(jù)集數(shù)據(jù)量約1500張出現(xiàn)了訓(xùn)練集mAP0.5高達(dá)0.95驗(yàn)證集只有0.65的情況。按流程排查首先確保數(shù)據(jù)劃分正確預(yù)處理獨(dú)立。學(xué)習(xí)曲線顯示驗(yàn)證集mAP在epoch 50后開始下降。實(shí)施干預(yù)首先在YAML配置文件中將patience設(shè)為20早停。將初始學(xué)習(xí)率lr0從0.01下調(diào)到0.001。在模型配置中為分類和檢測(cè)頭后面的全連接層如果有添加p0.2的DropoutYOLO本身結(jié)構(gòu)正則化較強(qiáng)此處謹(jǐn)慎添加。開啟YOLOv8默認(rèn)的增強(qiáng)翻轉(zhuǎn)、縮放、色彩空間調(diào)整并將mosaic概率從1.0降至0.5防止過度增強(qiáng)。觀察結(jié)果重新訓(xùn)練后訓(xùn)練集mAP最終穩(wěn)定在0.92驗(yàn)證集mAP提升至0.82。雖然訓(xùn)練集指標(biāo)略有下降但驗(yàn)證集指標(biāo)大幅提升模型的泛化能力顯著增強(qiáng)。這個(gè)案例的核心是通過降低學(xué)習(xí)率、利用早停防止過訓(xùn)練、以及適度利用數(shù)據(jù)增強(qiáng)在模型擬合能力和泛化能力之間找到了一個(gè)更好的平衡點(diǎn)。記住我們的目標(biāo)不是訓(xùn)練集上的完美分?jǐn)?shù)而是驗(yàn)證集/測(cè)試集上的穩(wěn)健表現(xiàn)。犧牲一點(diǎn)訓(xùn)練集的表現(xiàn)換取驗(yàn)證集的大幅提升是一筆非常劃算的交易。模型最終是要去應(yīng)對(duì)未知數(shù)據(jù)的泛化能力才是它真正的價(jià)值所在。