從“光譜指紋"到空間—光譜建模，再到可部署分揀閉環(huán)

前言：多材質(zhì)同步分揀的核心矛盾，是物體外觀與材料組成并不等價(jià)。高光譜成像同時(shí)記錄空間位置與連續(xù)波段響應(yīng)，使每個(gè)像素?fù)碛锌捎糜诓馁|(zhì)判斷的光譜信息。

本文梳理從化學(xué)計(jì)量學(xué)、卷積神經(jīng)網(wǎng)絡(luò)到空間—光譜Transformer的發(fā)展路徑，并結(jié)合真實(shí)設(shè)備、實(shí)測(cè)光譜、特征空間、注意力熱圖和像素級(jí)分類圖，說(shuō)明模型怎樣把光譜差異轉(zhuǎn)化為可執(zhí)行的分揀決策。

文章同時(shí)強(qiáng)調(diào)污染、傳感器遷移、黑色材料、數(shù)據(jù)泄漏和實(shí)時(shí)性等工程約束。所謂“通用識(shí)別"應(yīng)理解為可遷移、可擴(kuò)展的建模能力，而不是脫離波段、樣本和工況的一次訓(xùn)練、處處適用。

一、問(wèn)題定義：機(jī)器為何必須“理解材料"？

在傳送帶上，顏色、紋理與形狀只能回答“它看起來(lái)像什么"。透明PET與PVC、外觀近似的PE與PP、帶標(biāo)簽或污染的包裝，以及混合與重疊物料，都可能讓RGB視覺(jué)產(chǎn)生歧義。工業(yè)系統(tǒng)真正需要回答的是“它由什么組成、在哪里、是否應(yīng)該被分離"。

近紅外和高光譜分選并非新概念。早期工業(yè)研究已證明，可利用材料在連續(xù)波段上的反射差異進(jìn)行在線識(shí)別。隨后，PET—PLA、PET—PVC和多類廢塑料研究逐步把光譜測(cè)量、化學(xué)計(jì)量學(xué)與自動(dòng)分選連接起來(lái)。

深度學(xué)習(xí)改變的是特征獲取方式：模型不再完全依賴人工選擇少數(shù)波段，而是從空間—光譜數(shù)據(jù)中學(xué)習(xí)多尺度表示。Transformer進(jìn)一步提供跨波段、跨像素的長(zhǎng)距離建模能力，但仍必須服從真實(shí)傳感器和產(chǎn)線工況。

二、高光譜成像：從數(shù)據(jù)立方體到材料證據(jù)

2.1 采集系統(tǒng)不是“一臺(tái)相機(jī)"

推掃式高光譜系統(tǒng)通常由相機(jī)、光譜儀、穩(wěn)定光源、移動(dòng)平臺(tái)或輸送帶、白板/暗場(chǎng)標(biāo)定和同步控制組成。系統(tǒng)逐行掃描目標(biāo)，最終形成寬度×長(zhǎng)度×波段數(shù)的數(shù)據(jù)立方體；每個(gè)像素對(duì)應(yīng)一條光譜曲線。

圖1給出一套400—1000nm推掃式近紅外高光譜裝置的真實(shí)實(shí)驗(yàn)場(chǎng)景。強(qiáng)光源、固定相機(jī)與可控移動(dòng)平臺(tái)共同決定光譜是否可重復(fù)；這也解釋了為何算法精度無(wú)法脫離采集幾何和標(biāo)定流程單獨(dú)討論。

圖1  推掃式可見(jiàn)光高光譜實(shí)驗(yàn)系統(tǒng)實(shí)景

2.2 光譜指紋會(huì)被污染和工況改變

聚合物的分子振動(dòng)會(huì)在近紅外形成特征吸收帶，因此不同材料的光譜曲線并不相同。但“指紋"不是靜態(tài)條形碼：表面污染、含水率、顏色、厚度、老化與溫度都會(huì)改變響應(yīng)。公開(kāi)研究已直接觀察到食品污染造成的譜形偏移。

圖2同時(shí)展示PP、PET、LDPE、HDPE、PLA、PBAT與PHA的原始吸收光譜、污染后的光譜以及預(yù)處理結(jié)果。它說(shuō)明預(yù)處理能夠壓制部分基線和幅值差異，卻不會(huì)自動(dòng)消除所有域偏移。

圖2  多類塑料在潔凈、食品污染與預(yù)處理?xiàng)l件下的實(shí)測(cè)吸收光譜

轉(zhuǎn)載自Taneepanichskul等，原文Figure 4。 

DOI：10.14324/111.444/ucloe.3237；許可：CC BY 4.0

2.3 高維不等于有效信息更多

相鄰波段往往高度相關(guān)，數(shù)百個(gè)變量中既有材料信息，也有冗余和噪聲。主成分分析、連續(xù)譜去除、導(dǎo)數(shù)變換、標(biāo)準(zhǔn)正態(tài)變量變換與波段選擇，都是把原始光譜轉(zhuǎn)化為更穩(wěn)定特征空間的常用手段。

圖3展示五類塑料光譜的PCA得分分布。類別簇在主成分空間中出現(xiàn)分離，說(shuō)明材料差異確實(shí)存在于多波段聯(lián)合變化中；簇間重疊也提醒我們，單次測(cè)量或單一閾值不足以代表所有來(lái)源和狀態(tài)。

圖3  五類塑料實(shí)測(cè)近紅外光譜的PCA得分圖

轉(zhuǎn)載自Rani等，原文Figure 3。 DOI：10.3390/ma12172740；許可：CC BY 4.0

三、算法演進(jìn)：從化學(xué)計(jì)量學(xué)到Transformer

3.1 化學(xué)計(jì)量學(xué)：小樣本、強(qiáng)解釋

PCA、PLS-DA、SVM與基于光譜指數(shù)的判別方法，適合樣本較少且變量含義明確的場(chǎng)景。它們便于查看載荷、關(guān)鍵波段和分類邊界，也更容易做校準(zhǔn)遷移；不足是空間結(jié)構(gòu)利用有限，復(fù)雜污染和遮擋下的表達(dá)能力受限。

3.2 CNN：聯(lián)合學(xué)習(xí)局部空間—光譜特征

1D-CNN可沿光譜軸學(xué)習(xí)局部吸收模式，2D-CNN提取紋理與形態(tài)，3D-CNN則在空間和波段方向同時(shí)卷積。HybridSN等模型把3D與2D卷積結(jié)合，成為高光譜分類的重要基線。

CNN并非只能看到局部：堆疊層、空洞卷積和多尺度結(jié)構(gòu)都能擴(kuò)大感受野。其限制更準(zhǔn)確地說(shuō)，是長(zhǎng)距離關(guān)系通常需要通過(guò)多層逐步傳遞，而不同波段或遠(yuǎn)距離像素之間的直接關(guān)聯(lián)不夠顯式。

3.3 Transformer：顯式建模遠(yuǎn)距離關(guān)系

自注意力把輸入表示為T(mén)oken序列，并計(jì)算Token之間的相似度與信息匯聚權(quán)重[10]。對(duì)高光譜數(shù)據(jù)，Token可以是一組相鄰波段、一個(gè)空間Patch，或空間—光譜三維小塊。SpectralFormer與SSTN分別展示了光譜序列建模和空間—光譜協(xié)同建模的可行性。

Transformer的優(yōu)勢(shì)不是“必然更準(zhǔn)"，而是建模選擇更靈活：它可以跨波段關(guān)聯(lián)吸收帶、融合鄰域上下文，并通過(guò)多頭機(jī)制學(xué)習(xí)不同關(guān)系。代價(jià)是計(jì)算、顯存和數(shù)據(jù)需求增加，且注意力權(quán)重不能直接等同為物理因果。

3.4 基礎(chǔ)模型：遷移能力，而非萬(wàn)能模型

SpectralGPT把大規(guī)模自監(jiān)督預(yù)訓(xùn)練引入光譜遙感，證明通用光譜表征可以遷移到分類、分割和變化檢測(cè)等任務(wù)。但它訓(xùn)練于遙感數(shù)據(jù)，并不是可直接部署到工業(yè)分揀線的通用模型。跨傳感器、跨波段和跨任務(wù)仍需適配與驗(yàn)證。

四、空間—光譜Transformer怎樣完成像素級(jí)識(shí)別？

4.1 Patch化：同時(shí)保留“是什么"和“在哪里"

只使用單像素光譜，容易受到噪聲、混合像元和表面紋理影響。空間—光譜模型圍繞中心像素提取局部立方塊，把鄰域形狀與中心光譜一起輸入模型。這樣既能判斷材料類別，也能保持目標(biāo)邊界與位置。

4.2 光譜嵌入與參數(shù)高效編碼

圖4以公開(kāi)的空間—光譜Transformer為藍(lán)本：先從7×7×171高光譜塊中提取鄰域，再用1×1光譜卷積壓縮波段維度；隨后通過(guò)中心查詢注意力、二維位置編碼和低秩投影完成多層編碼，最后融合中心像素表征并分類。

這種設(shè)計(jì)把計(jì)算集中在目標(biāo)像素及其局部上下文上，避免對(duì)整幅圖做全局二次復(fù)雜度注意力。它體現(xiàn)了工業(yè)模型的一條重要原則：不是追求最大的網(wǎng)絡(luò)，而是在可接受延遲下保留最有用的空間—光譜關(guān)系。

圖4  參數(shù)高效空間—光譜Transformer的像素級(jí)分類流程

改繪自Khan等原文Figure 4； DOI：10.3390/s26082459；許可：CC BY 4.0

4.3 注意力熱圖能解釋什么？

多頭注意力允許不同頭關(guān)注不同上下文。圖5中，同質(zhì)肉組織、同質(zhì)LDPE和材料邊界區(qū)域呈現(xiàn)不同的權(quán)重分布；這說(shuō)明模型會(huì)隨局部空間—光譜條件改變信息聚合位置。

但熱圖只能說(shuō)明“模型在計(jì)算時(shí)使用了哪些位置"，不能獨(dú)立證明這些位置具有特定化學(xué)意義。要建立物理解釋，還需結(jié)合波段響應(yīng)、遮擋實(shí)驗(yàn)、特征歸因穩(wěn)定性和獨(dú)立樣本復(fù)現(xiàn)。

圖5  不同局部場(chǎng)景下八個(gè)注意力頭的真實(shí)權(quán)重分布

轉(zhuǎn)載自Khan等，原文Figure 7。 DOI：10.3390/s26082459；許可：CC BY 4.0

五、多材質(zhì)同步分揀：從預(yù)測(cè)圖到執(zhí)行指令

5.1 完整閉環(huán)包含六個(gè)環(huán)節(jié)

工程閉環(huán)通常包括：連續(xù)采集、輻射校正與去噪、空間—光譜編碼、像素或目標(biāo)分類、位置與到達(dá)時(shí)間計(jì)算、執(zhí)行器觸發(fā)。氣動(dòng)噴嘴適合高速輕質(zhì)物料，機(jī)械臂適合形狀復(fù)雜或需要溫和抓取的目標(biāo)。

分類模型輸出的類別、置信度和掩膜，還要經(jīng)過(guò)連通域、尺寸過(guò)濾、目標(biāo)跟蹤與隊(duì)列同步，才能轉(zhuǎn)換成噴嘴或機(jī)械臂指令。只展示離線準(zhǔn)確率，不能證明系統(tǒng)已經(jīng)具備在線分揀能力。

5.2 像素級(jí)預(yù)測(cè)為什么重要？

當(dāng)異物很小、與背景接觸或顏色接近時(shí)，整圖分類只能說(shuō)“畫(huà)面里有某種材料"，無(wú)法給出可執(zhí)行位置。像素級(jí)分類直接生成材料掩膜，既能定位邊界，也能估計(jì)面積和中心坐標(biāo)。

圖6展示HDPE、LDPE和PP異物的RGB圖、偽彩色圖、真值與Transformer預(yù)測(cè)。預(yù)測(cè)掩膜在公開(kāi)案例中能夠跟隨異物輪廓，說(shuō)明空間上下文與光譜差異可以協(xié)同用于定位。

圖6  三類聚合物異物的RGB、偽彩色、真值與Transformer預(yù)測(cè)結(jié)果。

轉(zhuǎn)載自Khan等，原文Figure 6。 DOI：10.3390/s26082459；許可：CC BY 4.0

5.3 復(fù)雜、重疊與黑色材料

混合或重疊場(chǎng)景會(huì)讓RGB模型依賴顏色和外形做出錯(cuò)誤判斷，而高光譜模型仍可利用材料響應(yīng)恢復(fù)類別。黑色塑料因強(qiáng)吸收而更困難，但在合適波段、照明和信噪比條件下，仍可能獲得可用的分類結(jié)果。

圖7來(lái)自同一項(xiàng)多材質(zhì)像素級(jí)研究：(a)顯示RGB預(yù)測(cè)與高光譜預(yù)測(cè)在混合、重疊物料上的差異；(b)展示黑色塑料場(chǎng)景中的高光譜圖、RGB圖、真值與最終掩膜。它們是公開(kāi)案例，不代表所有黑色材料均可被穩(wěn)定識(shí)別。

圖7  混合、重疊與黑色塑料場(chǎng)景中的像素級(jí)材料分類案例。

組合改繪自Sifnaios等， DOI：10.3390/jimaging12060267；許可：CC BY 4.0

六、怎樣科學(xué)評(píng)價(jià)一個(gè)“通用分揀模型"？

6.1 數(shù)據(jù)劃分必須阻斷泄漏

高光譜圖像中相鄰像素高度相似。若把同一物體的像素隨機(jī)分到訓(xùn)練集和測(cè)試集，模型可能記住樣品與背景，而非學(xué)會(huì)材料規(guī)律。更可靠的做法，是按物體、批次、采集日期或設(shè)備劃分，至少保證測(cè)試物體從未出現(xiàn)在訓(xùn)練階段。

6.2 指標(biāo)要對(duì)應(yīng)分揀代價(jià)

總體準(zhǔn)確率可能被大面積背景像素“抬高"。材料分揀應(yīng)同時(shí)報(bào)告每類召回率、精確率、F1、交并比、混淆矩陣和無(wú)法判定比例。在線系統(tǒng)還應(yīng)報(bào)告單幀延遲、吞吐量、噴吹時(shí)序誤差與單位時(shí)間誤分揀量。

6.3 置信度需要校準(zhǔn)

高置信度不等于預(yù)測(cè)正確。對(duì)安全敏感或高價(jià)值物料，應(yīng)在獨(dú)立數(shù)據(jù)上校準(zhǔn)概率，設(shè)置“拒識(shí)"閾值，并保留人工復(fù)核或二次檢測(cè)出口。比起強(qiáng)制給出類別，可靠地說(shuō)“無(wú)法判斷"往往更有工程價(jià)值。

6.4 必須做跨域壓力測(cè)試

通用能力至少要經(jīng)過(guò)跨批次、跨顏色、跨污染、跨厚度、跨速度和跨設(shè)備測(cè)試。域外樣本、未知材料和傳感器漂移應(yīng)單獨(dú)統(tǒng)計(jì)，而不是并入平均準(zhǔn)確率。污染塑料研究表明，真實(shí)包裝狀態(tài)會(huì)顯著改變光譜與分類難度。

七、結(jié)論

高光譜成像為材料識(shí)別提供了普通視覺(jué)難以獲得的連續(xù)波段證據(jù)，Transformer則提供了組織這些證據(jù)的新方式。二者結(jié)合，能夠同時(shí)利用吸收特征、空間鄰域和長(zhǎng)距離關(guān)系，輸出材料類別與像素級(jí)位置。