應(yīng)用方向：

本研究展示了高光譜成像技術(shù)在腫瘤病理診斷領(lǐng)域，特別是膀胱癌分級(jí)預(yù)測(cè)中具有重要應(yīng)用價(jià)值。該技術(shù)可獲取組織切片的高維光譜信息，不僅保留顯微圖像的空間結(jié)構(gòu)特征，還揭示不同病變程度組織在光譜反射特性上的微小差異，此外，高光譜成像具備無損、無標(biāo)記和定量分析的優(yōu)勢(shì)，可用于病理切片中癌變區(qū)域的自動(dòng)識(shí)別與特征提取，為數(shù)字病理診斷提供新的技術(shù)手段。

背景：

膀胱癌是常見的泌尿系統(tǒng)惡性腫瘤之一，其發(fā)病率和死亡率近年來持續(xù)上升，已成為嚴(yán)重的公共衛(wèi)生問題。腫瘤分級(jí)是膀胱癌診療中的關(guān)鍵環(huán)節(jié)，能夠?yàn)閭€(gè)體化治療方案制定和患者預(yù)后評(píng)估提供重要依據(jù)。然而，目前臨床上膀胱癌的分級(jí)主要依賴病理學(xué)家對(duì)組織切片的顯微觀察與主觀判斷，這種傳統(tǒng)方法存在診斷主觀性強(qiáng)、依賴經(jīng)驗(yàn)、效率低且易出錯(cuò)等問題，難以滿足臨床對(duì)快速、客觀、高精度診斷的需求。

為克服這些局限，人工智能技術(shù)尤其是深度學(xué)習(xí)在醫(yī)學(xué)影像分析中得到廣泛應(yīng)用，已在病灶檢測(cè)、圖像分割及腫瘤分類等任務(wù)中展現(xiàn)出優(yōu)異表現(xiàn)。然而，現(xiàn)有研究多依賴單一模態(tài)影像，未能充分融合多模態(tài)數(shù)據(jù)的互補(bǔ)信息，從而限制了診斷的全面性與穩(wěn)定性。

高光譜成像（HSI）作為一種能夠同時(shí)獲取空間形態(tài)與光譜信息的新興技術(shù)，能夠揭示組織在不同波段下的光譜特征變化，對(duì)早期癌變組織具有高靈敏度和高分辨率，在皮膚癌、乳腺癌及肺癌等早期檢測(cè)中已展現(xiàn)潛力。但其在膀胱癌分級(jí)中的應(yīng)用尚處于起步階段，尤其是結(jié)合深度學(xué)習(xí)與多模態(tài)融合的研究仍然不足。

基于此，本文提出了一種融合高光譜成像與病理圖像的多模態(tài)深度學(xué)習(xí)模型，用于膀胱癌分級(jí)診斷。通過整合組織的光譜與空間結(jié)構(gòu)信息，并利用深度特征融合機(jī)制，實(shí)現(xiàn)了對(duì)膀胱癌組織的精準(zhǔn)分級(jí)與智能識(shí)別，為提升診斷的客觀性、精度與臨床可行性提供了新思路。

作者信息： 楊小青，山東*一醫(yī)科大學(xué)*一附屬醫(yī)院/山東千佛山醫(yī)院病理科

期刊來源：Journal of Biophotonics

研究?jī)?nèi)容

本文提出了一種基于深度學(xué)習(xí)的多模態(tài)融合模型RVCK-net，該系統(tǒng)集成了HSI和病理圖像以實(shí)現(xiàn)精確的膀胱癌分級(jí)。通過利用來自兩種模態(tài)的空間和光譜信息并采用自適應(yīng)融合機(jī)制，實(shí)現(xiàn)了膀胱癌的準(zhǔn)確分級(jí)。本研究通過將高光譜成像與深度學(xué)習(xí)的結(jié)合，實(shí)現(xiàn)了膀胱癌組織病理分級(jí)的快速、客觀、非侵入式識(shí)別，為臨床早期診斷與個(gè)體化治療提供智能輔助決策依據(jù)。

實(shí)驗(yàn)設(shè)計(jì)

本研究的研究對(duì)象為在山東*一醫(yī)科大學(xué)附屬醫(yī)院泌尿外科住院的非肌層浸潤(rùn)性膀胱癌（NMIBC）患者。病理切片采用3DHISTECH公司（匈牙利）的Pannoramic 250 掃描儀進(jìn)行數(shù)字化，放大倍數(shù)為40×，共獲得120張全切片圖像（WSIs），其中包括50例低分級(jí)（LG）和70例高分級(jí)（HG）膀胱癌樣本，用于后續(xù)數(shù)字病理分析。

實(shí)驗(yàn)中嚴(yán)格遵循標(biāo)準(zhǔn)化數(shù)據(jù)采集流程，使用20×物鏡的顯微高光譜系統(tǒng)采集高光譜數(shù)據(jù)。根據(jù)組織樣本面積，每張切片采集5–8幅高光譜圖像。雖然GaiaMicro-V10系統(tǒng)的原始空間分辨率為2048×2048像素，但研究人員手動(dòng)裁剪出1392×1550像素的感興趣區(qū)域（ROI），以聚焦于腫瘤富集區(qū)域。為保證一致性與減少采樣偏差，ROI的選擇由病理專家確認(rèn)，僅包含腫瘤區(qū)域，排除了偽影、壞死或質(zhì)量較差的圖像。各病例采樣數(shù)量保持一致，采用分層抽樣以維持50例LG與70例HG樣本在訓(xùn)練與測(cè)試集中的比例。所有高光譜圖像數(shù)據(jù)通過光譜重采樣標(biāo)準(zhǔn)化為256個(gè)光譜波段。經(jīng)偽彩合成后，醫(yī)生對(duì)圖像進(jìn)行診斷性標(biāo)注：首先標(biāo)定膀胱癌組織區(qū)域，再對(duì)不同分級(jí)腫瘤細(xì)胞進(jìn)行分類標(biāo)注。最終獲得標(biāo)注完備的膀胱癌組織高光譜圖像塊，尺寸為1392×1550×256（寬×高×波段），用于后續(xù)數(shù)字分析。

本研究中使用的采集設(shè)備是GaiaMicro-V10顯微高光譜系統(tǒng)。GaiaMicro系列代表了能夠在寬光譜范圍內(nèi)捕獲組織光譜信息的高性能顯微高光譜成像系統(tǒng)（400- 1000 nm）。GaiaMicro-V10配備高靈敏度CCD傳感器，并具有 16 bit 的量化深度，可實(shí)現(xiàn)高動(dòng)態(tài)范圍與高精度的光譜數(shù)據(jù)采集。其光學(xué)孔徑為 F/2.4，光譜分辨率為 2.8 nm，空間采樣間隔（像素尺寸）為 0.5μm，可在顯微尺度上獲取組織的精細(xì)結(jié)構(gòu)特征。系統(tǒng)生成的圖像尺寸為 2048×2048 像素，能夠?qū)崿F(xiàn)高空間分辨率的樣品精細(xì)分析并捕捉微小結(jié)構(gòu)細(xì)節(jié)。其系統(tǒng)結(jié)構(gòu)示意圖如圖 1 所示。

圖1 顯微高光譜成像系統(tǒng)結(jié)構(gòu)示意圖

研究方法

本研究選用了 Daubechies 4（db4）小波作為去噪基函數(shù)。分解層數(shù)設(shè)為 3 層，該參數(shù)通過實(shí)驗(yàn)確定，可在保留主要光譜特征的同時(shí)有效抑制噪聲。在去噪過程中采用軟閾值方法，以削弱高頻噪聲而不破壞關(guān)鍵光譜信息；閾值選取依據(jù) Donoho 的通用閾值準(zhǔn)則，并分別應(yīng)用于每個(gè)光譜。閾值處理完成后，通過小波重構(gòu)得到去噪后的高光譜圖像。

本文提出一種面向病理圖像的跨模態(tài)交互融合網(wǎng)絡(luò)——RVCK-net，其架構(gòu)如圖2所示。模型采用雙分支設(shè)計(jì)，以 ResNet-34 與 Vision Transformer（ViT）協(xié)同完成特征提取，同步捕獲局部紋理、邊緣細(xì)節(jié)及全局上下文語(yǔ)義。ResNet-34 憑借殘差連接在深層網(wǎng)絡(luò)中有效保留局部細(xì)微特征，避免梯度消失；ViT 則通過自注意力機(jī)制建模長(zhǎng)程依賴，提煉高階全局語(yǔ)義。二者互補(bǔ)，為復(fù)雜病理結(jié)構(gòu)的精準(zhǔn)解析提供全面表征。在此基礎(chǔ)上，模型將兩條分支提取的特征輸入到基于交叉注意力機(jī)制的多尺度特征融合模塊中，實(shí)現(xiàn)不同模態(tài)特征的高效交互與信息互補(bǔ)，從而增強(qiáng)整體特征表達(dá)能力。融合后的特征經(jīng)由多層感知機(jī)（MLP）統(tǒng)一變換，并最終通過全連接層進(jìn)行分類。

為防止模型過擬合，在全連接層前加入Dropout機(jī)制以提升模型的泛化性能。訓(xùn)練過程中采用 Adam 優(yōu)化器（初始學(xué)習(xí)率 0.001），批大小為 32，迭代 100 輪，并使用余弦退火（cosine annealing）學(xué)習(xí)率調(diào)度器動(dòng)態(tài)調(diào)整學(xué)習(xí)率。上述參數(shù)均通過驗(yàn)證集實(shí)驗(yàn)優(yōu)化獲得，以實(shí)現(xiàn)收斂性與泛化效果。

圖2  RVCK-net 結(jié)構(gòu)圖

為了客觀地評(píng)估各種模型的性能，作者采用了總體準(zhǔn)確度、精確度、召回率、F1評(píng)分和Brier評(píng)分（BS）指標(biāo)作為膀胱癌分類的評(píng)價(jià)標(biāo)準(zhǔn)。此外，為了證明模型在不同場(chǎng)景下的魯棒性，這些評(píng)估度量與交叉驗(yàn)證和置信區(qū)間相結(jié)合，以提供更可靠的性能評(píng)估。

結(jié)果

為確保高光譜成像（HSI）在膀胱癌分級(jí)中的準(zhǔn)確性與可靠性，設(shè)計(jì)了多步預(yù)處理流程。圖3 展示了從原始數(shù)據(jù)到最終去噪結(jié)果的演變，并量化各步驟對(duì)圖像質(zhì)量的提升效果。圖3a：原始圖像受噪聲與照明不均影響，癌與正常組織難以區(qū)分。圖3b：經(jīng)反射率校正后，照明均勻性顯著改善，平均信噪比（SNR）提升 21.3%，系統(tǒng)照明偽影被有效抑制，光譜可比性增強(qiáng)。圖3c：進(jìn)一步采用小波多尺度去噪，在保留關(guān)鍵光譜-空間信息的同時(shí)抑制高頻噪聲；峰值信噪比（PSNR）再增 3.7 dB，背景方差降低 28.6%，充分保留診斷結(jié)構(gòu)并減少無關(guān)變異。

圖3 高光譜圖像預(yù)處理結(jié)果：(a) 原始高光譜圖像；(b) 反射率校正后圖像；(c) 小波變換去噪后圖像。

圖4 展示了不同分級(jí)膀胱癌腫瘤樣本經(jīng)高光譜成像獲取的光譜特征。(a) 為低級(jí)別與高級(jí)別腫瘤的光譜強(qiáng)度曲線，(b) 為對(duì)應(yīng)的反射率光譜曲線。兩圖直觀呈現(xiàn)了不同分級(jí)腫瘤在光譜維度上的差異，為模型后續(xù)分類與分級(jí)提供了關(guān)鍵的光譜依據(jù)。

圖4  膀胱癌光譜曲線：(a) 原始光譜曲線；(b) 校準(zhǔn)后光譜曲線

為驗(yàn)證多模態(tài)融合（病理 + 高光譜）在膀胱癌分級(jí)診斷中的有效性，作者設(shè)計(jì)了對(duì)照實(shí)驗(yàn)：先分別單獨(dú)使用病理圖像與高光譜圖像進(jìn)行特征提取與分類，以評(píng)估各模態(tài)的獨(dú)立貢獻(xiàn)；隨后采用 RVCK-net 融合兩類特征，驗(yàn)證多模態(tài)協(xié)同帶來的性能增益。具體結(jié)果見表1。具體來說，病理圖像模型取得了83.6%的準(zhǔn)確率（±2.9%），Brier評(píng)分為0.69，而高光譜圖像模型的精度達(dá)到88.5%（±2.3%），Brier評(píng)分降低0.60。這表明高光譜成像在捕獲組織光譜細(xì)節(jié)方面的優(yōu)勢(shì)，使膀胱癌的診斷更加精確。然而，無論是病理圖像還是高光譜圖像，單模態(tài)特征在準(zhǔn)確性和魯棒性方面都存在局限性，尤其是病理圖像模型在處理數(shù)據(jù)復(fù)雜度和光譜信息方面存在局限性，而高光譜圖像模型雖然能夠捕捉到豐富的光譜信息，但缺乏詳細(xì)的空間結(jié)構(gòu)信息。

相較于單模態(tài)模型，多模態(tài)融合框架 RVCK-net 在所有指標(biāo)上均實(shí)現(xiàn)顯著提升。通過整合病理圖像的空間細(xì)節(jié)與高光譜數(shù)據(jù)的光譜信息，RVCK-net 達(dá)到 91.7 % (±1.9 %) 的精確率、90.6 % (±1.7 %) 的召回率、93.7 % (±1.6 %) 的 F1 分?jǐn)?shù)，以及 94.1 % (±1.5 %) 的總體準(zhǔn)確率；Brier 分?jǐn)?shù)降至 0.43，表明預(yù)測(cè)概率更具置信度與可靠性。融合策略不僅大幅提高了分類精度，還在應(yīng)對(duì)復(fù)雜病理特征時(shí)表現(xiàn)出更強(qiáng)的魯棒性，充分證明多模態(tài)互補(bǔ)能夠全面捕獲膀胱癌組織的空間-光譜特性，從而增強(qiáng)對(duì)癌變區(qū)域的識(shí)別能力（見表 2）。

為了進(jìn)一步驗(yàn)證特征融合模塊在膀胱癌分級(jí)模型中的有效性，作者使用三種不同的特征融合方法進(jìn)行了消融實(shí)驗(yàn)：簡(jiǎn)單連接（Concat），連接后進(jìn)行卷積（Concat+Conv），實(shí)驗(yàn)結(jié)果表明，采用簡(jiǎn)單拼接的模型準(zhǔn)確率為88.9%（±2.3%），Brier評(píng)分為0.58。引入卷積后，準(zhǔn)確率提高到90.2%（±2.0%），Brier得分下降到0.53，說明卷積運(yùn)算起到了增強(qiáng)特征提取能力的作用，但隨著多模態(tài)融合策略的使用，模型性能全面提升，準(zhǔn)確率達(dá)到94.1%（±1.5%），并進(jìn)一步將Brier評(píng)分降至0.43，采用不同融合策略的消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了多模態(tài)融合模塊的優(yōu)*性。

圖5與圖6分別展示了混淆矩陣及核心指標(biāo)（準(zhǔn)確率、精確率、召回率、F1 分?jǐn)?shù)）。綜合可見，RVCK-net 在多項(xiàng)關(guān)鍵指標(biāo)上均表現(xiàn)*優(yōu)。圖5b的混淆矩陣顯示，RVCK-net僅出現(xiàn)1例假陽(yáng)性、未發(fā)生假陰性，測(cè)試階段所有陽(yáng)性樣本均被檢出，這一特性對(duì)亟需高敏感度的早期篩查尤為關(guān)鍵。結(jié)合圖6的量化指標(biāo)，RVCK-net在多項(xiàng)評(píng)價(jià)維度上均居前列，其召回率顯著優(yōu)于其他模型，提示假陰性率大幅降低，同時(shí)在敏感度與精確度之間實(shí)現(xiàn)了更佳平衡。

本研究將所提出的 RVCK-net 模型 與多種模型進(jìn)行了對(duì)比，包括 CAFNet（基于通道注意力機(jī)制的CNN模型）、UbiSpectNet（結(jié)合Transformer結(jié)構(gòu)以增強(qiáng)光譜特征提取的網(wǎng)絡(luò)）、AMM-Fusion（融合空間、光譜與形態(tài)特征的注意力引導(dǎo)多模態(tài)融合模型）以及傳統(tǒng)的多模態(tài)融合模型（Concat+ConvBlock）。由圖6可見：CAFNet精確率較高，但召回率顯著落后，混淆矩陣顯示假陰性多，易遺漏真實(shí)的癌變樣本。UbiSpectNet同樣假陰性偏高，對(duì)高級(jí)別腫瘤識(shí)別能力不足。簡(jiǎn)單多模態(tài)拼接+卷積塊（Concat+ConvBlock）各指標(biāo)均衡，但整體性能不及RVCK-net與AMM-Fusion。AMM-Fusion憑借自適應(yīng)注意力融合在各項(xiàng)指標(biāo)上拔得*籌；然而其復(fù)雜架構(gòu)帶來的計(jì)算開銷在需要高效診斷的場(chǎng)景下不如RVCK-net有利。

圖5  各模型混淆矩陣。(a) UbiSpectNet；(b) RVCK-net；(c) CAFNet；(d) 多模態(tài)融合（Concat+ConvBlock）

圖6  不同網(wǎng)絡(luò)性能指標(biāo)對(duì)比

結(jié)論

本文提出基于 RVCK-net 的多模態(tài)深度學(xué)習(xí)框架，融合高光譜與病理圖像特征，實(shí)現(xiàn)膀胱癌的精準(zhǔn)分級(jí)。實(shí)驗(yàn)結(jié)果表明，相較單模態(tài)模型，多模態(tài)融合在分類準(zhǔn)確率、魯棒性與診斷可靠性上均顯著提升。然而，研究仍存在局限：高光譜成像設(shè)備昂貴、操作復(fù)雜、采集耗時(shí)，可能限制其即時(shí)臨床應(yīng)用。本方法不僅在技術(shù)層面拓展了高光譜成像的醫(yī)學(xué)應(yīng)用邊界，也為膀胱癌早期檢出與分級(jí)提供了新工具。