應(yīng)用方向：

本研究展示了高光譜成像技術(shù)在腫瘤病理診斷領(lǐng)域，特別是膀胱癌分級預(yù)測中具有重要應(yīng)用價值。該技術(shù)可獲取組織切片的高維光譜信息，不僅保留顯微圖像的空間結(jié)構(gòu)特征，還揭示不同病變程度組織在光譜反射特性上的微小差異，此外，高光譜成像具備無損、無標(biāo)記和定量分析的優(yōu)勢，可用于病理切片中癌變區(qū)域的自動識別與特征提取，為數(shù)字病理診斷提供新的技術(shù)手段。

背景：

膀胱癌是全球*常見的泌尿系統(tǒng)惡性腫瘤之一，其發(fā)病率和死亡率近年來持續(xù)上升，已成為嚴(yán)重的公共衛(wèi)生問題。腫瘤分級是膀胱癌診療中的關(guān)鍵環(huán)節(jié)，能夠為個體化**方案制定和患者預(yù)后評估提供重要依據(jù)。然而，目前臨床上膀胱癌的分級主要依賴病理學(xué)家對組織切片的顯微觀察與主觀判斷，這種傳統(tǒng)方法存在診斷主觀性強、依賴經(jīng)驗、效率低且易出錯等問題，難以滿足臨床對快速、客觀、高精度診斷的需求。

為克服這些局限，人工智能技術(shù)尤其是深度學(xué)習(xí)在醫(yī)學(xué)影像分析中得到廣泛應(yīng)用，已在病灶檢測、圖像分割及腫瘤分類等任務(wù)中展現(xiàn)出優(yōu)異表現(xiàn)。然而，現(xiàn)有研究多依賴單一模態(tài)影像，未能充分融合多模態(tài)數(shù)據(jù)的互補信息，從而限制了診斷的**性與穩(wěn)定性。

高光譜成像（HSI）作為一種能夠同時獲取空間形態(tài)與光譜信息的新興技術(shù)，能夠揭示組織在不同波段下的光譜特征變化，對早期癌變組織具有高靈敏度和高分辨率，在皮膚癌、乳腺癌及肺癌等早期檢測中已展現(xiàn)潛力。但其在膀胱癌分級中的應(yīng)用尚處于起步階段，尤其是結(jié)合深度學(xué)習(xí)與多模態(tài)融合的研究仍然不足。

基于此，本文提出了一種融合高光譜成像與病理圖像的多模態(tài)深度學(xué)習(xí)模型，用于膀胱癌分級診斷。通過整合組織的光譜與空間結(jié)構(gòu)信息，并利用深度特征融合機制，實現(xiàn)了對膀胱癌組織的精準(zhǔn)分級與智能識別，為提升診斷的客觀性、精度與臨床可行性提供了新思路。

作者信息： 楊小青，山東**醫(yī)科大學(xué)**附屬醫(yī)院/山東省千佛山醫(yī)院病理科

期刊來源：Journal of Biophotonics

研究內(nèi)容

本文提出了一種基于深度學(xué)習(xí)的多模態(tài)融合模型RVCK-net，該系統(tǒng)集成了HSI和病理圖像以實現(xiàn)**的膀胱癌分級。通過利用來自兩種模態(tài)的空間和光譜信息并采用自適應(yīng)融合機制，實現(xiàn)了膀胱癌的準(zhǔn)確分級。本研究通過將高光譜成像與深度學(xué)習(xí)的結(jié)合，實現(xiàn)了膀胱癌組織病理分級的快速、客觀、非侵入式識別，為臨床早期診斷與個體化**提供智能輔助決策依據(jù)。

實驗設(shè)計

本研究的研究對象為在山東**醫(yī)科大學(xué)附屬**醫(yī)院泌尿外科住院的非肌層浸潤性膀胱癌（NMIBC）患者。病理切片采用3DHISTECH公司（匈牙利）的Pannoramic 250 掃描儀進行數(shù)字化，放大倍數(shù)為40×，共獲得120張全切片圖像（WSIs），其中包括50例低分級（LG）和70例高分級（HG）膀胱癌樣本，用于后續(xù)數(shù)字病理分析。

實驗中嚴(yán)格遵循標(biāo)準(zhǔn)化數(shù)據(jù)采集流程，使用20×物鏡的顯微高光譜系統(tǒng)采集高光譜數(shù)據(jù)。根據(jù)組織樣本面積，每張切片采集5–8幅高光譜圖像。雖然GaiaMicro-V10系統(tǒng)的原始空間分辨率為2048×2048像素，但研究人員手動裁剪出1392×1550像素的感興趣區(qū)域（ROI），以聚焦于腫瘤富集區(qū)域。為保證一致性與減少采樣偏差，ROI的選擇由病理專家確認(rèn)，僅包含腫瘤區(qū)域，排除了偽影、壞死或質(zhì)量較差的圖像。各病例采樣數(shù)量保持一致，采用分層抽樣以維持50例LG與70例HG樣本在訓(xùn)練與測試集中的比例。所有高光譜圖像數(shù)據(jù)通過光譜重采樣標(biāo)準(zhǔn)化為256個光譜波段。經(jīng)偽彩合成后，醫(yī)生對圖像進行診斷性標(biāo)注：首先標(biāo)定膀胱癌組織區(qū)域，再對不同分級腫瘤細(xì)胞進行分類標(biāo)注。*終獲得標(biāo)注完備的膀胱癌組織高光譜圖像塊，尺寸為1392×1550×256（寬×高×波段），用于后續(xù)數(shù)字分析。

本研究中使用的采集設(shè)備是GaiaMicro-V10顯微高光譜系統(tǒng)。GaiaMicro系列代表了能夠在寬光譜范圍內(nèi)捕獲組織光譜信息的高性能顯微高光譜成像系統(tǒng)（400- 1000 nm）。GaiaMicro-V10配備高靈敏度CCD傳感器，并具有 16 bit 的量化深度，可實現(xiàn)高動態(tài)范圍與高精度的光譜數(shù)據(jù)采集。其光學(xué)孔徑為 F/2.4，光譜分辨率為 2.8 nm，空間采樣間隔（像素尺寸）為 0.5μm，可在顯微尺度上獲取組織的精細(xì)結(jié)構(gòu)特征。系統(tǒng)生成的圖像尺寸為 2048×2048 像素，能夠?qū)崿F(xiàn)高空間分辨率的樣品精細(xì)分析并捕捉微小結(jié)構(gòu)細(xì)節(jié)。其系統(tǒng)結(jié)構(gòu)示意圖如圖 1 所示。

圖1 顯微高光譜成像系統(tǒng)結(jié)構(gòu)示意圖

研究方法

本研究選用了 Daubechies 4（db4）小波作為去噪基函數(shù)。分解層數(shù)設(shè)為 3 層，該參數(shù)通過實驗確定，可在保留主要光譜特征的同時有效抑制噪聲。在去噪過程中采用軟閾值方法，以削弱高頻噪聲而不破壞關(guān)鍵光譜信息；閾值選取依據(jù) Donoho 的通用閾值準(zhǔn)則，并分別應(yīng)用于每個光譜。閾值處理完成后，通過小波重構(gòu)得到去噪后的高光譜圖像。

本文提出一種面向病理圖像的跨模態(tài)交互融合網(wǎng)絡(luò)——RVCK-net，其架構(gòu)如圖2所示。模型采用雙分支設(shè)計，以 ResNet-34 與 Vision Transformer（ViT）協(xié)同完成特征提取，同步捕獲局部紋理、邊緣細(xì)節(jié)及全局上下文語義。ResNet-34 憑借殘差連接在深層網(wǎng)絡(luò)中有效保留局部細(xì)微特征，避免梯度消失；ViT 則通過自注意力機制建模長程依賴，提煉高階全局語義。二者互補，為復(fù)雜病理結(jié)構(gòu)的精準(zhǔn)解析提供**表征。在此基礎(chǔ)上，模型將兩條分支提取的特征輸入到基于交叉注意力機制的多尺度特征融合模塊中，實現(xiàn)不同模態(tài)特征的高效交互與信息互補，從而增強整體特征表達能力。融合后的特征經(jīng)由多層感知機（MLP）統(tǒng)一變換，并*終通過全連接層進行分類。

為防止模型過擬合，在全連接層前加入Dropout機制以提升模型的泛化性能。訓(xùn)練過程中采用 Adam 優(yōu)化器（初始學(xué)習(xí)率 0.001），批大小為 32，迭代 100 輪，并使用余弦退火（cosine annealing）學(xué)習(xí)率調(diào)度器動態(tài)調(diào)整學(xué)習(xí)率。上述參數(shù)均通過驗證集實驗優(yōu)化獲得，以實現(xiàn)*佳收斂性與泛化效果。

圖2  RVCK-net 結(jié)構(gòu)圖

為了客觀地評估各種模型的性能，作者采用了總體準(zhǔn)確度、**度、召回率、F1評分和Brier評分（BS）指標(biāo)作為膀胱癌分類的評價標(biāo)準(zhǔn)。此外，為了證明模型在不同場景下的魯棒性，這些評估度量與交叉驗證和置信區(qū)間相結(jié)合，以提供更可靠的性能評估。

結(jié)果

為確保高光譜成像（HSI）在膀胱癌分級中的準(zhǔn)確性與可靠性，設(shè)計了多步預(yù)處理流程。圖3 展示了從原始數(shù)據(jù)到*終去噪結(jié)果的演變，并量化各步驟對圖像質(zhì)量的提升效果。圖3a：原始圖像受噪聲與照明不均影響，癌與正常組織難以區(qū)分。圖3b：經(jīng)反射率校正后，照明均勻性顯著改善，平均信噪比（SNR）提升 21.3%，系統(tǒng)照明偽影被有效抑制，光譜可比性增強。圖3c：進一步采用小波多尺度去噪，在保留關(guān)鍵光譜-空間信息的同時抑制高頻噪聲；峰值信噪比（PSNR）再增 3.7 dB，背景方差降低 28.6%，充分保留診斷結(jié)構(gòu)并減少無關(guān)變異。

圖3 高光譜圖像預(yù)處理結(jié)果：(a) 原始高光譜圖像；(b) 反射率校正后圖像；(c) 小波變換去噪后圖像。

圖4 展示了不同分級膀胱癌腫瘤樣本經(jīng)高光譜成像獲取的光譜特征。(a) 為低級別與**別腫瘤的光譜強度曲線，(b) 為對應(yīng)的反射率光譜曲線。兩圖直觀呈現(xiàn)了不同分級腫瘤在光譜維度上的差異，為模型后續(xù)分類與分級提供了關(guān)鍵的光譜依據(jù)。

圖4  膀胱癌光譜曲線：(a) 原始光譜曲線；(b) 校準(zhǔn)后光譜曲線

為驗證多模態(tài)融合（病理 + 高光譜）在膀胱癌分級診斷中的有效性，作者設(shè)計了對照實驗：先分別單獨使用病理圖像與高光譜圖像進行特征提取與分類，以評估各模態(tài)的獨立貢獻；隨后采用 RVCK-net 融合兩類特征，驗證多模態(tài)協(xié)同帶來的性能增益。具體結(jié)果見表1。具體來說，病理圖像模型取得了83.6%的準(zhǔn)確率（±2.9%），Brier評分為0.69，而高光譜圖像模型的精度達到88.5%（±2.3%），Brier評分降低0.60。這表明高光譜成像在捕獲組織光譜細(xì)節(jié)方面的優(yōu)勢，使膀胱癌的診斷更加**。然而，無論是病理圖像還是高光譜圖像，單模態(tài)特征在準(zhǔn)確性和魯棒性方面都存在局限性，尤其是病理圖像模型在處理數(shù)據(jù)復(fù)雜度和光譜信息方面存在局限性，而高光譜圖像模型雖然能夠捕捉到豐富的光譜信息，但缺乏詳細(xì)的空間結(jié)構(gòu)信息。

相較于單模態(tài)模型，多模態(tài)融合框架 RVCK-net 在所有指標(biāo)上均實現(xiàn)顯著提升。通過整合病理圖像的空間細(xì)節(jié)與高光譜數(shù)據(jù)的光譜信息，RVCK-net 達到 91.7 % (±1.9 %) 的**率、90.6 % (±1.7 %) 的召回率、93.7 % (±1.6 %) 的 F1 分?jǐn)?shù)，以及 94.1 % (±1.5 %) 的總體準(zhǔn)確率；Brier 分?jǐn)?shù)降至 0.43，表明預(yù)測概率更具置信度與可靠性。融合策略不僅大幅提高了分類精度，還在應(yīng)對復(fù)雜病理特征時表現(xiàn)出更強的魯棒性，充分證明多模態(tài)互補能夠**捕獲膀胱癌組織的空間-光譜特性，從而增強對癌變區(qū)域的識別能力（見表 2）。

為了進一步驗證特征融合模塊在膀胱癌分級模型中的有效性，作者使用三種不同的特征融合方法進行了消融實驗：簡單連接（Concat），連接后進行卷積（Concat+Conv），實驗結(jié)果表明，采用簡單拼接的模型準(zhǔn)確率為88.9%（±2.3%），Brier評分為0.58。引入卷積后，準(zhǔn)確率提高到90.2%（±2.0%），Brier得分下降到0.53，說明卷積運算起到了增強特征提取能力的作用，但隨著多模態(tài)融合策略的使用，模型性能**提升，準(zhǔn)確率達到94.1%（±1.5%），并進一步將Brier評分降至0.43，采用不同融合策略的消融實驗進一步驗證了多模態(tài)融合模塊的優(yōu)越性。

圖5與圖6分別展示了混淆矩陣及核心指標(biāo)（準(zhǔn)確率、**率、召回率、F1 分?jǐn)?shù)）。綜合可見，RVCK-net 在多項關(guān)鍵指標(biāo)上均表現(xiàn)*優(yōu)。圖5b的混淆矩陣顯示，RVCK-net僅出現(xiàn)1例假陽性、未發(fā)生假陰性，測試階段所有陽性樣本均被檢出，這一特性對亟需高敏感度的早期篩查尤為關(guān)鍵。結(jié)合圖6的量化指標(biāo)，RVCK-net在多項評價維度上均居前列，其召回率顯著優(yōu)于其他模型，提示假陰性率大幅降低，同時在敏感度與**度之間實現(xiàn)了更佳平衡。

本研究將所提出的 RVCK-net 模型 與多種先進模型進行了對比，包括 CAFNet（基于通道注意力機制的CNN模型）、UbiSpectNet（結(jié)合Transformer結(jié)構(gòu)以增強光譜特征提取的網(wǎng)絡(luò)）、AMM-Fusion（融合空間、光譜與形態(tài)特征的注意力引導(dǎo)多模態(tài)融合模型）以及傳統(tǒng)的多模態(tài)融合模型（Concat+ConvBlock）。由圖6可見：CAFNet**率較高，但召回率顯著落后，混淆矩陣顯示假陰性多，易遺漏真實的癌變樣本。UbiSpectNet同樣假陰性偏高，對**別腫瘤識別能力不足。簡單多模態(tài)拼接+卷積塊（Concat+ConvBlock）各指標(biāo)均衡，但整體性能不及RVCK-net與AMM-Fusion。AMM-Fusion憑借自適應(yīng)注意力融合在各項指標(biāo)上拔得頭籌，表現(xiàn)*佳；然而其復(fù)雜架構(gòu)帶來的計算開銷在需要高效診斷的場景下不如RVCK-net有利。

圖5  各模型混淆矩陣。(a) UbiSpectNet；(b) RVCK-net；(c) CAFNet；(d) 多模態(tài)融合（Concat+ConvBlock）

圖6  不同網(wǎng)絡(luò)性能指標(biāo)對比

結(jié)論

本文提出基于 RVCK-net 的多模態(tài)深度學(xué)習(xí)框架，融合高光譜與病理圖像特征，實現(xiàn)膀胱癌的精準(zhǔn)分級。實驗結(jié)果表明，相較單模態(tài)模型，多模態(tài)融合在分類準(zhǔn)確率、魯棒性與診斷可靠性上均顯著提升。然而，研究仍存在局限：高光譜成像設(shè)備昂貴、操作復(fù)雜、采集耗時，可能限制其即時臨床應(yīng)用。本方法不僅在技術(shù)層面拓展了高光譜成像的醫(yī)學(xué)應(yīng)用邊界，也為膀胱癌早期檢出與分級提供了新工具。