近年來，無人機高光譜遙感憑借高空間分辨率、高光譜分辨率以及靈活快速的數據獲取能力，已成為生態環境監測的重要技術手段。在農業、森林、濕地、水體生態以及植被健康評估等領域，無人機高光譜系統能夠獲取數百甚至上千個連續光譜波段，實現傳統遙感無法完成的精細化參數反演。

然而，隨著傳感器性能不斷提升，高光譜遙感數據規模呈指數級增長。一架無人機一次飛行即可產生數GB甚至TB級影像數據，每個像素均包含連續光譜信息，形成典型的“海量、高維、復雜”數據特征。

在生態遙感應用中，研究人員通常需要利用機器學習和深度學習算法建立光譜特征與生態參數之間的關系，例如：

• 植被氮含量、葉綠素含量反演；

• 森林生物量估算；

• 病蟲害智能識別；

• 水質參數預測；

• 土壤理化性質分析。

但傳統機器學習流程存在一個重要問題——數據泄漏（Data Leakage）。

當訓練集與測試集中存在高度相似的數據樣本時，模型可能并非真正學習生態目標與光譜特征之間的規律，而是“記住”了訓練數據中的相似信息，從而導致模型評價結果虛高，實際推廣能力下降。

對于無人機高光譜生態遙感而言，不同區域、不同季節、不同生長階段的數據往往具有明顯差異。如果模型僅在隨機劃分的數據集上表現良好，卻無法適應新的區域和環境條件，就難以真正服務生態監測業務。

因此，如何降低數據泄漏風險，提高人工智能模型面對未知區域和復雜環境的泛化能力，是當前高光譜遙感智能化發展的關鍵問題。

本文介紹的研究發表于 Nature Communications（2025），論文提出了一種用于降低機器學習數據泄漏的新型數據劃分框架——DataSAIL-DataSplittingto-Avoid-Information -Leakage。

論文指出，在機器學習模型訓練過程中，傳統隨機劃分方法容易造成訓練集和測試集之間的信息泄漏，使模型性能評價出現偏差。尤其是在具有復雜相似關系的數據中，例如生物信息、高維光譜數據等，這種問題更加突出。

計算數據相似性

首先，根據數據特征建立樣本之間的距離或相似度關系。例如：

DataSAIL支持用戶提供自定義相似度計算方法。對于無人機高光譜遙感，可以對應為：

面對大規模數據，逐個樣本比較計算量巨大。因此DataSAIL首先對數據進行聚類，將相似樣本歸為不同數據簇，再對數據簇進行優化劃分。

論文采用聚類方法將大量數據壓縮成有限數量的數據組，然后利用優化算法完成數據分配。

對于無人機高光譜數據：

例如：

100萬像素 × 400個波段的數據，可以先根據光譜特征聚類：

再進行智能劃分，提高計算效率。

優化數據劃分策略

論文將數據劃分定義為一個組合優化問題，通過整數線性規劃（ILP）尋找：

的訓練測試劃分方案。

研究證明，該問題屬于NP-hard問題，因此作者提出了一種基于聚類和整數規劃結合的啟發式算法，實現大規模數據處理。

實驗結果顯示，DataSAIL能夠明顯降低訓練集和測試集之間的信息泄漏，使機器學習模型在未知數據上的評價更加真實。

構建高光譜AI模型訓練體系

目前無人機高光譜生態應用通常采用：

高光譜影像
↓
特征提取
↓
機器學習建模
↓
生態參數反演

例如：

光譜數據 → PLSR / Random Forest / SVM / CNN
→ 氮含量預測
→ 空間分布制圖

但如果訓練數據劃分不合理，模型可能只適用于當前實驗區域。

結合DataSAIL方法，可以按照光譜相似性進行數據劃分：

訓練區域：

• A區域春季數據

測試區域：

• B區域夏季數據

確保模型真正學習生態規律，而不是區域特征。

支撐無人機高光譜跨區域應用

生態遙感最大的需求是：

“一地建模，多地應用”。

例如：

利用某區域無人機高光譜數據建立：

• 水稻氮素模型；

• 森林健康評價模型；

• 草地退化監測模型。

未來需要推廣到：

• 不同年份；

• 不同氣候；

• 不同地貌區域。

通過類似DataSAIL的數據劃分方法，可以提前模擬真實應用環境，提高模型泛化能力。

面向海量數據的智能化流程

未來無人機高光譜生態遙感數據處理流程可升級為：

無人機采集

↓

高光譜數據預處理

（輻射校正、幾何校正、拼接）

↓

光譜特征智能篩選

（PCA、SPA、CARS、深度學習）

↓

數據相似性分析

（光譜距離、空間距離）

↓

智能數據劃分

（DataSAIL思想）

↓

AI模型訓練

（RF、SVM、Transformer、CNN）

↓

生態參數精準反演

實現從“數據驅動”向“可靠智能遙感”轉變。

無人機高光譜遙感正在推動生態監測從傳統人工調查向智能化、精細化方向發展。但面對海量、高維、多源數據，如何保證人工智能模型可靠性成為新的挑戰。

Nature Communications發表的DataSAIL方法，通過減少數據泄漏、優化訓練測試劃分，為高光譜遙感AI模型提供了一種新的數據管理思路。

未來，將高光譜遙感技術、人工智能算法以及可靠的數據質量控制方法相結合，有望進一步提升生態監測模型的跨區域應用能力，實現更加精準、高效的大范圍生態環境感知。