本文所分享的論文，其通訊作者為香港科技大學（廣州）賀登博老師，如需了解更多研究動態或實驗室信息，訪問實驗室：HIS Lab - Homepage

文末有原文分享！

圖1 擬議的CogFormer系統用于駕駛員認知負荷檢測的概述

1. 認知負荷理論：認知負荷是個體完成任務時所需的信息處理容量與認知資源，高認知負荷會導致駕駛員反應延遲、風險感知能力下降，嚴重損害自動駕駛接管性能。

2. 多模態融合理論：多生理信號（心電、皮電、呼吸）可從不同維度反映自主神經活動，相比單一信號，能更全面、精準地表征駕駛員認知負荷水平。

3. Transformer注意力機制理論：自注意力機制可有效捕捉時序信號的長距離依賴關系，對齊注意力可實現多模態信號的有效融合，解決傳統模型時空信息利用不足的問題。

• 假設1：本研究提出的CogFormer模型，在L3級條件自動駕駛場景下，駕駛員認知負荷估計的準確率、F1分數、AUC指標，顯著優于現有主流基線模型。

• 假設2：ECG、EDA、RESP三類生理信號的全量融合，相比單一信號、雙信號組合，能顯著提升模型的認知負荷估計性能。

• 假設3：多流Transformer編碼模塊、對齊注意力模塊，是CogFormer模型的核心貢獻模塊，剔除任一模塊都會導致模型性能顯著下降。

• 假設4：CogFormer模型在數據缺失、噪聲干擾的真實場景下，魯棒性顯著優于現有主流基線模型。

參與者：兩個數據集合計130名有效參與者，其中自建CAM-CLD數據集42名中國駕駛員，公開MADT-D數據集88名歐洲駕駛員。

實驗設計：采用3（接管場景）×7（認知任務類型）的被試內設計，通過拉丁方設計平衡場景與任務的順序效應，合計21種實驗條件，每種條件2名受試者。

圖2 場景流程

模型架構：提出CogFormer對齊注意力Transformer網絡，采用多流Transformer編碼結構，分別對ECG、EDA、RESP信號做特征提取，通過對齊注意力機制在決策層完成多模態融合，最終輸出認知負荷等級分類結果。

數據采集：通過專業傳感器采集100Hz采樣率的ECG、EDA、RESP原始生理信號，同步采集駕駛行為數據與主觀量表評分。

圖3 驅動平臺的設備(a)及生理傳感器的放置位置(b)。

測量工具：采用NASA-TLX任務負荷指數量表、KSS嗜睡量表做認知負荷主觀標注；設置3類認知任務（n-back、數學計算、空間認知）構建不同等級的認知負荷；采用準確率、F1分數、AUC作為模型性能評估指標。

圖4 (a) n-back任務、(b) 數學任務以及(c) 認知空間任務。

驗證方案：采用被試內5折交叉驗證、被試間留一法交叉驗證兩種方案；設置6種主流基線模型做對比；通過消融實驗驗證核心模塊的有效性；通過噪聲/缺失數據測試驗證模型魯棒性。

固定基座駕駛模擬器 + 三聯屏顯示系統 + 駕駛仿真軟件（Silab 7.1），用于搭建 L3 級自動駕駛場景、發出接管指令、記錄駕駛行為。

采集駕駛員的ECG、EDA、RESP數據。

記錄駕駛員在條件自動駕駛過程中的眼動行為數據。

將ECG、EDA、RESP生理信號與眼動注視軌跡在統一的時間軸上完成精準對齊，同時接入駕駛模擬器的車輛狀態數據，實現“生理—視覺—駕駛行為"三模態數據的聯合采集。

1.模型精度：本研究提出的CogFormer模型，被試內驗證最高準確率達95.28%，被試間驗證最高準確率達66.59%，兩項核心指標均全面優于所有參比基線模型。

圖5 采用不同時間范圍的被試內數據劃分方案所得混淆矩陣：(a) MADT -D：數學任務；(b)CAM- CLD ：認知空間任務；(c)CAM- CLD ：數學任務；(d)CAM- CLD ：N-back任務。

圖6 采用不同時間范圍的跨被試數據劃分方案所得混淆矩陣：(a) MADT -D：數學任務；(b)CAM- CLD ：認知空間任務；(c)CAM- CLD ：數學任務；(d)CAM- CLD ：N-back任務。

2.多模態融合效能：ECG、EDA、RESP三類生理信號全量融合方案，其識別精度顯著優于單一信號及任意雙信號組合，充分驗證了多模態互補融合的核心價值。

圖7 CogFormer在不同生理信號組合與時間范圍下的預測精度：(a) MADT -D：數學任務；(b)CAM- CLD ：認知空間任務；(c)CAM- CLD ：數學任務；(d)CAM- CLD ：N-back任務。

3.場景魯棒性：在20%數據缺失疊加高斯噪聲的混合干擾場景下，模型精度降幅顯著低于同期基線模型，具備更強的真實場景抗干擾能力。

4.行業共性瓶頸：所有參比模型均出現被試間泛化性能大幅下滑的現象，驗證了個體生理差異是當前駕駛員認知負荷估計領域亟待突破的核心技術難題。

1. 核心結論：本研究提出的CogFormer模型，可有效適配SAEL3級條件自動駕駛場景，無需復雜的人工特征提取，僅通過原始生理信號即可實現高精度、高魯棒性的駕駛員認知負荷估計，為自動駕駛駕駛員狀態監測系統的設計提供了核心技術支撐。

2. 研究局限：模型未區分認知負荷的來源；被試間泛化能力仍有不足；未針對接管前瞬時的認知負荷做高精度監測。

3. 未來方向：融合駕駛員視覺行為、交通上下文信息優化模型；設計適配個體差異的泛化算法；拓展接管過程中的認知負荷實時估計研究。

掃描上方二維碼獲取