在自然界中,果蠅(Drosophila)經(jīng)過數(shù)百萬年進化,擁有了一套"光學+肌肉+神經(jīng)"三級協(xié)同的視覺系統(tǒng):復眼負責全景感知,頭部肌肉在暗光下主動彎曲以持續(xù)鎖定目標,神經(jīng)回路則把動態(tài)視覺信號實時重建為場景。這套機制讓果蠅能以極低的硬件成本實現(xiàn)遠超人類眼睛的視野覆蓋和動態(tài)響應(yīng)——也正是下一代可穿戴視覺、混合現(xiàn)實(MR)、機器視覺夢寐以求的藍圖。遺憾的是,過去十余年間,人工復眼(ACE)的研究大多止步于對自然復眼(NCE)光學結(jié)構(gòu)的仿制。而果蠅視覺的精妙之處,在于其“光學感知—運動調(diào)控—神經(jīng)處理"的三級協(xié)同機制。其中,依靠頭頸肌肉主動彎曲以擴展視野、鎖定目標,以及經(jīng)由 lamina–medulla–lobula 神經(jīng)通路重建場景這兩級核心機制,在典型ACE架構(gòu)中長期缺位。由于結(jié)構(gòu)固化導致“轉(zhuǎn)頭"機制的缺失,加之果蠅神經(jīng)機制近年才逐步明晰,ACE始終難以真正跑通混合現(xiàn)實(MR)的應(yīng)用閉環(huán)。
近日,香港理工大學張需明教授(通訊作者)、姜衡博士(第一作者)團隊在《Nature Communications》國際期刊上在線發(fā)表題為"Flexible artificial compound eye cameras for ultrawide continuous tracking in mixed reality" 的原創(chuàng)性論著。

該研究提出并實現(xiàn)了一種柔性人工復眼相機(FACEcam),把果蠅視覺的"三級協(xié)同"完整搬到了硬件上:
· 第一級—復眼光學|解決“光路僵局":將159根帶法蘭塑料光纖穿入精密3D打印穹頂,法蘭端對準曲面前端微透鏡陣列,一對一模擬果蠅小眼(ommatidium)的"角膜–晶錐–感桿"光路,構(gòu)建仿生小眼陣列。該設(shè)計在團隊基于光纖全內(nèi)反射特性工作的基礎(chǔ)上(H. Jiang et al., Light: Science & Applications 13, 256, 2024),進一步利用塑料光纖的柔性及曲面微透鏡陣列的制備,實現(xiàn)了“曲面接收—平面成像"的無損傳輸。
· 第二級—肌肉運動|突破“半球視場"的物理極限:引入兩根系繩(Tethers)模擬果蠅頸部肌肉,賦予復眼主動彎曲能力。這是典型ACE最大的痛點——結(jié)構(gòu)固定,視場角被鎖死,弱光下目標無法累計信號增強。而FACEcam通過主動彎曲±45°,將有效視場角一舉拓展至270°,同時通過在弱光下追蹤目標可實現(xiàn)目標信號增強。這是團隊在之前飛蛾仿生弱光增強技術(shù)之后的又一種弱光增強技術(shù)探索(H. Jiang et al., Science Advances, 11 eady2069, 2025)。
· 第三級—神經(jīng)處理|打通“物理—虛擬"的實時鏈路:創(chuàng)新性地對齊果蠅視覺通路的Lamina→Medulla→Lobula層級,在最高達7,000 fps感知速度的基礎(chǔ)上,構(gòu)建專用CNN架構(gòu)。這不僅是對生物神經(jīng)信號的模仿,更是為了彌補硬件限制:算法分類與映射光纖傳來的信號,真正實現(xiàn)了混合現(xiàn)實場景的高速重構(gòu)。

FACEcam 里幾個關(guān)鍵異形件——直徑 12.6 mm 的穿孔穹頂、平面集束盤、孔徑光闌、軛架外殼——都是采用摩方精密面投影微立體光刻(PμSL)技術(shù)( nanoArch® S140,精度:10 μm) 打印制備完成。黑色光敏樹脂直接成型既能保證亞毫米級孔位精度,又能吸雜散光,省掉后續(xù)涂黑工序;法蘭光纖一根根穿進 159 孔穹頂后,法蘭端面貼死球殼外表面,并對準相應(yīng)的微透鏡,保證了光纖與微透鏡光軸指向一致性。

團隊圍繞"超廣角感知—暗光追蹤—MR重構(gòu)"主線,對FACEcam進行了系統(tǒng)性驗證。
首先是全景成像能力。如圖3所示,得益于光纖陣列與微透鏡的精密耦合,FACEcam在靜態(tài)下即可實現(xiàn)約180°的高質(zhì)量全景成像;而當引入主動彎曲機制后,系統(tǒng)有效視場角被拓展至270°。通過解析點擴散函數(shù),系統(tǒng)還能估算目標距離,賦予了復眼“感知深度"的能力。

其次是暗光下的主動追蹤。如圖4所示,當環(huán)境照度低至0.1 lux時,傳統(tǒng)固定復眼難以捕捉的目標,F(xiàn)ACEcam通過模擬果蠅“扭脖子"的動作,將目標鎖定在同一像素區(qū)域進行多幀疊加,顯著提升了信號,實現(xiàn)了弱光環(huán)境下的穩(wěn)定追蹤。

最后是MR場景的高速重構(gòu)。如圖5所示,佩戴FACEcam的受試者頭部不動,僅靠復眼主動彎曲,即可將視場拓展至270°,成功捕捉到視野邊緣的目標。結(jié)合仿生CNN算法,系統(tǒng)以毫秒級延遲將物理世界的目標映射為虛擬影像,實現(xiàn)了虛實世界的無縫交互。

從果蠅的視覺奧秘到混合現(xiàn)實的落地實踐,這項研究完成了一次真正意義上的“全棧仿生"。FACEcam 并未止步于靜態(tài)光學結(jié)構(gòu)的模仿,而是通過159通道光纖陣列與曲面微透鏡陣列的精密耦合,構(gòu)建了仿生復眼;更突破性地將“主動彎曲"的機械機制引入人工復眼,使其擁有了類似生物的“脖頸",得以在暗光下主動追蹤增強信號,并將視場動態(tài)拓展至270°。在此基礎(chǔ)上,團隊對齊果蠅視覺通路的專用仿生卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)了從物理信號到虛擬空間的毫秒級映射。這種“曲面復眼+主動追蹤+神經(jīng)算法"的深度協(xié)同,不僅補齊了典型ACE在運動控制與神經(jīng)處理層面的空白,更為下一代可穿戴MR設(shè)備、仿生機器人提供了一個兼具廣闊視野與“生物直覺"的視覺新范式。
立即詢價
您提交后,專屬客服將第一時間為您服務(wù)