中國大唐能投公司總經理李英俊：復眼全景視頻融合系統在露天煤礦大場景多目標監(jiān)管的應用
摘要
復眼全景視頻融合系統采用全景億像素陣列攝像機+低點位攝像機、人工智能算法和全景監(jiān)控平臺的結合，實現了人員、車輛的多點監(jiān)控、多細節(jié)放大、立體化聯動等功能，滿足露天礦的大場景應用。勝利東二號露天煤礦采場是復眼全景視頻融合系統應用的典型案例，表明在露天煤礦大場景下安全管理應用的可行性，貼合露天礦安全管控的實際需求，推動了傳統露天礦現場管理模式的改變，全面助力安全生產及監(jiān)管智能化，促進露天煤礦行業(yè)向安全、智能、高效的方向發(fā)展。
文章來源：《智能礦山》2025年第4期“數智露天礦技術與應用專題”
第一作者：李英俊，教授級高級工程師，現任中國大唐集團能源投資有限責任公司董事、總經理、黨委副書記，主要從事企業(yè)管理、采礦工程的相關研究工作。E-mail：931145647@qq.com
作者單位：中國大唐集團能源投資有限責任公司；內蒙古大唐國際錫林浩特礦業(yè)有限公司
引用格式：李英俊，張軍，郭虹兵.復眼全景視頻融合系統在露天煤礦大場景多目標監(jiān)管的應用[J].智能礦山，2025，6(4)：47-53.
點擊文末左下角閱讀原文，免費下載閱讀pdf全文
隨著AI、物聯網、數字孿生等技術與露天煤礦開采管理的逐步融合，國內露天煤礦的開采管理模式正由機械化、自動化向數字化、智能化快速發(fā)展。國家對露天煤礦采場的監(jiān)控和管理提出了更高要求，為適應露天煤礦采場的大場景，提出了復眼全景視頻融合技術的應用，為露天煤礦采場等大場景及多類型移動設備全方位安全監(jiān)管，提供可靠的技術支撐。
復眼全景視頻融合系統功能及架構
復眼全景視頻融合系統是由復眼全景視頻感知系統和爆破面監(jiān)控監(jiān)管子系統組成，復眼全景視頻感知系統由部署在前端的復眼感知器（含細節(jié)甄別球機）和部署在模塊化機房的復眼視頻重建存儲一體化服務器及復眼全景可視化綜合管理平臺組成；爆破面監(jiān)控監(jiān)管子系統是由部署在模塊化機房的爆破面監(jiān)控監(jiān)管業(yè)務可視化管理端服務器及數據分析處理平臺部分組成。復眼全景視頻融合系統組成如圖1所示。
圖1 復眼全景視頻融合系統組成
1.1 復眼全景視頻融合系統功能
（1）復眼感知器是基于仿生學原理，仿造蜻蜓復眼結構，通過圖像處理和機器學習算法，實現對視頻的實時分析。復眼感知器將具有鷹眼視力的長短焦光學鏡頭組成成像陣列，通過復眼重建算法，重建出具有廣角和特寫兼?zhèn)涞某呖臻g分辨率的圖像。
（2）復眼視頻存儲重建一體化服務器包含視頻重建及存儲軟硬件，是復眼全景視頻感知系統全景視頻重建、像素級融合、視頻存儲的重要處理服務器。完成對來自復眼感知器的多路視頻的編碼、視頻重建、像素點級融合工作，并可同步完成復眼感知器（含細節(jié)甄別球機）及高、低聯動視頻監(jiān)控等設備的視頻數據的同步存儲、循環(huán)覆蓋、數據冗余備份、事件圖片歸檔存儲等，實現歷史記錄數據的查詢調取。
（3）爆破面監(jiān)控監(jiān)管子系統從復眼視頻重建存儲一體化服務器獲取視頻流后，對視頻流進行AI分析處理，輸出完整的露天礦生產現場全景視頻監(jiān)控圖像，具備電子圍欄、車輛跟蹤、攝像機聯動、危險行為預警等監(jiān)控監(jiān)管功能。全景視頻監(jiān)控圖像具有超大范圍、超高分辨率、基本無畸變等特點，并具備整體性、連續(xù)性等屬性。拼接輸出的視頻監(jiān)控圖像可覆蓋5 km2作業(yè)區(qū)域，水平視場角可達100°，畫面放大后視頻圖清晰顯示細節(jié)。可多人同時動態(tài)縮放全景視頻監(jiān)控圖像，實現對整個生產現場安全生產情況的實時掌握及對安全生產態(tài)勢的宏觀掌控。
1.2 復眼全景視頻融合系統架構
（1）基于非結構陣列感知原理，構建非結構陣列像感器多模態(tài)多尺度陣列感知架構，建立環(huán)境自適應感知模型，根據感知目標、觀測距離、環(huán)境光和天氣的情況，智能調整每個感知模態(tài)，實現復雜環(huán)境大視場多對象的魯棒高通量感知，非結構動態(tài)光場感知技術如圖2所示。
圖2 非結構動態(tài)光場感知技術
（2）多模態(tài)陣列智能融合方法，刻畫多模態(tài)多尺度圖像之間的關聯關系，通過跨模態(tài)跨尺度映射融合方法，實現多模態(tài)信息的有機融合與高保真重建。
（3）跨尺度場景內容映射包括全局尺度映射、特征點池化、局部尺度分塊映射3步。通過全局及局部分尺度特征匹配技術，通過全局尺度映射找到得到精度高魯棒的匹配點，再通過局部尺度分塊映射優(yōu)化匹配點精度，解決跨尺度匹配中分辨率差距過大造成的匹配難問題；特征點池化技術提高了映射參數估計的魯棒性和效率，跨尺度場景內容映射如圖3所示。
圖3 跨尺度場景內容映射
（4）跨異構像感器多尺度高頻遷移融合，跨尺度場景內容映射實現了局部到全局的映射，但受限于分塊大小，無法處理細小物體造成的視差。提出跨異構像感器多尺度高頻遷移融合網絡CrossNet，將跨尺度映射的局部圖像與全局圖像進一步對齊并融合。CrossNet包括2級對齊模塊、圖像編碼器、解碼器模塊，多尺度融合網絡CrossNet如圖4所示。
圖4 多尺度融合網絡CrossNet
（5）跨異構像感器RGB-深度高頻遷移融合，通過多尺度高頻遷移融合提高空間分辨率，跨異構像感器多尺度融合應用在不同維度數據上，通過RGB-深度高頻遷移融合實現高分辨深度感知。輸入全局多視角深度信息和局部高分辨細節(jié)圖像，RGB-深度高頻遷移融合網絡將高分辨細節(jié)圖像信息和低分辨全局深度信息融合，得到高分辨局部深度圖，跨異構像感器RGB-深度高頻遷移融合如圖5所示。
圖5 跨異構像感器RGB-深度高頻遷移融合
（6）大場景空間-視角隱式編碼重建，刻畫大場景多對象光場的空間-視角冗余特性，建立非結構層內-層間大場景多對象的映射關系，研究光場空間-視角隱式編碼方法，實現大場景多對象光場的高效高分辨重建。場景空間-視角隱式編碼光場重建方法如圖6所示。
圖6 大場景空間-視角隱式編碼光場重建方法
復眼全景視頻融合系統特點
復眼全景視頻融合技術具有全景相機視頻畫面漫游、多細節(jié)框放大、設備部署簡單等特點，更好地適應像露天采場大場景。在全景相機視頻畫面漫游中對礦場區(qū)域全景監(jiān)控視頻進行畫布漫游操作，通過鼠標滾輪放大或縮小全景畫面中的任意區(qū)域，通過框選可放大任何區(qū)域細節(jié)并支持拖動畫面進行位置選擇，全景視頻畫面如圖7所示。
圖7 全景視頻畫面
復眼全景視頻融合系統最多可支持3個細節(jié)窗口放大功能，多人同時預覽不同細節(jié)畫面，根據不同需求實現對作業(yè)現場的全面管控而互不干擾，滿足同時監(jiān)控多個重點區(qū)域的需求。多細節(jié)重點區(qū)域展示如圖8所示。設備部署包含前端視頻采集終端和后端數據分析服務器2部分，前端設備可因地制宜部署于已有建筑物或水泥桿體上，后端設備部署于機房內，前后端設備通過光纖或微波網絡完成連接，可根據實際需求實現快速安裝、快速應用，設備現場部署情況如圖9所示。
圖8 多細節(jié)重點區(qū)域展示
圖9 設備現場部署情況
復眼全景視頻融合系統解決的問題
露天煤礦覆蓋范圍廣、設備機動性強、人員活動靈活，隨著開采規(guī)模和產量的不斷擴大，車輛和人員數量也在不斷增加，對車輛和人員實時定位跟蹤管理十分重要。傳統視頻監(jiān)控系統和技術對目標的跟蹤畫面清晰度較低且對目標的識別精度低，無法快速確認目標，復眼全景視頻融合系統通過復眼全景相機，以及多目標識別深度學習算法，有效解決了車輛跟蹤速度慢及定位準確率低的問題。
勝利東二號露天煤礦應用情況
勝利東二號露天煤礦（簡稱勝利東二礦）露天煤礦安全管理系統集成了復眼全景可視化綜合管理平臺。實現了采場精細化、可視化安全生產管理，在采場北側非工作幫固定點位布設2臺復眼全景視頻融合技術的億像素陣列計算攝像機，陣列攝像機正對主采區(qū)工作面，主要監(jiān)測作業(yè)區(qū)域內的人、車活動情況。采集到的視頻數據經微波基站接入礦山萬兆環(huán)網，經視頻存儲重建一體化服務器，推出耦合后的視頻到視頻界面，并通過AI分析實現智能感知和預警。
4.1 實現多目標高精度識別和感知
勝利東二礦采用的全景超高清視頻流由36個細節(jié)鏡頭通過融合算法拼接，視頻拼接后畫面水平視場角達到90°，整體畫面超過3億像素，可同時清晰觀察1.5 km范圍內所有設備動作及人員活動情況，框選任意區(qū)域均可預覽4 K清晰畫質。目前全景相機點位位于北側非工作帶，覆蓋區(qū)域如圖10所示。
圖10 全景相機點位覆蓋區(qū)域
復眼全景視頻融合技術實現的全景監(jiān)控使得目標在空間中的相對位置關系明顯，便于多目標查找。對采場中不同人員和車輛等監(jiān)控目標識別精度低的問題，部署對應的多目標識別深度學習算法來解決，實現了在露天采場復雜環(huán)境下目標的高精度識別和感知，多目標實時識別如圖11所示。
圖11 多目標實時識別
4.2 實現車輛在可控范圍內快速跟蹤定位
勝利東二礦各類車輛型號多，傳統車輛設備終端的跟蹤定位需GIS地圖的圖層展示，再結合視頻監(jiān)控實時顯示移動車輛等設備的分布情況。復眼全景可視化綜合管理平臺依靠部署的車輛跟蹤算法和全景相機聯合球機的坐標轉換技術，實現了對框定車輛的實時跟蹤，解決了對車輛跟蹤速度慢的問題，滿足車輛作業(yè)情況的動態(tài)實時監(jiān)控需求，車輛在可控范圍的跟蹤如圖12所示。
圖12 車輛在可控范圍跟蹤
車輛跟蹤使用改進DeepSORT算法，使用全尺度網絡（OSNet）替換Deep SORT中的淺層殘差網絡進行全方位特征學習，更好地實現車輛重識別，提高目標跟蹤定位準確性。在全景相機聯合球機的坐標轉換技術中全景系統支持多路低點位接入，實現全景相機與低點位相機聯動。在全景系統中框選區(qū)域后，球機快速定位至選定區(qū)域，解決了傳統球機無法快速定位的問題。在億像素陣列計算攝像機的全景畫面上發(fā)現目標后，自動聯動低點位相機對局部區(qū)域或具體目標進一步特寫放大，以實現對動態(tài)目標的快速跟蹤定位，滿足對違章或高風險作業(yè)行為的快速確認。全景相機與球機聯動如圖13所示。
圖13 全景相機與球機聯動
4.3 實現管控區(qū)域車輛闖入報警
復眼全景可視化綜合管理平臺依托全景算法實現區(qū)域防控。在有滑坡風險或人員墜落風險的區(qū)域劃設電子圍欄，當系統檢測到人員或車輛進入管控區(qū)域后會形成報警數據，管理人員第一時間發(fā)現異常情況并予以管控。在現場爆破作業(yè)時，為防止人員、車輛誤入爆破區(qū)域造成重大安全事故，在采場全景視頻中劃定爆破面警戒區(qū)，平臺實時監(jiān)控爆破全過程全區(qū)域全細節(jié)，發(fā)現人員或設備進入警戒區(qū)域，系統快速彈出預警界面并進行聲光警示，實現現場安全管控。管控區(qū)域車輛闖入報警如圖14所示。
圖14 管控區(qū)域車輛闖入報警
通過復眼全景視頻融合系統對礦場危險區(qū)域統一管理，減少人工現場監(jiān)管、檢查頻次，降低人員管理成本，提高監(jiān)管效率；及時將監(jiān)控區(qū)域內的違規(guī)信息存儲到數據庫中，包括時間、地點、快照、視頻等，方便事后查詢。基于AI智能檢測分析、平臺視頻處理等方法，使得復眼全景視頻融合技術可以監(jiān)測和預警車輛是否闖入，減少礦場的安全事故發(fā)生，重點管控區(qū)域電子圍欄如圖15所示。
圖15 重點管控區(qū)域電子圍欄
4.4 實現管控區(qū)域人員違規(guī)下車預警
復眼全景可視化綜合管理平臺的檢測算法可自動檢索監(jiān)控畫面內是否有人員違規(guī)下車，若發(fā)現有人員出現在監(jiān)控畫面內，以紅色線框對人員加以標注，并在平臺主界面上彈出預警信息，管理人員第一時間發(fā)現人員下車并采取管控措施。管控區(qū)域人員闖違規(guī)下車預警如圖16所示。
圖16 管控區(qū)域人員闖違規(guī)下車預警
結 語
復眼全景視頻融合系統解決了露天礦采場復雜場景中對目標識別精度低、無法快速確認目標、對車輛跟蹤響應慢和定位準確率低等問題。在未來的煤礦智能化發(fā)展中，復眼全景視頻融合系統應用到煤礦的其他大場景中，輔助大型復雜露天環(huán)境、多類型移動設備的安全監(jiān)控監(jiān)管。復眼全景視頻融合技術全面助力安全生產及監(jiān)管智能化，促進煤礦行業(yè)向安全、智能、高效的方向發(fā)展，并對推動整個煤炭行業(yè)持續(xù)蓬勃發(fā)展具有重要的意義。
END
編輯丨李莎
審核丨趙瑞
煤炭科學研究總院期刊出版公司擁有科技期刊21種。其中，SCI收錄1種，Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種，是煤炭行業(yè)最重要的科技窗口與學術交流陣地，也是行業(yè)最大最權威的期刊集群。
《智能礦山》
Journal of Intelligent Mine
月刊CN 10-1709/TN，ISSN 2096-9139，聚焦礦山智能化領域產學研用新進展的綜合性技術刊物。
主編：王國法院士
投稿網址：www.chinamai.org.cn（期刊中心-作者投稿）
聯系人：李編輯 010-87986441
往期薦讀
往期特刊
中國煤科特刊
陜煤集團特刊
神東專欄
重大進展特刊
露天礦特刊
理事單位特刊
紅柳林煤礦特刊
創(chuàng)新技術特刊
創(chuàng)刊號
版權聲明
本刊對已出版文章持有電子版、網絡版及進行網絡技術交流和與各網絡數據庫合作的權利，稿酬一次性付清，版權歸本刊與作者共同所有，如不同意，請在投稿時聲明。
聲明：本文系轉載自互聯網，請讀者僅作參考，并自行核實相關內容。若對該稿件內容有任何疑問或質疑，請立即與鐵甲網聯系，本網將迅速給您回應并做處理，再次感謝您的閱讀與關注。
不想錯過新鮮資訊？
微信"掃一掃"
