面向跨模態遙感數據的生成式預訓練大模型發布

以深度學習為代表的人工智能技術已被應用于多種遙感圖像解譯任務中。遙感數據幅寬大、場景內容復雜，一幅標準景圖像往往就可達數十億像素，覆蓋上萬平方公里，與自然場景數據存在較大差異。大多數現有的深度神經網絡模型是利用自然場景圖像預訓練的權重來進行初始化，在遙感數據解譯任務上的性能和普適性有待進一步提升。

中國科學院空天信息創新研究院（以下簡稱“空天院”）牽頭研制首個面向跨模態遙感數據的生成式預訓練大模型“空天·靈眸”（RingMo，Remote Sensing Foundation Model），旨在構建一個通用的多模態多任務模型，為遙感領域多行業應用提供一套通用便捷、性能優良的解決方案。

該團隊深入結合光學、SAR等跨模態遙感數據的成像機理和目標特性，在模型設計、模型訓練、推理優化等方向開展技術創新，并在場景分類、檢測定位、細粒度識別、要素提取及變化檢測等典型下游任務中進行了驗證。該模型在8個國際標準數據集上達到了同類領先水平，有效填補了跨模態生成式預訓練模型在遙感專業領域的空白。同時，空天院與華為公司深度技術合作，基于昇騰AI基礎軟硬件平臺，尤其是昇思MindSpore AI框架，將聯合打造靈活易用的自監督預訓練通用套件，可高效支撐大模型并行訓練及下游任務的開發。

以遙感特性為研發驅動

不同于現有遙感預訓練方法通常進行有監督或者對比式學習的范式，“空天·靈眸”模型依托掩膜自編碼結構，是面向復雜場景且更具通用表征能力的遙感生成式自監督預訓練模型。

例如，針對來自不同平臺的遙感數據成像機理和目標特性不一、遙感圖像觀測面積大而目標相對較小、目標尺寸差異較大且分布不均勻等問題，“空天·靈眸”模型采用目標特性引導的自監督學習方法，通過引入幾何、電磁、目標結構等多特性約束，使得模型自動提取遙感地物通用特征，對新任務有較強的泛化能力。值得一提的是，“空天·靈眸”大模型采用了最近比較流行的ViT和Swin Transformer等Transformer類骨干網絡，可有效建模遙感數據的局部和全局特征的依賴關系。

擁有跨模態遙感數據集

現有遙感樣本庫在標注上依賴于專業人員的手工標繪，人力和時間成本極高，難以滿足大模型訓練所需的大規模、高豐富度、易快速擴充的遙感數據需求。

為了提升遙感預訓練模型的特征表達能力，“空天·靈眸”模型的訓練數據集包含了200多萬幅分辨率為0.1m到30m的遙感影像，分別來源于中國遙感衛星地面站、航空遙感飛機等平臺，以及高分系列衛星、吉林衛星、QuickBird衛星等傳感器。同時，在數據集中包含了1億多具有任意角度分布的目標實例，覆蓋全球150多個典型城市、鄉鎮以及常用機場、港口等場景。所用樣本數據具備遙感專業特色，且整個樣本集都無需標注，能大幅節省訓練數據標注成本。

具有應用任務泛化能力

由于不同應用任務的難點不同，所用的數據、目標也各異，現有解譯方法需針對不同下游任務設計專用網絡結構，利用大量帶標簽數據進行微調，同時得到的遙感模型也常常通用性不足，沒有較強的任務泛化能力，只適用于特定應用任務。

“空天·靈眸”模型具備遙感數據理解、復原能力，可實現對跨模態遙感數據的共性語義空間表征。針對不同的下游任務僅需修改預測頭部網絡，即可靈活快速遷移到不同領域下游任務，簡單微調可適應多目標細粒度分類、小目標檢測識別、復雜地物提取等任務。

實現國產化適配

為實現自主創新，空天院與華為深度合作，由北京昇騰人工智能生態創新中心提供技術保障，依托“東數西算”樣板工程成都智算中心算力支持，基于昇騰底座和昇思MindSporeAI框架對已有模型和訓練方法進行了國產化適配，并針對自監督大數據訓練方面進行性能優化，為各行各業研究者基于國產化軟硬件平臺進行遙感預訓練以及下游任務開發提供有力支撐，推動業務上的應用和落地。

目前，“空天·靈眸”模型的相關成果已在遙感領域頂刊IEEE Transactions on Geoscience and Remote Sensing公開發表。同時，該模型在國防安全、三維重建等多個領域已開展試用，在目標檢測識別、地物要素分類等方面的實測結果較通用視覺模型有顯著提升。后續擬進一步推廣至國土資源、交通、水利等更多行業，為天臨空地一體化應用提供一套解決方案。

相關論文信息：

Xian Sun, Peijin Wang, Wanxuan Lu, Zicong Zhu, Xiaonan Lu, Qibin He, Junxi Li, Xuee Rong, Zhujun Yang, Hao Chang, Qinglin He, Guang Yang, Ruiping Wang, Jiwen Lu, Kun Fu*. "RingMo: A Remote Sensing Foundation Model with Masked Image Modeling," in IEEE Transactions on Geoscience and Remote Sensing, 2022, doi: 10.1109/TGRS.2022.3194732.