國家生物信息中心合作發布面向流感病毒的基因組語言模型

近日，國家生物信息中心正式發布了面向流感病毒的基因組語言模型Influ-BERT。該模型基于Transformer架構，針對流感病毒基因組特征進行了深度優化，為流感病毒亞型鑒定、致病性預測等應用提供了一種高效、智能的計算解決方案。

甲型流感病毒具有宿主范圍廣、抗原變異頻繁等特點，對全球公共衛生構成持續威脅。傳統的亞型鑒定方法在處理低頻亞型或片段缺失數據時存在局限性。為此，研究團隊收集并整合了約90萬條流感病毒基因組序列構建專用語料庫，以Transformer架構為核心，開發了定制化的Byte Pair Encoding（BPE）分詞器，并針對詞表大小進行專門優化。通過實施領域自適應預訓練與任務特定微調的分階段策略，Influ-BERT成功填補了通用基因組模型與流感特定領域知識之間的語義鴻溝，實現了對流感病毒基因組的精準建模。

在性能評估中，Influ-BERT展現出優于傳統的機器學習算法和通用基因組大模型的表征學習能力，實現了低頻亞型自動化精準識別。此外，研究團隊進一步拓展了模型的應用邊界，將其成功應用于多種呼吸道病毒（如SARS-CoV-2、鼻病毒、呼吸道合胞病毒）的區分、致病性預測以及功能基因識別等。通過引入滑動窗口擾動分析發現Influ-BERT能夠自發聚焦于具有重要生物學意義的位點。這表明模型在無人工標注的情況下，能夠捕捉到流感病毒基因組的生物學功能約束。

該研究成果以“Influ-BERT: A Domain-Adaptive Genomic Language Model for Advancing Influenza A Virus Research”為題，在學術期刊Briefings in Bioinformatics正式發表。國家生物信息中心宋述慧研究員和巴西科學計算國家實驗室（LNCC）Ana Tereza Ribeiro de Vasconcelos教授為共同通訊作者，國家生物信息中心碩士研究生葉榮業與李論副研究員為共同第一作者。研究工作獲得國家重點研發計劃、“一帶一路”國際科學組織聯盟聯合研究合作專項、國家自然科學基金面上項目、巴西里約熱內盧州研究資助基金會、巴西國家科學技術發展委員會的支持。

Influ-BERT工作流程圖