新人工智能框架實現醫學通用與專科模型高效協作

7月30日，香港科技大學教授陳浩團隊聯合美國哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學、中山大學等機構，成功研發出一套名為“通用-專科協作”（GSCo）的人工智能框架。該框架能夠使醫學通用基礎模型與專科模型在疾病診斷任務中高效協作。相關成果發表于《自然-生物醫學工程》。

該研究顯示，GSCo在醫學影像診斷、視覺問答及放射報告生成等多項任務中的表現，均顯著優于單獨運行的通用或專科模型。同時，該框架大幅降低了訓練醫學模型以適應新臨床任務的研發成本。此項成果有望加速醫學基礎模型在日常臨床工作中的應用。

GSCo框架的構建流程。研究團隊供圖，下同

論文共同第一作者、香港科技大學博士生何肅南介紹，醫療AI模型長期面臨兩難困境：通用基礎模型雖基于海量醫學語料訓練，具備多任務適應性和跨模態識別能力，但在特定疾病診斷上精度不足；專科模型雖能提供精準的臨床推理和專業判斷，卻過于專門化，面對新任務或遷移至新醫院時需重新訓練，且無法與臨床醫生進行自然語言推理，對新影像診斷任務的準確率會顯著下降。此外，為每項新任務重復訓練通用模型不僅算力成本高昂，還受限于患者隱私保護規定，數據無法離開醫院。因此，單獨使用任何一類模型均難以滿足實際臨床需求。

為應對上述挑戰，研究團隊開發了全新的協作式框架GSCo。該框架基于陳浩團隊此前開源的醫學通用模型MedDr，利用多元醫學影像模態和超過200萬個樣本對其深度訓練，同時構建了一組輕量級專科模型，僅需單張消費級GPU即可完成訓練。在雙向協作中，專科模型負責在推理過程中比對相似過往病例并提供診斷預測，MedDr則作為“核心決策者”，整合專科模型提供的證據與自身醫學知識，做出最終診斷。

為驗證GSCo的性能，團隊在32個公開數據集、總計約26萬張醫學影像上進行了全面評測，涵蓋影像診斷、視覺問答和放射報告生成等任務。結果表明，MedDr的表現優于RadFM、LLaVA-Med及Med-Flamingo等現有醫學通用模型，而GSCo在所有內部及外部基準測試中均排名第一，勝過十個最先進的視覺基礎模型。

在一項皮膚病變診斷測試中，團隊利用HAM10000皮膚鏡數據集訓練專科模型，并通過GSCo框架將其部署到全新的BCN20000數據集上進行測試。結果顯示，GSCo的診斷得分為0.8420（滿分1.0），顯著優于通用模型MedDr在零樣本條件下的0.7545分，以及專科模型單獨運行的最佳成績0.8292分。

在另一項針對胸部X光報告生成的臨床人工評估中，七位執業放射科醫生中有六位認為GSCo生成的報告質量優于當前最先進的專科模型R2GenGPT。壓力測試進一步驗證了MedDr的高穩定性：即使故意引入系統性偏差（將所有病理影像錯誤判定為正常），MedDr仍能正確識別67.6%的腫瘤影像。憑借這一出色的糾錯能力，GSCo的整體準確率得到顯著提升。

與微調通用模型相比，調整GSCo以適應新臨床任務的研發成本可降低近100倍。在該框架下，專科模型可在醫院內部使用本地數據進行訓練，隨后僅以匿名形式共享成果，確保患者病歷無需離開醫院。

論文通訊作者陳浩表示，通用模型與專科模型各有優勢，GSCo的核心價值在于讓二者以“協作者”身份并行運作，由通用模型擔任總決策者，將專科模型的專家建議與其廣博的醫學知識有機融合。他期望這一框架能為醫學基礎模型融入臨床工作流程提供更切實可行的路徑，尤其使算力資源有限的環境也能共享AI醫療成果。

陳浩團隊計劃將MedDr進一步擴展至CT、MRI等三維影像模態及更多醫學影像領域，同時探索更先進的多模態及基于圖結構的檢索策略，并研究通用與專科模型間更多元的協作方式，例如引入測試時計算，賦予模型深度思考能力，以進一步提升診斷準確性。

相關論文信息：https://doi.org/10.1038/s41551-026-01653-3