用 AI 大模型一鍵解析 MRI、CT 和病理學等九大生物醫學成像模式。
不僅複雜、不規則形狀對象能高精度識别：
而且通過對象識别阈值建模，模型能夠檢測無效的提示請求，并在圖像中不存在指定對象時拒絕分割。
用戶更是無需手動進行标注或邊界框操作——
隻需通過簡單的臨床語言提示指定目标對象，例如 " 腫瘤邊界 " 或 " 免疫細胞 "，便能讓 AI 準确識别、檢測并分割圖像中的相關區域。
還可一次性同時分割和标記所有感興趣的生物醫學對象：
這就是來自微軟、華盛頓大學等的研究團隊最新發布的基礎模型BiomedParse，已登Nature Methods。
醫學圖像的成像模式差異巨大（如 CT、MRI、病理切片、顯微鏡圖像等），傳統上需要訓練專家模型進行處理。
而 BiomedParse，通過文本驅動圖像解析将九種醫學成像模式整合于一個統一的模型中，聯合預訓練處理對象識别、檢測與分割任務。
無論是影像級别的器官掃描，還是細胞級别的顯微鏡圖像，BiomedParse 都可以直接利用臨床術語進行跨模式操作，爲科學家和臨床醫生提供了更統一、更智能的多模式圖像解析方案。
在分割不規則形狀的生物醫學對象方面，BiomedParse 相較傳統模型表現卓越。通過将圖像區域與臨床概念關聯，相比手動框選分割精度提升 39.6%，提高了在關鍵任務中的可靠性。
目前，研究團隊已将 BiomedParse 開源并提供 Apache 2.0 許可，相關演示 demo 和 Azure API 均已上線。
隻需文字提示，精度超越 SOTA
爲支持 BiomedParse 的預訓練，研究團隊利用GPT-4從 45 個公開的醫學圖像分割數據集生成了首個覆蓋對象識别、檢測和分割任務的數據集 BiomedParseData。
該數據集包含超過 600 萬個圖像、分割标注與文字描述三元組，涵蓋64 種主要生物醫學對象類型及82 個細分類别，涉及 CT、MRI、病理切片等九種成像模式。
通過 GPT-4 的自然語言生成能力，研究人員将散落在各種現有數據集中的分割任務用統一的醫學概念和語言描述整合起來，讓 BiomedParse 能在更大，更多樣的數據中融會貫通。
在測試集上，BiomedParse 在 Dice 系數上顯著超越了當前最優方法 MedSAM 和 SAM，并且無需對每個對象手動提供邊界框提示。
即使在給 MedSAM 和 SAM 提供精準邊界框的情況下，BiomedParse 的純文本提示分割性能仍能超越 5-15 個百分點。
此外，BiomedParse 的性能還優于 SEEM、SegVol、SAT、CellViT、Swin UNETR 等多個模型，尤其在複雜不規則的對象識别上表現突出。
生物醫學圖像中的不規則對象一直是傳統模型的難題，而 BiomedParse 通過聯合對象識别和檢測任務，通過文本理解實現了對對象特定形狀的建模。對複雜對象的識别精度遠超傳統模型，且在多模态數據集中進一步凸顯了其優勢。
展望未來，團隊表示 BiomedParse 擁有廣闊的發展潛力，可進一步擴展至更多成像模式和對象類型，并與 LLaVA-Med 等高級多模态框架集成，支持 " 對話式 " 圖像分析，實現數據交互式探索。
作者簡介
論文共同一作及通訊作者均爲華人學者，分别來自微軟和華盛頓大學。
趙正德（Theodore Zhao），論文一作，爲該研究作出主要技術貢獻。
微軟高級應用科學家，現主要研究方向包括多模态醫療 AI 模型，圖像分割與處理，大模型的安全性分析。
本科畢業于複旦大學物理系，博士畢業于華盛頓大學應用數學系，期間研究希爾伯特 - 黃變換和分數布朗運動的多尺度特征，以及随機優化在醫療領域的應用。
顧禹（Aiden Gu），論文一作。
微軟高級應用科學家。本科畢業于北京大學微電子與經濟專業。
其研究方向專注于醫療健康、生物醫學，以及機器人多模态模型。代表性工作包括創建首個醫學領域特定的大語言模型 PubMedBERT，以及患者旅程模拟模型 BiomedJourney。
潘海峰（Hoifung Poon），論文通訊作者。
王晟（Sheng Wang），論文通訊作者。
華盛頓大學計算機科學與工程系助理教授，微軟研究院訪問學者。
他專注于人工智能與醫學的交叉研究，利用生成式 AI 解決生物醫學問題。其科研成果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等頂級期刊上發表十餘篇論文，并被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多家知名醫療機構廣泛應用。
Mu Wei，論文通訊作者。
微軟 Health and Life Sciences 首席應用科學家，擁有十餘年醫療與金融領域的 AI 模型研發與部署經驗。
他的團隊聚焦于健康領域的多模态 AI 模型，研究成果涵蓋生物醫學圖像解析、數字病理學基礎模型、臨床文檔結構化的大模型應用以及大模型錯誤率估計等方向。
感興趣的童鞋可自行查閱～
論文地址：https://www.nature.com/articles/s41592-024-02499-w
項目網頁：https://microsoft.github.io/BiomedParse/
代碼：https://aka.ms/biomedparse-release
Azure API 網頁：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回複你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
