(相關資料圖)

站長之家(ChinaZ.com) 6月14日 消息:微軟的研究人員展示了 LLaVA-Med，這是一種用于生物醫學的多模式 AI 助手，可以處理圖像和文本。

使用生物醫學圖像文本對應大型數據集來訓練多模態 AI 模型。該數據集包括胸部 X 光、MRI、組織學、病理學和 CT 圖像等。首先，該模型學習描述此類圖像的內容以及重要的生物醫學概念。然后，使用GPT-4生成的指令數據集對 LLaVA-Med（生物醫學的大型語言和視覺助手）進行訓練。

該數據集由 GPT-4基于生物醫學文本創建，其中包含有關每個圖像的所有信息，可用于生成有關圖像的問答。微調，然后在圖像和相應的 GPT-4示例上訓練 LLaVA-Med。結果是一個可以用自然語言回答有關生物醫學圖像的問題的助手。

使用的訓練方法允許 LLaVA-Med 在不到15小時的時間內在八個 Nvidia A100GPU 上進行訓練。它基于Vision Transformer和Vicuna語言模型，后者又基于 Meta 的LLaMA。據該團隊稱，該模型具有“出色的多模式對話能力”。在用于回答視覺問題的三個標準生物醫學數據集上，LLaVA-Med 在某些指標上優于之前的最先進模型。

LLaVA-Med 等多模式助手有朝一日可以用于各種生物醫學應用，例如醫學研究、復雜生物醫學圖像的解釋以及醫療保健中的對話支持。

研究團隊表示:“雖然我們認為 LLaVA-Med 代表了朝著構建有用的生物醫學視覺助手邁出的重要一步，但我們注意到 LLaVA-Med 受到許多 LMM 常見的幻覺和弱深度推理的限制未來的工作將側重于提高質量和可靠性。”。

（舉報）

關鍵詞：