文章專區

近期，臺灣大學醫療器材與醫學影像研究所助理教授蕭輔仁研究團隊，引入了專門為3D語義腦部磁振造影（magnetic Resonance Imaging, MRI）合成而設計的擴散模型（diffusion model），該模型名為「Med-DDPM」藉由整合語義條件來應對數據和隱私問題，包括將條件圖像依據不同的通道輸入至模型中，Med-DDPM進一步控制最終生成的圖像。目前相關研究成果已刊登於《IEEE生物醫學與健康資訊學期刊》（IEEE Journal of Biomedical and Health Informatics）。

生成對抗網路（generative adversarial network, GAN）是一種廣泛使用於醫學影像合成的方法，但此方式容易出現訓練不穩定、模式崩潰（model collapse）、梯度消失（vanishing gradient problem）〔註〕等問題。此外，現階段的GAN技術主要集中在2D圖像上，無法滿足醫學影像中的3D數據需求。為應對此狀況，使用者常會生成2D切片並將這些2D的資料堆疊以創建出3D圖像，不過這可能會導致空間不一致性並忽略3D的上下文訊息。因此合成有意義的高解析度3D合成醫學圖像仍然具有挑戰性，特別是針對大腦等構造較為複雜的器官。

〔註〕模式崩潰是指在GAN 訓練過程中，生成器只能產生有限種類或相似的樣本，導致模型無法生成多樣性的內容，而是重複產生相似的結果；梯度消失是指在每次訓練的迭代中，神經網路的梯度值幾乎消失，使神經網路可能無法繼續訓練。

隨著AI技術的發展，擴散模型作為生成式AI的一種新興方法，在生成高品質、現實圖像方面取得領先地位，也引發許多研究者探索擴散模型在醫學影像領域的潛在應用。目前已有多項研究探討使用擴散模型進行3D醫學影像的合成，為克服醫學影像領域中數據稀缺和隱私問題的挑戰，研究團隊進一步提出名為Med-DDPM的擴散模型，並將分割遮罩（segmentation mask）納入模型的計算過程中。透過這種方式，可以針對3D腦部MRI合成圖像精細控制，在圖像生成過程中精確操控內容和特徵的精準度，甚至可以達到像素級別。這個創新方法大幅簡化高解析度、語義引導的3D腦部圖像的生成過程。不僅如此，它還展現出在醫學領域內廣泛應用於各種圖像轉換任務的潛力。在研究過程中，團隊採用了原始的臨床腦部MRI數據進行實驗，深入探討了這些合成圖像對腫瘤分割任務性能的影響。為了進行全面評估，研究人員還引入了3D U-Net模型進行測試，以確保結果的可靠性和實用性。

結果顯示，Med-DDPM的穩定性和性能較現有的3D腦部影像合成方法更為優越。此外，它能生成多樣且解剖結構一致的高視覺保真度圖像。在腫瘤分割任務中，Med-DDPM的DICE得分（DICE score）達到0.6207，接近真實圖像的0.6531，並且優於基線模型。結合真實圖像後，分割準確率將進一步提升到0.6675，顯示此方法在數據增強方面的潛力。

這是首次在3D語義腦部MRI合成中使用擴散模型生成高品質的圖像，且這款模型的語義條件特性也顯示出在生物醫學影像中實現圖像匿名化的潛力，在未來有望解決數據和隱私問題。

新聞來源
臺灣大學（2024年8月14日）。臺大研究成果系列報導―重點科技研究學院蕭輔仁助理教授：新擴散模型Med-DDPM提升3D腦部合成影像還原度。臺大校訓，https://host.cc.ntu.edu.tw/sec/schinfo/epaper/article.asp?num=1612&sn=29179