物理與光電工程學(xué)院在IEEE JBHI和MICCAI 2024上發(fā)表成果

發(fā)布時(shí)間：2024-10-08

物理與光電工程學(xué)院在IEEE JBHI和MICCAI 2024上發(fā)表成果

 

近日,，物理與光電工程學(xué)院李小松副教授指導(dǎo)的2022級(jí)機(jī)械工程碩士黃敬學(xué)同學(xué)和2023級(jí)光學(xué)工程碩士徐宇燊同學(xué)分別以第一作者身份在生物醫(yī)學(xué)領(lǐng)域國(guó)際頂級(jí)期刊IEEE JBHI和頂級(jí)會(huì)議MICCAI 2024上發(fā)表論文,，佛山大學(xué)為唯一單位,。

多模態(tài)醫(yī)學(xué)圖像融合是一種結(jié)合多源信息融合、醫(yī)學(xué)圖像處理,、計(jì)算機(jī)視覺(jué)的熱門(mén)技術(shù)。該技術(shù)通過(guò)設(shè)計(jì)圖像融合算法將來(lái)自不同醫(yī)學(xué)模態(tài)圖像的互補(bǔ)信息進(jìn)行充分整合,，得到相比于單一模態(tài)信息更豐富,、全面,、客觀(guān)的融合圖像，有助于醫(yī)生進(jìn)行臨床醫(yī)療診斷及病灶監(jiān)測(cè),。然而,，現(xiàn)有的多模態(tài)醫(yī)學(xué)圖像融合研究主要針對(duì)兩模態(tài)進(jìn)行，例如CT/MRI,、MRI/PET,、MRI/SPECT的融合。實(shí)際上,，相較于現(xiàn)有的雙模態(tài)技術(shù),，三模態(tài)醫(yī)學(xué)圖像融合技術(shù)（如MR-T1/MR-T2/PET與MR-Gad/MR-T2/SPECT等）能提供更全面的病變視圖，幫助醫(yī)生更準(zhǔn)確地評(píng)估病灶的位置,、形狀和生物活性,。

 

圖1 基于原語(yǔ)關(guān)系推理的三模態(tài)醫(yī)學(xué)圖像融合模型（IEEE JBHI）

課題組提出一種用于解決三模態(tài)醫(yī)學(xué)圖像融合的端到端生成對(duì)抗網(wǎng)絡(luò)模型，這也是深度學(xué)習(xí)技術(shù)首次應(yīng)用在三模態(tài)醫(yī)學(xué)圖像融合研究中,，提出原語(yǔ)關(guān)系推理模塊用于提取全局信息,，同時(shí)引入多尺度擠壓和激勵(lì)推理注意力機(jī)制為每個(gè)模態(tài)圖像生成各自能量圖，最后在能量比融合策略下實(shí)現(xiàn)高效融合,，實(shí)驗(yàn)結(jié)果在圖像融合,、多模態(tài)圖像分割上具有優(yōu)越表現(xiàn)。該成果“Generative adversarial network for trimodal medical image fusion using primitive relationship reasoning”近期發(fā)表在生物醫(yī)學(xué)和健康信息學(xué)領(lǐng)域國(guó)際頂級(jí)期刊IEEE JBHI (IEEE Journal of Biomedical and Health Informatics,，中科院二區(qū)Top,，IF 6.7, CCF C類(lèi)期刊) 。

 

 

圖2同步實(shí)現(xiàn)三模態(tài)醫(yī)學(xué)圖像融合及超分流程圖（MICCAI 2024）

此外,，針對(duì)醫(yī)學(xué)成像設(shè)備獲取的圖像質(zhì)量較低,、導(dǎo)致融合圖像分辨率不足的問(wèn)題，課題組提出一種三模態(tài)醫(yī)學(xué)圖像融合與超分模型,，同步實(shí)現(xiàn)圖像融合與超分辨率重建雙任務(wù),。該模型基于擴(kuò)散模型的隨機(jī)迭代去噪過(guò)程，并在其中融入通道注意力來(lái)整合來(lái)自不同模態(tài)的關(guān)鍵信息,，最后生成高質(zhì)量高分辨率的三模態(tài)融合圖像,，大量實(shí)驗(yàn)表明所提方法的有效性。該成果“Simultaneous tri-modal medical image fusion and super-resolution using conditional diffusion model”已被于2024年10月6-10日在非洲摩洛哥舉辦的生物醫(yī)學(xué)與影像計(jì)算領(lǐng)域頂級(jí)會(huì)議MICCAI（Medical Image Computing and Computer Assisted Intervention, CCF B類(lèi)會(huì)議）接收,。

上述研究得到了國(guó)家自然科學(xué)基金–青年項(xiàng)目（62201149）,、廣東省區(qū)域聯(lián)合基金-地區(qū)培育項(xiàng)目（2023A1515140077）、廣東省自然科學(xué)基金–面上項(xiàng)目（2024A1515011880）以及廣東省教育廳特色創(chuàng)新項(xiàng)目(自然科學(xué)類(lèi))（2023KTSCX127）的資助,。

（物理與光電工程學(xué)院）