狂熱地觀看“辦公室”的第三季影集，會讓您感覺好像腦袋糊塗了。但實際上，大腦其實一直就是煳糊的而且非常具有延展性，這使得神經外科手術比想像地更加困難。
為了評估其成功率，腦外科醫生比較手術前後的 MRI （ Magnetic Resonance imaging ，核磁共振）掃描以確定腫瘤是否已完全切除。
這個過程需要時間，因此，如果在手術中進行核磁共振，醫生必須比較一下眼睛的掃描結果。但是手術期間大腦會四處移動，因此這項任務很難完成，但同樣重要。
尋找比較核磁共振掃描的更快方法可以幫助醫生更好地治療腦腫瘤。為此，一群麻省理工學院的研究人員提出了一種深度學習解決方案 ，可以在一秒鐘之內比較大腦核磁共振。
這可以幫助外科醫生在術中核磁共振手術期間近乎實時地檢查手術是否成功。通過比較患者在幾個月或幾年內進行的核磁共振檢查，它還可以幫助腫瘤學家快速分析腫瘤對治療的反應。
當像素對齊時
將兩個核磁共振掃描放在一起需要一種機器學習演算法，以將原始 3D 掃描中的每個像素匹配到另一個掃描中對應的位置。做好這項工作並不容易-當前最先進的演算法需要多達兩個小時來對齊大腦掃描。
由於對應時間太長，無法用於手術環境。而且，當醫院或研究人員想要分析成千上萬的掃描圖以分析疾病模式時，這方法也不實際。
麻省理工學院的博士後研究員，這項研究的主要作者 Guha Balakrishnan 說：“對於一幅圖像中的每個像素，傳統演算法需要在另一幅圖像中找到解剖結構相同的近似位置。這些演算法需要大量迭代。”
相反，使用神經網路 可通過增加學習來加快這一過程。研究人員的無監督演算法 稱為VoxelMorph，它可從未標記的核磁共振掃描配對中學習，從而快速識別出大腦的結構和特徵，並與圖像進行匹配。使用NVIDIA TITAN X GPU，此推論工作大約需要一秒鐘來對齊一對掃描，而在 CPU 上則需要一分鐘。
在來自公眾來源的大約 7,000 次核磁共振掃描的多樣化資料集上，研究人員使用一種基於圖集的註冊方法來訓練神經網路。此過程將每個訓練圖像與單個參考核磁共振掃描對齊，這是稱為圖集的理想或平均圖像。
該小組正在與麻省總醫院 合作，對他們資料庫中的數百萬次掃描進行回顧性研究。
麻省理工學院的博士後研究員 Adrian Dalca 說：“以往要花兩天的時間，才可以完成一個實驗，現在只需要幾秒就完成了。這開啟了一個新的研究世界，其中對準只是一小步。”
研究人員正在努力改善包括噪音在內的低質量掃描的深度學習模型的性能。這是掃描對齊在臨床環境中工作的關鍵。
研究資料集包括對在核磁共振機器中等待了很長時間以獲取高質量圖像的患者進行的清晰、乾淨的掃描。但是， Dalca 說“如果有人中風，您想要盡可能快的圖像，那是另一種質量掃描。”
該小組將於今年秋天在醫學影像會議 MICCAI 上發表一篇新論文 。 Balakrishnan 還正在開發其演算法的變體，該演算法使用半監督式學習，將少量標記資料與其他未標記的訓練資料集結合在一起。他發現該模型可以將神經網路的準確性提高 8 ％，從而使神經網路的性能超越傳統的、較慢的演算法。
Balakrishnan 說，除了腦部掃描之外，這種對準解決方案還可用於其他醫學圖像，例如心臟和肺部電腦斷層掃描甚至是超音波掃描，這特別煩惱。 “我認為在某種程度上，它的運用是無限的。”