首頁?行業  »   視覺識別  »   正文

MIT與IBM開發AI系統,可快速調整視覺效果,同時幫助識別虛假圖像

MIT與IBM開發AI系統,可快速調整視覺效果,同時幫助識別虛假圖像

智能手機通常使用AI來幫助我們拍攝更清晰的照片。但是,如果可以使用這些AI工具從頭開始創建整個場景呢?

麻省理工學院和IBM的團隊開發了“GANpaint Studio”,這個系統可以自動生成逼真的攝影圖像并編輯其中的對象。除了幫助藝術家和設計師快速調整視覺效果外,這項工作可能有助于計算機科學家識別虛假圖像。

麻省理工學院計算機科學與人工智能實驗室(CSAIL)博士生David Bau將該項目描述為計算機科學家首次能夠實際“用神經元繪制神經網絡”之一,特別是生成對抗網絡(GAN)。

GANpaint Studio是一款在線互動演示軟件,用戶可以上傳自己選擇的圖片,并修改其外觀的多個方面,從改變物體的大小到添加全新的物品,比如樹木和建筑物。

調整視覺效果

項目由麻省理工學院教授Antonio Torralba領導,設計師和藝術家可以使用系統來更快地調整視覺效果。使系統適應視頻剪輯,計算機圖形編輯器能夠快速組成特定鏡頭所需對象的特定排列。

通過分析需要刪除的構件單元,GANpaint Studio還可用于改進和調試正在開發的其他GAN。現在不透明的AI工具使圖像處理比以往更容易的世界中,它可以幫助研究人員更好地理解神經網絡及其底層結構。

研究人員Bau表示,“現在,機器學習系統是黑盒子,就像那些古老的電視機,我們并不總是知道如何改進,這項研究表明,雖然打開電視并看到所有電線可能會讓人感到害怕,但那里會有很多有意義的信息。”

一個意外的發現是系統實際上似乎已經學習了一些關于對象之間關系的簡單規則。它知道不應該把某些東西放在某個地方,比如天空中有一扇窗戶。它也會在不同的環境中創造出不同的視覺效果,例如,如果在一個圖像中有兩個不同的建筑物,系統被要求在這兩個建筑物上都添加門,它不會簡單地添加相同的門,它們最終可能看起來非常不同。

“所有繪圖應用程序都將遵循用戶指令,但如果用戶命令將對象放在不可能的位置,我們可能決定不繪制任何內容,”Torralba說,“這是一個個性化的繪圖工具,它打開了一個窗口,讓我們了解GAN如何學會代表視覺世界。”

這項研究如何讓我們能夠直接看到,GAN確實學到了一些東西,這些東西開始變得有點像常識。這種能力是擁有可以在人類世界中發揮作用的自主系統的關鍵踏腳石,這種系統是無限的,復雜的,不斷變化的。

剔除虛假圖像

該團隊的目標是讓人們更好地控制GAN網絡。但是他們認識到,這種技術可能會出現濫用,更好地理解GAN和它們所犯的錯誤將有助于研究人員更好地杜絕偽造。

CSAIL的博士后Zhu表示,“你需要先了解你的對手才能進行防御,這種理解可能有助于我們更輕松地檢測虛假圖像。”

為了開發該系統,該團隊首先確定了GAN內部與特定類型的對象(如樹木)相關的單元。然后,它單獨測試這些單元,看看是否擺脫它們會導致某些物體消失或出現。重要的是,他們還確定了導致視覺錯誤的單元,并努力將其移除以提高圖像的整體質量。

IBM的研究科學家Hendrik Strobelt說:“每當GAN產生非常不切實際的圖像時,這些錯誤的原因以前就是一個謎。我們發現,這些錯誤是由特定的神經元觸發的,可以讓這些神經元保持沉默,以提高圖像的質量。”

Lehtinen表示,“這個系統為更好地理解GAN模型打開了一扇大門,這將有助于進行GAN相關的任何類型的研究。”

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論