這些假臉實在太逼真了!英偉達造出新一代 GAN,生成壁紙級高清大圖毫無破綻

愛範兒 於 17/12/2018 發表 收藏文章

不敢相信,上面這些人臉,全都是假的。
是英偉達的 AI 生成的。

借用風格遷移的思路,團隊為 GAN 創造了一種新的生成器

連 GAN 之父 Goodfellow 老師也忍不住發推稱讚優秀!


這個結構不需要人類監督,可以自動分離圖像中的各種屬性。這樣,在或粗糙或精細的不同尺度上,人類便能自如地控制 GAN 的生成。

另外,英偉達的人臉生成模型,支持 1024 x 1024 的高清大圖生成。畢竟,GAN 從小吃的是高清數據集。團隊還説,數據集很快就要開源了。

實際效果展示


人物自然,背景自然,邊緣又自然。足以騙過我這個普通人類的肉眼了。

輸入兩張圖,圖 A 決定生成人物的性別,年齡,頭髮長度,以及姿勢;一張決定其他一切因素:比如膚色、髮色、衣服顏色等等。

這樣,就可以把圖 B 的一部分人物特徵,遷移到圖 A 上了:


不過,人臉的朝向和表情,還是 A 的。

就算人種發生劇烈變化,也絲毫不會違和。你看,把非裔人類的臉部特徵 “移植” 給四位白種人,嘴脣的厚度、鼻子的形態,以及額頭,都有明顯的變化。

再來看看從不同尺度調節的效果吧。

這是粗糙尺度 (Coarse Styles) ,也是三種尺度中最大規模的調整,會涉及臉部朝向的變化,臉型和髮型也是在這裏調整的:


然後看看中間尺度 (Middle Styles) ,調整僅限於面部特徵和髮色髮量了,姿勢、髮型、臉型都不會有明顯變化:


再來就是精細尺度 (Fine Styles) ,只是調整圖像的配色,幾乎不會給人物變臉了:


全新的生成器

我們前面説過,這個 GAN 不用人類監督,就可以自動分割圖像裏的各種部分。

經過訓練,它就可以把這些部分,按照一定的方式組合到一起。

具體怎麼組合呢:

這種新的生成器,像風格遷移算法一樣,把一張圖像,看做許多風格 (Styles) 的集合。

每種風格都會在一個不同的尺度 (Scale) 上控制圖像的效果:

引用粗糙 (Coarse Styles) :姿勢、頭髮、臉型。

中度 (Middle Styles) :面部特徵、眼睛。

精細 (Fine Styles) :配色。

三者組合在一起,才是最終的生成結果。

調節不同 “風格”,就可以在不同尺度上調節人臉圖片。


另外,這隻 GAN 還可以自動把那些無關緊要的變化 (Inconsequential Variation) 剔除出去。

引用所謂無關緊要,就是説畫面發生了變化,但看上去主角還是原來的主角。

粗糙的噪音:如大尺度上的捲髮程度。

精細的噪音:更加精細的細節,如質地等。

無噪音:沒有特徵的、像畫畫一樣的樣子 (Featurelessly “painterly” look) 。


相同圖片,輸入不同的噪音,效果就不一樣。

人類也可以選擇,每種 Style 的強度 (Strength) 多大。

選擇高強度 (High Strength) 的話,生成的圖像就會比較多樣化,但生成壞圖也會有一些。

如果是低強度 (Low Strength) ,生成的圖像之間不會有太多變化,但也幾乎不會出現壞圖。

從結構上來看,這個新的生成器是這樣的:


傳統的圖像生成器僅通過輸入層提供潛在編碼(Latent Code),英偉達從一開始就捨棄了這種設計方案。

就像上圖展示的那樣,他們設計的新生成器先將輸入從潛在空間 Z 映射到中間的潛在空間 W,將映射網絡生成結果輸入到下一層。在生成網絡 g 每次卷積運算之後,加入高斯噪聲(Gaussian noise),也就是圖像的隨機變化。

圖像在不同尺度上的 “風格”,就是由上面的每個卷積層控制的,它實現了直接控制各層級的圖像特徵強度(Strength)。

從生成圖像中的隨機自動變化中。它可以無監督地從中分離出圖像的 “風格”。

發佈更強人臉數據集

除了發佈圖像生成算法外,英偉達從 Flickr 中選取了 7 萬張 1024×1024 分辨率的照片,形成了一個新的人臉數據集 FFHQ(Flickr-Faces-HQ)。


它能提供了高度多樣化、高質量的人臉數據,並且涵蓋了比現有高分辨率數據集(如 CelebA-HQ)更多的變化,比如更多佩戴眼鏡、帽子的照片。

英偉達將在不久後公開提供此數據集,並放出源代碼和預訓練網絡。

最後,給廣大貓奴們送出福利。英偉達的圖片生成器不僅能用於人臉,研究人員還用 LSUN 數據集造出了很多貓咪的圖片。

你能看出它們都是假的嗎?

本文來自微信公眾號量子位(ID:QbitAI),作者為栗子、曉查,愛範兒經授權發佈,文章為作者觀點,不代表愛範兒立場。


資料來源:愛範兒(ifanr)

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→