説起能實現照片變繪畫的 AI 工具,也許你首先想到的是多年以前一款叫 Prisma 的 app,當時它以「能讓你的照片瞬間變名畫」的能力火爆朋友圈。
也許你還會想起最近流行的迪士尼濾鏡,如今在 Snapchat、B612 等一眾熱門美圖 app 中都能找到這一功能了。
作為一名塑料繪畫愛好者,每一次看到類似的 AI 在繪畫領域又有突破的新聞,A 君都想第一時間嘗試。
最近一款引起熱議的二次元漫畫風格遷移工具 AnimeGANv2 又再一次讓我們由衷感嘆科技力量之強大:只要挑選到正確的照片,該工具的成像效果真的可以用「驚豔」來形容了。
▲ 圖片來自: AnimeGANv2 的在線體驗頁面
▲ 圖片來自: AnimeGANv2 的在線體驗頁面
AnimeGAN 原來是 GitHub 上的一個開源項目,在 2019 年發佈以後就已經引起了不少討論,知乎上還有人專門開貼講述過它的算法模型。
▲ AnimeGAN 的 GitHub 項目
該工具是基於一種叫 GAN(名對抗生成網絡)的技術打造的,相比於傳統的神經網絡模型,GAN 是一種全新的非監督式的架構。
在訓練 AI 時 GAN 包括了兩套獨立的網絡 A 和 B,A 網絡是需要訓練的分類器,用來分辨成圖是否符合標準;B 網絡是生成器,生成類似於真實樣本的隨機樣本,並將其作為假樣本以欺騙網絡 A。
在 A 和 B 的對抗中,AI 的水平逐漸提升,最後實現質的飛躍。
最近 AnimeGAN 發佈了其二代版本,據稱更新後 AnimeGANv2 支持了風景照片和風景視頻的三種動漫化風格(分別是宮崎駿、新海誠和金敏),視覺效果更佳,模型體量也更小且容易訓練了。
▲ 圖片來自:橘 吉野 五等分の瓜皮 的知乎文章
並且更重要的是目前 AnimeGANv2 的成果經過社區貢獻者的開發已經通過 Gradio 實現了一個可以在線運行的 Demo,併發布在 了 Hugging Face 上,換言之任何人都可以通過線上的方式輕鬆體驗到 AnimeGANv2 的效果了。
打開相應網站後,映入眼簾的是一個簡單的 app 在線使用版面。
點擊虛線方框就可以上傳本地照片,或者直接把照片拖動到方框內也可以完成上傳操作,上傳完成後點擊下方的「Submit」按鈕,等待數秒就可以看到效果了。
這個工具本身也提供了很多的樣板照片供用户測試,把網頁下拉以後點擊這些照片再滾動至頁面上方時就可以看到圖片已經被加載了。
在圖片下方可以選擇不同的效果,「version 1」代表提高風格化,降低穩健性的設置,而「version 2」則與之相反,降低風格化程度,提高穩健性。
簡單來説選擇版本 1,你放入的照片會更具有漫畫的特點,但是對原來照片的還原度會被弱化,選擇版本 2 則相反,能夠生成出更加逼真的效果圖。
比如鋼鐵俠的照片在兩個不同版本中的體現就是很好的例子。
AnimeGANv2 本身提供了很多名人的漫畫臉成品圖給用户欣賞,效果都非常優秀。
下面開始進行實際體驗,首先是人像。我們先從免費正版高清圖片庫 Pixabay 找到幾張清晰的人像照片(男性、女性和孩子),然後再分別上傳到網頁進行計算,以下是測試效果。
效果還是十分不錯的,成圖中人物的邊緣清晰,五官分明,繪畫感強,並且更難得的是 app 對人物的外貌特點捕捉得比較準確,具有神韻。
當然普通人在沒有專門的攝影設備和技巧的幫助下還是很難提供像在 Pixabay 裏找到的那種乾淨又清晰的照片的,因此 A 君還特地在網上找了幾張拍攝相對隨便的大頭照和前面的測試組進行對比。
▲ 當看到第三張照片的成圖時就知道這次測試穩了
這次測試的照片均為亞洲人,而且應該就是拍照者隨意的自拍, AnimeGANv2 的運算效果並沒有讓我們失望。
經檢測發現,白底的證件證照反而是效果最好的,基於肖像權原因,效果圖就不在這裏公開了。如果你手頭上沒有合適的照片,不妨就直接使用證件照來體驗,不僅成圖效果好,對人物氣質的把握精準,美顏效果更是拔羣。
不過這裏還有一個美中不足的地方,不知道是不是因為在訓練 AI 時投餵的大多是女性的照片或者提供 AI 學習的漫畫圖片風格偏向陰柔,當放入一些的男性真人照時,成像的眼睛會顯得有些「娘化」,帶上眼鏡遮擋能優化效果。
▲ AnimeGAN 效果
▲ AnimeGANv2 效果
上面用的基本為無背景大頭照,倘若我們上傳的是有背景的生活照效果又如何呢?
雖然整體效果還是能看的,但人物的五官瞬間就模糊了起來,看來想要獲得更好的效果還得儘量使用半身或者大頭照。另外在測試中發現 app 對照片的質量也是有要求的,模糊的大頭照同樣會使得人物的五官無法被精確捕捉。
接下嘗試上傳動物的照片,同樣從 Pixabay 獲取素材。
這次在選擇小貓照片的時候特意挑選了一張表情奇特,且臉部有遮擋的照片,沒想到 AnimeGANv2 還是出色地完成了任務。
一直以為選擇「version 2」應該是對五官細節等還原得最好的,但是在測試小狗照片的時候發現並不一定是這樣,看來根據不同的對象挑選適合的風格也很重要。
▲ 小狗的版本 1 與版本 2 對比圖
最後是風景照, 雖然在知乎裏描述説 AnimeGANv2 目前支持三種漫畫的場景風格,但是在在線版中並沒有風格選項供我們選擇(該功能可能需要在 GitHub 的完整代碼中實現)。
從 Pixabay 中挑選了北京肅穆的天壇、香港頗具賽博朋克氣氛的街道、京都的清晨安靜的神社以及兩張自然風光照來測試。
雖然看不太出更像的是哪位漫畫大師的手筆,但是每一張成品的效果都令人滿意,特別是那種香港街頭照,充滿了藝術感,基本可以放在朋友圈以手繪之名以假亂真。
市場上照片轉繪畫風格的同類型應用應該不少,甚至我們手機中常備的美圖秀秀等 app 就有帶這樣的插件,AnimeGAN 的團隊為何要花費三年多的時間專門對這一工具精雕細琢呢?
也許這一輪測試下來,我們會得到答案——它的成圖自然又好看,跟平時隨處可見但效果千人一面的其他繪畫風格遷移 app 是不一樣的。
雖然工具的頁面樸素,成像的時間也是短短几秒,但在這幾秒內藴含的是複雜的計算和數不勝數的 AI 鍛鍊,作為用户的我們難以得知其背後的具體實現,但其驚豔的效果帶來的感性體驗就是最好證明。
資料來源:愛範兒(ifanr)
也許你還會想起最近流行的迪士尼濾鏡,如今在 Snapchat、B612 等一眾熱門美圖 app 中都能找到這一功能了。
作為一名塑料繪畫愛好者,每一次看到類似的 AI 在繪畫領域又有突破的新聞,A 君都想第一時間嘗試。
最近一款引起熱議的二次元漫畫風格遷移工具 AnimeGANv2 又再一次讓我們由衷感嘆科技力量之強大:只要挑選到正確的照片,該工具的成像效果真的可以用「驚豔」來形容了。
▲ 圖片來自: AnimeGANv2 的在線體驗頁面
▲ 圖片來自: AnimeGANv2 的在線體驗頁面
AnimeGAN 原來是 GitHub 上的一個開源項目,在 2019 年發佈以後就已經引起了不少討論,知乎上還有人專門開貼講述過它的算法模型。
▲ AnimeGAN 的 GitHub 項目
該工具是基於一種叫 GAN(名對抗生成網絡)的技術打造的,相比於傳統的神經網絡模型,GAN 是一種全新的非監督式的架構。
在訓練 AI 時 GAN 包括了兩套獨立的網絡 A 和 B,A 網絡是需要訓練的分類器,用來分辨成圖是否符合標準;B 網絡是生成器,生成類似於真實樣本的隨機樣本,並將其作為假樣本以欺騙網絡 A。
在 A 和 B 的對抗中,AI 的水平逐漸提升,最後實現質的飛躍。
最近 AnimeGAN 發佈了其二代版本,據稱更新後 AnimeGANv2 支持了風景照片和風景視頻的三種動漫化風格(分別是宮崎駿、新海誠和金敏),視覺效果更佳,模型體量也更小且容易訓練了。
▲ 圖片來自:橘 吉野 五等分の瓜皮 的知乎文章
並且更重要的是目前 AnimeGANv2 的成果經過社區貢獻者的開發已經通過 Gradio 實現了一個可以在線運行的 Demo,併發布在 了 Hugging Face 上,換言之任何人都可以通過線上的方式輕鬆體驗到 AnimeGANv2 的效果了。
打開相應網站後,映入眼簾的是一個簡單的 app 在線使用版面。
點擊虛線方框就可以上傳本地照片,或者直接把照片拖動到方框內也可以完成上傳操作,上傳完成後點擊下方的「Submit」按鈕,等待數秒就可以看到效果了。
這個工具本身也提供了很多的樣板照片供用户測試,把網頁下拉以後點擊這些照片再滾動至頁面上方時就可以看到圖片已經被加載了。
在圖片下方可以選擇不同的效果,「version 1」代表提高風格化,降低穩健性的設置,而「version 2」則與之相反,降低風格化程度,提高穩健性。
簡單來説選擇版本 1,你放入的照片會更具有漫畫的特點,但是對原來照片的還原度會被弱化,選擇版本 2 則相反,能夠生成出更加逼真的效果圖。
比如鋼鐵俠的照片在兩個不同版本中的體現就是很好的例子。
AnimeGANv2 本身提供了很多名人的漫畫臉成品圖給用户欣賞,效果都非常優秀。
下面開始進行實際體驗,首先是人像。我們先從免費正版高清圖片庫 Pixabay 找到幾張清晰的人像照片(男性、女性和孩子),然後再分別上傳到網頁進行計算,以下是測試效果。
效果還是十分不錯的,成圖中人物的邊緣清晰,五官分明,繪畫感強,並且更難得的是 app 對人物的外貌特點捕捉得比較準確,具有神韻。
當然普通人在沒有專門的攝影設備和技巧的幫助下還是很難提供像在 Pixabay 裏找到的那種乾淨又清晰的照片的,因此 A 君還特地在網上找了幾張拍攝相對隨便的大頭照和前面的測試組進行對比。
▲ 當看到第三張照片的成圖時就知道這次測試穩了
這次測試的照片均為亞洲人,而且應該就是拍照者隨意的自拍, AnimeGANv2 的運算效果並沒有讓我們失望。
經檢測發現,白底的證件證照反而是效果最好的,基於肖像權原因,效果圖就不在這裏公開了。如果你手頭上沒有合適的照片,不妨就直接使用證件照來體驗,不僅成圖效果好,對人物氣質的把握精準,美顏效果更是拔羣。
不過這裏還有一個美中不足的地方,不知道是不是因為在訓練 AI 時投餵的大多是女性的照片或者提供 AI 學習的漫畫圖片風格偏向陰柔,當放入一些的男性真人照時,成像的眼睛會顯得有些「娘化」,帶上眼鏡遮擋能優化效果。
▲ AnimeGAN 效果
▲ AnimeGANv2 效果
上面用的基本為無背景大頭照,倘若我們上傳的是有背景的生活照效果又如何呢?
雖然整體效果還是能看的,但人物的五官瞬間就模糊了起來,看來想要獲得更好的效果還得儘量使用半身或者大頭照。另外在測試中發現 app 對照片的質量也是有要求的,模糊的大頭照同樣會使得人物的五官無法被精確捕捉。
接下嘗試上傳動物的照片,同樣從 Pixabay 獲取素材。
這次在選擇小貓照片的時候特意挑選了一張表情奇特,且臉部有遮擋的照片,沒想到 AnimeGANv2 還是出色地完成了任務。
一直以為選擇「version 2」應該是對五官細節等還原得最好的,但是在測試小狗照片的時候發現並不一定是這樣,看來根據不同的對象挑選適合的風格也很重要。
▲ 小狗的版本 1 與版本 2 對比圖
最後是風景照, 雖然在知乎裏描述説 AnimeGANv2 目前支持三種漫畫的場景風格,但是在在線版中並沒有風格選項供我們選擇(該功能可能需要在 GitHub 的完整代碼中實現)。
從 Pixabay 中挑選了北京肅穆的天壇、香港頗具賽博朋克氣氛的街道、京都的清晨安靜的神社以及兩張自然風光照來測試。
雖然看不太出更像的是哪位漫畫大師的手筆,但是每一張成品的效果都令人滿意,特別是那種香港街頭照,充滿了藝術感,基本可以放在朋友圈以手繪之名以假亂真。
市場上照片轉繪畫風格的同類型應用應該不少,甚至我們手機中常備的美圖秀秀等 app 就有帶這樣的插件,AnimeGAN 的團隊為何要花費三年多的時間專門對這一工具精雕細琢呢?
也許這一輪測試下來,我們會得到答案——它的成圖自然又好看,跟平時隨處可見但效果千人一面的其他繪畫風格遷移 app 是不一樣的。
雖然工具的頁面樸素,成像的時間也是短短几秒,但在這幾秒內藴含的是複雜的計算和數不勝數的 AI 鍛鍊,作為用户的我們難以得知其背後的具體實現,但其驚豔的效果帶來的感性體驗就是最好證明。
資料來源:愛範兒(ifanr)
請按此登錄後留言。未成為會員? 立即註冊