技術(shù)
導(dǎo)讀:實(shí)現(xiàn)這些的,是一種基于StyleGAN2的新技術(shù)——StyleFlow,根據(jù)指定條件,就可以生成人臉。
當(dāng)年輕的馬斯克換上女裝,是這個(gè)亞子。
好清秀的姑娘啊~
而若加上胡子,就瞬間變成另一種“風(fēng)味”。
還可以看看馬斯克過幾年禿頭的樣子。(手動(dòng)狗頭)
害,馬斯克還是馬斯克,還是那個(gè)“地球新首富”。
實(shí)現(xiàn)這些的,是一種基于StyleGAN2的新技術(shù)——StyleFlow,根據(jù)指定條件,就可以生成人臉。
除了上面這些換女裝、變禿、畫胡子等功能,還集成了換姿勢、調(diào)整光照、改變表情等效果,甚至還可以用在車上。
根據(jù)條件生成人臉
我們知道,由于GAN潛伏空間內(nèi)部的相互作用,通常對一個(gè)屬性條件進(jìn)行編輯的時(shí)候會(huì)很容易導(dǎo)致其他屬性不必要的而變化。本文正是基于這個(gè)背景下,提出了StyleFlow。
具體來說,探討了兩個(gè)方面的問題:屬性條件取樣和屬性控制編輯。
第一,屬性條件取樣。對具有特定屬性的高質(zhì)量真實(shí)圖像進(jìn)行取樣;
第二,屬性控制編輯。對給定的圖像進(jìn)行編輯,使編輯后的圖像具有目標(biāo)屬性,同時(shí)最好地保留源圖像的特性。
StyleFlow所推斷的路徑是以輸入圖像為條件,因此可以適應(yīng)各個(gè)人臉的獨(dú)特性。
首先從源圖像開始使用反向推理,通過CNF塊的序列進(jìn)行正向推理來支持屬性條件編輯。
圖中,z表示先驗(yàn)分布的變量,w表示StyleGAN的中間權(quán)重向量。
還要注意的是,逆向推理和正向推理是由一個(gè)ODE求解器來實(shí)現(xiàn)的,它來評估時(shí)間變量上的CNF函數(shù)。
其中,屬性向量at為條件學(xué)習(xí)函數(shù)是關(guān)鍵,既可以正向推理,也可用于反向推理。
隨后,使用StyleFlow的屬性條件采樣,通過重新采樣Z0 定義他們的屬性。
最終,研究人員使用StyleGAN的人臉和汽車潛伏空間對我們的方法進(jìn)行了評估,并在真實(shí)照片和StyleGAN生成的圖像上展示了沿各種屬性的細(xì)粒度的分離編輯。
例如,對于人臉,改變了相機(jī)姿勢、照明變化、表情、面部頭發(fā)、性別和年齡。
還可以一對多的批量化操作。
最后通過大量的定性和定量比較,以及與已有的技術(shù)相比,研究人員證明了StyleFlow的優(yōu)越性。
背后的團(tuán)隊(duì)
這項(xiàng)技術(shù)由阿卜杜拉國王科技大學(xué)(KAUST)、Adobe共同研發(fā),第一作者是來自KAUST的Rameen Abdal。
研發(fā)團(tuán)隊(duì)中還有一位華人面孔——朱培豪。
他本科畢業(yè)于東北大學(xué)自動(dòng)化專業(yè),隨后前往中國科學(xué)院大學(xué)學(xué)習(xí)計(jì)算機(jī)科學(xué)。
碩士畢業(yè)后,來到阿卜杜拉國王科技大學(xué)計(jì)算視覺中心攻讀博士。
除了生成人臉,還能造車?
最后,分享一下這項(xiàng)技術(shù)的“造車”的效果~
旋轉(zhuǎn)任意角度。
普通車秒變SUV~
雖然這些Demo里沒有特斯拉的效果,但還是要問一句:
So,馬斯克感興趣嗎?(手動(dòng)狗頭)