我們都有這樣的困擾，在電子購物的時候，看到一雙好看的鞋子，想買。但是卻又拿不定主意自己穿起來好看嗎？或是搭配某件褲子適合嗎？怎麼讓網路虛擬商城的鞋子，可以有效試在自己的腳上呢？
這個工作的挑戰在於如何使用單張鞋子商品的照片，很自然的合成在使用者的腳上，而且腳可能會有各種姿勢、角度。如何客服這個問題？
很高興大學部專題生（EE） 周晁德 完成了這個 PIVTONS 的虛擬鞋子試穿生成網路，試著解決這個困擾大家很久的問題。 這個有趣的工作也將於十二月初，在澳洲珀斯舉辦 Asian Conference on Computer Vision (ACCV) 2018 以大會演說 (Oral) 的方式跟大家分享這個工作。接下來全新的測試資料集將會公開讓大家使用，如果可以的話，我們也將試試看將整個試穿生成系統上線，讓大家體驗虛擬試鞋的樂趣 — 可以多試穿，多省錢。
我們鼓勵high-risk的研究工作。令人慶幸的是，這工作的發想、資料收集都是專題生獨立完成。當然在過程當中遇到很多GAN生成的問題，網路設計、訓練的問題，幾乎放棄了，還好團隊成員一起想辦法解決，關關難過，關關過（甚至免費擔任model），讓這個兼具技術深度以及商業價值的系統，可以順利完成。
我們也一直努力，讓智能生成（或是辨識）系統，賦予更有意義的應用 — 用以提升個人或是企業的「效率」、「生產力」、以及「安全」。
Virtual try-on — synthesizing an almost-realistic image for dressing a target fashion item provided the source human photo — has growing needs due to the prevalence of e-commerce and the development of deep learning technologies. We present pose invariant virtual try-on shoe (PIVITONS) to cope with virtual try-on shoe. The shoe image only shows a single view of the shoe but the try-on result should show other views of the shoe depending on the original pose of feet. We formulate that as an automatic and labor-free image completion task and design an end-to-end neural networks composing of feature point detector. By combing three losses for image generation, we can synthesize realistic results. The work will be presented as an ORAL paper in ACCV 2018.
PIVTONS: Pose Invariant Virtual Try-On Shoe with Conditional Image Completion. Chao-Te Chou, Cheng-Han Lee, Kaipeng Zhang, Hu Cheng Lee, Winston H. Hsu. Asian Conference on Computer Vision (ACCV) 2018
Download the paper here:
https://winstonhsu.info/pubs/pivtons-virtual-try-on-shoe/