We propose a cross-domain image-based 3D shape retrieval method, which learns a joint embedding space for natural images and 3D shapes in an end-to-end manner by devising the Cross-View Convolution (CVC) and Cross-Domain Triplet Neural Networks (CDTNN) .

兩年多前，也只不過是一個簡單的想法：3D模型設計很重要，因為電腦動畫、AR、VR都需要，可是從新設計或是修改一個3D模型是何等困難的事。

所以我們想試試看，有沒有辦法可以利用照片來搜尋類似的3D 模型（可能是CAD或是其他3D 檔案格式）來進行編修。因為目前在網路上隨手可得的3D模型太多了！

拍張照片，搜尋類似想要的模型，應該是最簡單的方式。 很高興我們做到了，請參考demo影片。

為了解決照片搜尋網路這種跨領域的問題（因為兩種視覺資料長得完全不一樣），我們提出一個用於跨領域的調適深度學習網路，可端對端學習圖片及三維模型共同的特徵空間。我們可根據圖片和三維模型之相似度搜尋。為拉近二維自然圖片特徵和三維模型特徵之間領域的差異，我們提出了跨領域 三元神經網路 (cross-domain triplet neural network, CDTNN)，而且還提出有效的訓練方法，大幅減少網路訓練時間。

還有一個核心問題，3D模型的可能視角很多，究竟該哪一個角度來與照片比對，尤其是我們希望可以「即時」搜尋大量的3D模型，預先索引的建立是必要的。 所以我們設計了「跨視角卷積」元件來找出跨視角的特徵值。

很高興技術論文即將在九月初在義大利召開的 3D Vision 會議以Oral論文發表。感謝團隊，特別是 李唐 以及 Yenliang Lin的努力。

希望很快可以將這個搜尋引擎公開，讓大家可以使用。

Tang Lee, Yen-liang Lin, Hung-yueh Chiang, Ming-Wei Chiu, Winston Hsu. Cross-Domain Image-Based 3D Shape Retrieval by View Sequence Learning. International Conference on 3D Vision, September 5-8, Verona, Italy. [Oral Paper]

搜尋的範例如下：