本申請涉及立體視覺處理,尤其涉及一種三維圖像生成方法、設備、存儲介質及程序產(chǎn)品。
背景技術:
1、隨著科技的不斷發(fā)展,三維(3d)技術在各行各業(yè)的應用越來越廣泛,對三維圖像需求越來越高,然而,大量現(xiàn)有的圖像仍然是二維(2d)格式的,這限制了3d技術的應用范圍。
2、現(xiàn)有技術有提出現(xiàn)有生成二維圖像的方法用來生成三維圖像,例如,利用原本生成二維圖像的生成對抗網(wǎng)絡(generative?adversarial?networks,gans)生成三維圖像,或者利用原本生成二維圖像的卷積神經(jīng)網(wǎng)絡(convolutional?neural?networks,cnns)生成三維圖像。然而,這種方式生成三維圖像的圖像質量較差,例如,圖像失真、分辨率較低。
技術實現(xiàn)思路
1、本申請的多個方面提供一種三維圖像生成方法、設備、存儲介質及程序產(chǎn)品,用以提高生成三維圖像的圖像質量。
2、本申請實施例提供一種三維圖像生成方法,包括:基于雙眼視差,生成二維圖像對應的帶有空洞區(qū)域的第一單眼視圖和不帶空洞區(qū)域的第二單眼視圖,二維圖像具有第一單眼視角,第一單眼視圖和第二單眼視圖具有第二單眼視角;對所述第一單眼視圖中的空洞區(qū)域進行分塊修復,以得到第三單眼視圖,所述第三單眼視圖具有第二單眼視角;根據(jù)所述第二單眼視圖對所述第三單眼視圖進行全局修復,以得到不帶空洞區(qū)域的第四單眼視圖,所述第四單眼視圖具有第二單眼視角;將二維圖像與第四單眼視圖進行合成,以得到二維圖像對應的三維圖像。
3、本申請實施例還提供一種三維圖像生成方法,包括:接收內(nèi)容制作端上傳的二維圖像,二維圖像是采用二維拍攝設備拍攝的;采用本申請實施例提供的圖像生成方法,生成二維圖像對應的三維圖像;將三維圖像返回給內(nèi)容制作端,以供內(nèi)容制作端使用三維圖像。
4、本申請實施例還提供一種電子設備,包括:存儲器和處理器;存儲器,用于存儲計算機程序;處理器,與存儲器耦合,用于執(zhí)行計算機程序,以實現(xiàn)本申請實施例提供的三維圖像生成方法中的各步驟。
5、本申請實施例還提供一種存儲有計算機程序的計算機可讀存儲介質,當計算機程序被處理器執(zhí)行時,致使處理器實現(xiàn)本申請實施例提供的三維圖像生成方法中的各步驟。
6、在本申請實施例中,基于雙眼視差,生成二維圖像對應的帶有空洞區(qū)域的第一單眼視圖和不帶空洞區(qū)域的第二單眼視圖;針對第一單眼視圖中的空洞區(qū)域進行分塊修復,得到第三單眼視圖;進而根據(jù)不帶空洞區(qū)域的第二單眼視圖對第三單眼視圖分塊修復進行全局修復,得到不帶空洞區(qū)域的第三單眼視圖,將二維圖像和第四單眼視圖作為兩個單眼視角下的圖像進行合成,得到二維圖像對應的三維圖像。其中,針對空洞區(qū)域采用分塊修復可以顯著提高圖像質量,減少噪聲和偽影,同時保持重要的圖像細節(jié),進一步將不帶空洞區(qū)域的第二單眼視圖作為全局約束,對經(jīng)過空洞區(qū)域修復后的第三單眼視圖進行全局修復,在修復的同時可以保證生成內(nèi)容可控,維持立體視覺的一致性。
1.一種三維圖像生成方法,其特征在于,包括:
2.根據(jù)權利要求1所述的方法,其特征在于,基于雙眼視差,生成二維圖像對應的帶有空洞區(qū)域的第一單眼視圖和不帶空洞區(qū)域的第二單眼視圖,包括:
3.根據(jù)權利要求2所述的方法,其特征在于,根據(jù)所述二維圖像中像素點的位置信息和在所述第二單眼視角下的相對位置偏移信息,對所述二維圖像進行所述第二單眼視角下的渲染處理,以得到所述第一單眼視圖,包括:
4.根據(jù)權利要求2所述的方法,其特征在于,根據(jù)所述第一單眼視圖相對所述二維圖像的運動方向,對所述第一單眼視圖中的空洞區(qū)域進行插值處理,得到所述第二單眼視圖,包括:
5.根據(jù)權利要求1-4任一項所述的方法,其特征在于,對所述第一單眼視圖中的空洞區(qū)域進行分塊修復,以得到第三單眼視圖,包括:
6.根據(jù)權利要求5所述的方法,其特征在于,對所述第一圖像特征進行分塊修復,以得到第三圖像特征,包括:
7.根據(jù)權利要求5所述的方法,其特征在于,根據(jù)所述第一單眼視圖生成第一圖像特征,包括:
8.根據(jù)權利要求7所述的方法,其特征在于,根據(jù)所述第二圖像特征對所述第三圖像特征進行全局修復,得到第四圖像特征,包括:
9.根據(jù)權利要求8所述的方法,其特征在于,根據(jù)所述第二圖像特征和所述第五圖像特征,對所述第三圖像特征進行全局修復,得到第四圖像特征,包括:
10.一種三維圖像生成方法,其特征在于,包括:
11.一種電子設備,其特征在于,包括:存儲器和處理器;所述存儲器,用于存儲計算機程序;所述處理器,與所述存儲器耦合,用于執(zhí)行所述計算機程序,以實現(xiàn)權利要求1-9以及權利要求10中任一項所述方法中的步驟。
12.一種存儲有計算機程序的計算機可讀存儲介質,其特征在于,當所述計算機程序被處理器執(zhí)行時,致使所述處理器實現(xiàn)權利要求1-9以及權利要求10中任一項所述方法中的步驟。
13.一種計算機程序產(chǎn)品,包括計算機程序/指令,其特征在于,當所述計算機程序/指令被處理器執(zhí)行時,致使所述處理器實現(xiàn)權利要求1-9和權利要求10中的任一項所述方法中的步驟。