11月3日-11月5日期間,時(shí)尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店(騰訊電競聯(lián)名店)舉辦線下生日活動(dòng),期間騰訊先鋒與星瞳I(xiàn)P、競鵝酒店展開技術(shù)合作,共同解鎖沉浸感十足的“AI虛實(shí)互動(dòng)體驗(yàn)”,邀請線下觀眾與星瞳在虛擬場景中實(shí)時(shí)“斗舞”。這也是騰訊先鋒基于其虛實(shí)互動(dòng)技術(shù)打造的“云渲染+虛實(shí)互動(dòng)”新玩法的線下首發(fā)落地。
未來,騰訊先鋒虛實(shí)互動(dòng)技術(shù)還將通過TV客戶端觸達(dá)更廣泛的用戶,帶來更具趣味性、專業(yè)性的大屏健身交互體驗(yàn)。
打破虛實(shí)界限,邀你與星瞳共舞
(相關(guān)資料圖)
從2018年首次亮相,到與國樂大師方錦龍先生同臺(tái)表演,再到參與國產(chǎn)原創(chuàng)動(dòng)漫形象舞臺(tái)競演節(jié)目《2060》,虛擬人星瞳從虛擬世界走來,以愈發(fā)鮮活的形象與現(xiàn)實(shí)世界產(chǎn)生互動(dòng)。
而競鵝酒店是騰訊電競與歐愉科技共同打造的電競酒店品牌,酒店擁有濃厚的虛擬人及虛實(shí)互動(dòng)氛圍,擁有國內(nèi)首個(gè)電競虛擬主理人V姐全方位服務(wù)、電競主題數(shù)字互動(dòng)體驗(yàn)、正版電競IP主題房等一系列電競數(shù)字IP體驗(yàn)空間。這次生日活動(dòng)就落地在競鵝酒店,借助騰訊先鋒自研的虛實(shí)互動(dòng)技術(shù),觀眾首次以“真實(shí)形象”進(jìn)入星瞳的世界,與她共舞一曲。
在互動(dòng)環(huán)節(jié),參與體驗(yàn)的觀眾只需站在互動(dòng)區(qū)域,其真人形象就能夠通過手機(jī)攝像頭投射在虛擬場景中,其在現(xiàn)實(shí)世界中的一舉一動(dòng)也會(huì)實(shí)時(shí)同步至屏幕中,舞蹈挑戰(zhàn)開始后,系統(tǒng)通過判斷觀眾的骨骼姿勢進(jìn)行打分評級。
簡單易上手且自由度極高的操作,極具沉浸感、趣味性的交互玩法讓觀眾直呼過癮,同時(shí)無需穿戴設(shè)備和綠幕背景,僅通過普通手機(jī)攝像頭就能在虛擬世界實(shí)時(shí)互動(dòng)的低門檻體驗(yàn),也讓觀眾對這一技術(shù)走進(jìn)自家客廳充滿了期待。為了打造優(yōu)質(zhì)的AI虛實(shí)互動(dòng)體驗(yàn),騰訊先鋒在其自研虛實(shí)互動(dòng)技術(shù)里綜合應(yīng)用了諸多技術(shù)能力,包括實(shí)時(shí)無綠幕摳圖、姿態(tài)估計(jì)與動(dòng)作捕捉、實(shí)時(shí)云端視頻流媒體AI通用處理架構(gòu)。
其中,實(shí)時(shí)無綠幕摳圖技術(shù),繞過了設(shè)備的限制,能夠在云端進(jìn)行實(shí)時(shí)4K視頻發(fā)絲級摳圖。換句話說,無需綠幕或設(shè)備算力,只需普通的手機(jī)攝像頭,也能在虛擬世界中實(shí)時(shí)呈現(xiàn)高質(zhì)量的真實(shí)人物形象,并且?guī)士蛇_(dá)60FPS,足以滿足普通用戶在虛擬場景實(shí)時(shí)互動(dòng)的需求。
而在姿態(tài)估計(jì)與動(dòng)作捕捉方面取得的技術(shù)突破,則進(jìn)一步降低了AI虛實(shí)互動(dòng)體驗(yàn)的門檻,不僅擺脫了對特殊場地和拍攝設(shè)備的依賴,也無需額外的可穿戴設(shè)備,僅通過手機(jī)或是普通的RGB攝像頭,即可實(shí)現(xiàn)包括身體、手部和表情在內(nèi)的高精度動(dòng)作捕捉以及虛擬形象表演驅(qū)動(dòng)。結(jié)合深度神經(jīng)網(wǎng)絡(luò)的視覺AI動(dòng)捕技術(shù)和端云協(xié)同的多視角拍攝與計(jì)算能力,能夠進(jìn)一步提高精度及穩(wěn)定性,精準(zhǔn)還原肢體律動(dòng)。同樣,該技術(shù)也是完全基于云端計(jì)算,無需額外算力。
上述兩大技術(shù)能力都對“云”提出了極高的要求,面對隨之而來的延時(shí)、畫質(zhì)、跨終端等實(shí)際問題,騰訊先鋒打造了實(shí)時(shí)云端視頻流媒體AI通用處理架構(gòu),整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架,構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計(jì)算方案,并且支持先鋒云游戲kunpeng、ampere、x86+nvidia gpu等多種平臺(tái), 適配不同gpu集群部署,支持邊緣節(jié)點(diǎn)部署調(diào)度。 在騰訊先鋒云游戲云計(jì)算能力的加持下,“云渲染+虛實(shí)互動(dòng)”玩法的鏈路延遲基本可穩(wěn)定在100毫秒以下,并且可實(shí)現(xiàn)單機(jī)64路視頻流的實(shí)時(shí)動(dòng)作捕捉,使得用戶隨時(shí)隨地在虛擬世界進(jìn)行交互成為可能。
多場景創(chuàng)新融合,探索云游戲技術(shù)的無限可能
多年來,騰訊先鋒在云游戲領(lǐng)域進(jìn)行了深入的探索,在關(guān)鍵技術(shù)、應(yīng)用場景、內(nèi)容生態(tài)等方面積累了豐碩的成果,并持續(xù)豐富用戶的娛樂互動(dòng)體驗(yàn),不斷拓寬云游戲的可能性。
云游戲的愿景之一就是降低設(shè)備門檻,打破不同設(shè)備間的隔閡,讓用戶隨時(shí)隨地獲得極致的體驗(yàn)。在服務(wù)玩家的過程中,騰訊先鋒持續(xù)發(fā)力無縫跨場景連接,圍繞縮短內(nèi)容到用戶的“距離”,進(jìn)行了全方位的優(yōu)化,跨端解決方案日趨完善:支持手Q、微信登錄一鍵授權(quán),打通移動(dòng)、PC、TV大屏等多終端的游戲體驗(yàn),是國內(nèi)少有的全終端云游戲生態(tài)平臺(tái)。同時(shí)通過定制化游娛套裝, 騰訊先鋒解決了移動(dòng)游戲在大屏端的交互問題,讓用戶體驗(yàn)更加“絲滑”,促進(jìn)多用戶場景的滲透。
基于多年來沉淀的云游戲技術(shù)能力,騰訊先鋒也在不斷拓展技術(shù)的邊界,尋求新的突破。此前,騰訊先鋒參與了“云游長城”項(xiàng)目中“數(shù)字長城”的制作,為其提供云游戲技術(shù)支持,幫助數(shù)以億計(jì)的數(shù)字資產(chǎn)成功“上云”,并通過獨(dú)有的云游戲傳輸流控算法在移動(dòng)端打造3A級的觀看效果和交互體驗(yàn)。這也是全球首次將云游戲技術(shù)應(yīng)用于人類文化遺產(chǎn)保護(hù)。
今年9月,高新視頻互動(dòng)場景創(chuàng)新國家廣播電視總局實(shí)驗(yàn)室正式啟動(dòng),在上海市廣播電視局的指導(dǎo)下,騰訊先鋒將聯(lián)合行業(yè)共建單位聚焦高新視頻云互動(dòng)數(shù)字場景創(chuàng)新應(yīng)用開展相關(guān)研究,為豐富高新視頻內(nèi)容供給、培育智慧廣電新視聽提供重要支撐。
騰訊先鋒還在積極拓展云互動(dòng)與社交、演藝、文創(chuàng)、運(yùn)動(dòng)等領(lǐng)域的創(chuàng)新融合,打造低門檻的虛實(shí)互動(dòng)體驗(yàn)。此次與星瞳I(xiàn)P的技術(shù)合作,為大眾打開了近距離接觸云游戲技術(shù)的新窗口,以極致的用戶體驗(yàn)又一次刷新了外界對于這一技術(shù)的認(rèn)知與想象空間。
未來,云游戲技術(shù)將被應(yīng)用于更多數(shù)字場景之中。借助云游戲技術(shù),用戶可以與數(shù)字人、KOL等同場景實(shí)時(shí)互動(dòng),或是與身處不同空間的用戶同屏互動(dòng),抑或是豐富XR領(lǐng)域的內(nèi)容生態(tài),提升可玩性,解鎖更多創(chuàng)新玩法。
可以預(yù)見,在云游戲技術(shù)的底盤之上,不僅可以誕生各種各樣的游戲服務(wù),持續(xù)提升用戶娛樂體驗(yàn),也可以與更多非游戲行業(yè)創(chuàng)新結(jié)合,以豐富的形態(tài)滲透進(jìn)大眾生活,帶來全新的數(shù)字體驗(yàn),釋放無限可能。