5月2日,在央視新聞頻道的特別報道中,虛擬主持人“康曉輝”與央視記者江凱共同主持《直播長江》安徽篇,并在現場進行實時互動。
屏幕上這位讓觀眾“似曾相識”的虛擬主持人——“康曉輝”,他的形象是基于央視主持人康輝的外形,通過相芯科技FaceUnity的虛擬形象生成(P2A)技術創建的,并通過虛擬形象驅動技術實現實時驅動。而他的聲音是通過科大訊飛旗下的訊飛智聲平臺的AI語音合成技術對康輝老師的聲音進行合成模擬的。此次相芯科技和科大訊飛聯手打造的虛擬主持人,讓觀眾們能聞其聲,也見其人。
虛擬主持人的形象是怎么創建的?
一張照片就夠了
虛擬主持人的,創建過程比所有人想象的都要簡單,相芯科技僅使用了一張央視主持人康輝的照片,通過相芯科技的P2A(Photo-to-Avatar)技術,直接生成了全動態的虛擬主持人“康曉輝”。這項技術打破了人們以往對虛擬形象技術需要特殊硬件設備和高昂成本的距離感,而是只需普通攝像頭和一張自拍,便可在97%的Android機型、iOS平臺、PC端實現與好萊塢CG特效媲美的效果。
也就是說,普通用戶在自己的手機里就能創建自己的虛擬形象。在生成3D虛擬形象后,還能根據用戶的實際需求,對虛擬形象的服裝、造型、環境光線、背景等進行個性化自定義,并提供真人版和卡通版兩種風格。
虛擬主持人的實時驅動
從新聞畫面里可以了解到,虛擬主持人“康曉輝”在播報內容的過程中,能做出和真人一樣的口型、表情等變化,頭部也能做出點頭、搖頭等一系列動作,這些并不是提前做好的動畫,而是可以實時操控的。這個實時驅動就是通過相芯科技的虛擬形象驅動技術實現的。
相芯科技通過智能人臉檢測,精確捕捉面部肌肉運動節點并標記特征點(眼睛、口鼻、眉毛、面部輪廓等),獲取面部表情系數并將表情同步至3D虛擬形象面部,從而驅動3D虛擬形象。在直播期間,工作人員通過筆記本上的攝像頭,拍攝他的視頻影像,在屏幕上的虛擬主持人就能實時逼真地還原工作人員做出的表情動作。這項技術同樣只需要普通攝像頭就能實現。
未來,人人都有自己的虛擬形象
未來,人們在社交網絡上不再滿足于用一串字符、一個ID、一張圖片詮釋自己,而希望用黑科技創造出一個說話、長相、甚至行為與本人高度一致的虛擬形象。而隨著技術的不斷推進,虛擬形象的創建已經不再需要依賴專業的硬件設施和高昂的成本,普通用戶在手機上就可以輕松實現。相芯科技的虛擬形象技術已在視頻社交、虛擬偶像、游戲等泛娛樂領域得到廣泛應用,也在醫療、在線教育、智能商業領域開始嶄露頭角。相芯科技相信,在未來,每個人都將擁有這種實時、互動、智能的虛擬形象,作為自己在虛擬世界的化身,成為自己專屬的數字資產。