在元宇宙概念火爆的當(dāng)下，XR硬件設(shè)備作為進(jìn)入元宇宙這一未來(lái)世界的重要“入場(chǎng)券”，在短時(shí)間內(nèi)受到了各大科技企業(yè)的關(guān)注。Rokid作為專(zhuān)注于人機(jī)交互技術(shù)與人工智能硬件研發(fā)的科技企業(yè)，在AR眼鏡的研發(fā)道路上深耕已久，并積累了大量的技術(shù)實(shí)踐經(jīng)驗(yàn)。

在不久前由51CTO舉辦的MetaCon元宇宙技術(shù)大會(huì)上，Rokid產(chǎn)品技術(shù)總監(jiān)趙維奇帶來(lái)了《戴上AR眼鏡·與未來(lái)交互》專(zhuān)題演講，重點(diǎn)介紹了Rokid如何借助AI與5G技術(shù)的融合，對(duì)AR眼鏡進(jìn)行賦能，以實(shí)現(xiàn)3D空間的虛實(shí)結(jié)合與沉浸感升級(jí)。51CTO將本次分享的核心內(nèi)容進(jìn)行了整理，希望能給大家?guī)?lái)一些啟發(fā)：

AR的使命是將真實(shí)世界與虛擬世界融合。利用AR技術(shù)創(chuàng)造場(chǎng)景下更自然的虛實(shí)結(jié)合交互，是Rokid一直的努力的方向。想要實(shí)現(xiàn)這一目標(biāo)，則需要具備以下幾方面的能力：

1.感知力：利用硬件上的傳感器與模組以及軟件上的各種應(yīng)用功能，使用戶(hù)能夠更好地去獲取環(huán)境和自身的相關(guān)信息。

2.理解力：借助AI技術(shù)，基于感知獲得信息，包括對(duì)人的理解、對(duì)物體的理解、對(duì)環(huán)境的理解、對(duì)行為意圖的理解，以及周邊信息的理解。

3.協(xié)同能力：人類(lèi)脫離不開(kāi)社交與協(xié)作，每天我們都需要與人溝通合作。如何更好地、更低成本、更高效地協(xié)同在目前環(huán)境下異常重要。

4.展現(xiàn)力：更多的形式、多模態(tài)的內(nèi)容呈現(xiàn)方式，例如2D音視頻、3D的模型等，空間讓更豐富的交互成為可能。

5.內(nèi)容生產(chǎn)及數(shù)字資產(chǎn)管理能力：AR使平面升維到空間，這帶來(lái)了大量的數(shù)字內(nèi)容需求與數(shù)字資產(chǎn)管理要求。此情景下，高效生產(chǎn)和管理數(shù)字資產(chǎn)的能力是不必可少的。

Rokid通過(guò)軟件、硬件能力的融合以實(shí)現(xiàn)這些的能力：

1.芯片：Rokid與國(guó)內(nèi)頭部企業(yè)海思共同開(kāi)發(fā)了XR平臺(tái)，提供了芯片平臺(tái)等級(jí)的能力。

2.解決方案：Rokid在toC、toBtoC、toB與toG的各個(gè)行業(yè)，均有非常成熟的解決方案。

3.語(yǔ)音交互：Rokid深耕語(yǔ)音交互技術(shù)多年，在離線語(yǔ)音和精準(zhǔn)識(shí)別上已經(jīng)達(dá)到99%的準(zhǔn)確率。

4.硬件：硬件設(shè)計(jì)是Rokid的強(qiáng)項(xiàng)，Rokid會(huì)結(jié)合ID、ME以及供應(yīng)鏈，提供完善的硬件能力，以保證硬件設(shè)備擁有更高的舒適度以及更強(qiáng)的基礎(chǔ)能力。

5.光學(xué)顯示：Rokid提供全球領(lǐng)先的光波導(dǎo)技術(shù)，也將這一技術(shù)應(yīng)用在了大量產(chǎn)品之中。

6.視覺(jué)算法：AR眼鏡通過(guò)視覺(jué)算法了解、感知并理解環(huán)境，以此提供對(duì)應(yīng)的內(nèi)容呈現(xiàn)方式。

通過(guò)上述基礎(chǔ)，Rokid能夠更好地將AR與AI的能力進(jìn)行融合。

細(xì)節(jié)方面，Rokid軟件層提供了更加多模態(tài)的交互能力，包括兼容2D、3D生態(tài)的操作系統(tǒng)、功能豐富的SDK、便捷的開(kāi)發(fā)工具，以及支持全球開(kāi)發(fā)者的社區(qū)與應(yīng)用發(fā)布平臺(tái)。

無(wú)論是合作伙伴還是開(kāi)發(fā)者，都能夠方便快捷地應(yīng)用這些能力。此外，在整體XR系統(tǒng)之中，Rokid始終堅(jiān)持圍繞AI與AR打造面向未來(lái)的技術(shù)能力。包括主流芯片平臺(tái)、AR硬件平臺(tái)，AR頭環(huán)/頭盔、單目/雙目眼鏡、一體/分體設(shè)備設(shè)計(jì)、消費(fèi)級(jí)/工業(yè)級(jí)設(shè)備的配置與設(shè)計(jì)等。

Rokid在基礎(chǔ)OS之上，擁有較為完善的感知系統(tǒng)與理解系統(tǒng)。感知系統(tǒng)目前已有多個(gè)引擎，包括平臺(tái)支持、AI服務(wù)、AR服務(wù)以及云存儲(chǔ)服務(wù)。同時(shí)，Rokid也為開(kāi)發(fā)者提供了大量平臺(tái)SDK與基礎(chǔ)SDK，以便開(kāi)發(fā)者在OS之上以及面向行業(yè)進(jìn)行應(yīng)用開(kāi)發(fā)。

目前，Rokid已經(jīng)擁有大量的合作伙伴，無(wú)論對(duì)于應(yīng)用開(kāi)發(fā)者、應(yīng)用制作者、解決方案商或是系統(tǒng)集成商，Rokid都能夠賦予其軟硬件能力。借助這些能力，無(wú)論是toB、toBtoC還是toC場(chǎng)景下的應(yīng)用，都能夠輕松實(shí)現(xiàn)。Rokid打造了XR元宇宙的基礎(chǔ)能力，以幫助人們?cè)谠钪姝h(huán)境下釋放更多的創(chuàng)造力。

產(chǎn)品層面，Rokid也有著大量的積累與技術(shù)創(chuàng)新。

新發(fā)布的RokidAir，是面向toC市場(chǎng)的AR產(chǎn)品，擁有著輕巧便攜、視角廣闊、清晰度高等優(yōu)勢(shì)，兩個(gè)高品質(zhì)揚(yáng)聲器所帶來(lái)的環(huán)繞立體聲能夠讓音效更加震撼。同時(shí)，RokidAir還擁有著強(qiáng)大的語(yǔ)音交互能力，通過(guò)非常簡(jiǎn)單的語(yǔ)音指令就能夠完成大量操作，真正實(shí)現(xiàn)解放使用者雙手，讓用戶(hù)能夠沉浸式享受AR帶來(lái)的快樂(lè)。

除此之外，RokidAir支持500度以下的近視的調(diào)節(jié)，通過(guò)旋鈕調(diào)節(jié)，近視用戶(hù)也能夠輕松使用這款產(chǎn)品。即插即用，適配手機(jī)與各類(lèi)娛樂(lè)硬件設(shè)備的特性，也為RokidAir的使用帶來(lái)了更高的靈活性與便捷性。

目前RokidAir的適用場(chǎng)景主要有以下幾類(lèi)：

1.音視頻體驗(yàn)：RokidAir能夠隨時(shí)收納，無(wú)論在家中、飛機(jī)上還是火車(chē)上，你都能夠使用RokidAir連接手機(jī)與其他娛樂(lè)設(shè)備。此時(shí)，一個(gè)120寸的高清屏幕、一個(gè)獨(dú)享私人版的巨幕影院就將呈現(xiàn)在你的面前。

2.游戲體驗(yàn)：Rokid應(yīng)用商店擁有大量游戲內(nèi)容，支持用戶(hù)在真實(shí)世界里通過(guò)創(chuàng)造3D空間來(lái)完成游戲體驗(yàn)。此外，RokidAir也支持移動(dòng)端游戲，包括連接游戲主機(jī)及游戲手柄。不但是手機(jī)，Switch、SteamDeck甚至PS，RokidAir都能夠“照單全收”，并為用戶(hù)帶來(lái)低延時(shí)、高畫(huà)質(zhì)的巨屏享受。

RokidAirPro是一款toBtoC的AR產(chǎn)品，其與Rokid最大的不同點(diǎn)在于交互。第一，RokidAirPro擁有定向出音設(shè)計(jì)，用戶(hù)自己所說(shuō)的話只有自己能夠聽(tīng)到，不會(huì)打擾到周邊的人。此外，RokidAirPro提供了更多的交互功能。除語(yǔ)音交互外，由于RokidAirPro擁有攝像頭，因此其能提供更加豐富的視覺(jué)識(shí)別功能。通過(guò)攝像頭，RokidAirPro能識(shí)別更多場(chǎng)景并感知到周遭環(huán)境，以呈現(xiàn)和提供更加定制化和場(chǎng)景化的應(yīng)用與交互。

目前RokidAirPro已在許多toBtoC的場(chǎng)景下進(jìn)行了應(yīng)用，包括各大博物館與展覽，RokidAirPro能夠提供一種新的觀展打開(kāi)方式，原有的知識(shí)壁壘會(huì)被打破，用戶(hù)的好奇心和求知欲將被充分調(diào)動(dòng)。RokidAirPro能夠讓用戶(hù)完全通過(guò)AR和AI能力享受更多展館背后的知識(shí)的傳播和體驗(yàn)。

Rokid與蘇州博物館和大英博物館合作的國(guó)際導(dǎo)覽項(xiàng)目，可以利用AR設(shè)備讓用戶(hù)方便、快捷地獲取到來(lái)自大英博物館展品背后的講解。這是原來(lái)的導(dǎo)覽員與講解員很難做到的。除語(yǔ)音介紹外，AR設(shè)備還能夠用視頻、圖文、3D模型的方式，將難以理解的部分海外文化講解得更加透徹，讓用戶(hù)能夠在短時(shí)間內(nèi)更好地能獲得所需知識(shí)，給用戶(hù)帶來(lái)更加優(yōu)質(zhì)的參觀體驗(yàn)。

Rokid與騰訊及故宮合作的數(shù)字特展，讓用戶(hù)能夠通過(guò)AR設(shè)備參觀故宮中的知名的避暑的圣地——倦勤齋。通過(guò)AR的方式，用戶(hù)能夠環(huán)繞整個(gè)虛擬空間，一目了然地了解到故宮中建筑的外觀形狀、用料、顏色以及尺寸大小等以往難以觀測(cè)到的建筑細(xì)節(jié)。這在一定程度上可以使故宮文化得到更好的傳承和傳播。

Rokid與故宮合作的另一個(gè)項(xiàng)目是故宮書(shū)畫(huà)展。書(shū)畫(huà)觀賞的過(guò)程始終有一個(gè)痛點(diǎn)，就是人們只能看到表面，并不知道書(shū)畫(huà)背后的故事，也無(wú)法看到書(shū)畫(huà)所呈現(xiàn)的場(chǎng)景。通過(guò)AR的方式，我們能夠?qū)?D升維成3D，使用戶(hù)能夠看到書(shū)畫(huà)的真實(shí)形態(tài)，用最簡(jiǎn)單和高效的方式去呈現(xiàn)書(shū)畫(huà)背后、文化背后的故事與淵源。

Rokid與騰訊游戲合作的AR觀影臺(tái)對(duì)《英雄聯(lián)盟》的游戲場(chǎng)景進(jìn)行了復(fù)現(xiàn)，使用戶(hù)能夠通過(guò)AR眼鏡看到一條巨龍從東方明珠上盤(pán)旋而下。此外，AR也能將游戲中的許多元素，包括比賽的現(xiàn)場(chǎng)、比賽選手特寫(xiě)以及一些重要的指標(biāo)進(jìn)行虛實(shí)結(jié)合，這也是目前AR主要的發(fā)展方向之一。

未來(lái)，Rokid希望能夠更多地探索元宇宙領(lǐng)域，通過(guò)軟件與硬件相結(jié)合的方式，將AR與AI兩種能力結(jié)合起來(lái)，創(chuàng)造更實(shí)用、更智能、更自然的內(nèi)容呈現(xiàn)解決方案與交互能力。為場(chǎng)景賦能、為場(chǎng)景下的用戶(hù)賦能、為合作伙伴及開(kāi)發(fā)者賦能。使用大家夠在元宇宙的環(huán)境中獲得更多樣化、多模態(tài)的體驗(yàn)。