會上,虞崇軍以【5G+AR:元宇宙的超級入口】為主題進行發言,分享了易現EZXR在元宇宙構建中積淀的技術成果以及應用生態。
-- 以下為部分演講內容 --
AR和5G開啟元宇宙時代
對于元宇宙的構想,有人認為是以VR技術為代表的,一個平行于現實世界的虛擬世界,也有人認為是AR技術為代表的,現實與虛擬融合的世界。我認為是兼而有之,但從受眾面和體驗時長上來看,虛實融合的體驗普適性會更好。
AR是鏈接現實世界與數字世界的核心,具有虛實融合、實時交互、跟蹤定位三大特征,而5G網絡能夠提供高帶寬、高速率、低延遲的服務,是元宇宙最重要的基礎設施。AR與5G技術的深度融合,必將加速開啟元宇宙時代。
底層技術賦能下一代終端“AR眼鏡”
大家都十分期待智能手機的下一代是什么?從2012年Google推出第一代Google Glass,到2015年微軟推出Hololens,到今天最新的Hololens 2,AR眼鏡距離普通消費者仍然有很遠的距離。
但AR眼鏡背后數萬億的市場價值無疑是誘人的,吸引了Meta、華為等國內外巨頭的紛紛入局。易現EZXR將底層的空間感知和交互感知能力提供給AR眼鏡,賦予產品“靈魂”。
易現EZXR將空間理解與跟蹤、手勢交互、大空間建圖與定位、物體跟蹤等核心算法能力開放給合作伙伴,降低了搭建行業元宇宙的門檻,推動更多產品的出現。
洞見AR-World平臺促進應用生態發展
洞見AR-World是基于易現自研AR技術打造的數字化開放平臺。通過該平臺,易現EZXR貫通ODM、品牌眼鏡方,以及下游內容生態方和空間運營者,推動5G+AR在文旅商區、游戲娛樂、智慧教育、數字營銷、新零售等更多領域的落地推廣。
同時,元宇宙的構建對內容的持續生產有著根本性的要求,洞見AR-World為創作者們提供了開放、簡易的AR創作工具,進一步降低創作門檻,促進AR內容生態的繁榮發展。
“易現一直抱著開放的態度,以最好的呈現和交互形式,打開虛實融合的大門,攜手合作伙伴,共同構建元宇宙充滿想象的未來。”
]]>在AR/VR頭顯設備中實現手勢識別與跟蹤功能需要硬件和算法兩端的相互加持,目前越來越多的智能硬件巨頭品牌都在產品中加入了該功能,并陸續向開發者提供SDK下載。國內能夠為這些智能硬件端產品提供底層算法的公司屈指可數,杭州易現先進科技有限公司(易現EZXR)為眾多AR/VR行業知名品牌和產業鏈上游提供技術服務。
作為一家專注于AR、AI底層技術研發企業,易現EZXR自2015年進入增強現實領域,掌握海量學術研究、工程經驗以及百萬級的高精度數據,能夠滿足用戶在不同場景下對手勢的精確性、穩定性、和魯棒性要求。核心專利涉及手勢識別、手勢檢測、指尖優化、近平面點擊、2D/3D關鍵點定位、手部姿態估計、Mesh手估計、眼鏡端手勢交互等等,廣泛應用于移動端、AR投影儀、AR/VR/MR眼鏡等平臺,并和AR行業的領先企業Nreal開展了技術合作。
技術發展的浪潮向這個時代撲面而來,每一家公司都被裹挾其中。舊的世界秩序逐漸遠去,新的世界已然開啟。
目前,國內各家AR/VR眼鏡硬件公司的手勢交互還處于起步階段,其解決方案通常是,在設備中集成額外傳感器,從硬件開發到軟件算法深度定制,這也就意味著,硬件功耗以及集成成本更高。
易現EZXR推出的手勢識別與跟蹤SDK無需定制硬件,可直接復用SLAM所用的雙目魚眼/單目彩色相機,最快僅需兩周即可讓一款AR眼鏡擁有全自由度雙手實時追蹤與交互能力。
易現EZXR的手勢交互解決方案可拓展到不同的平臺和硬件,具備以下核心優勢:
面向硬件廠商、平臺方、內容開發者等用戶,易現EZXR構建了AR開放能力平臺洞見AR-World,支持從硬件接入設計規范、NDA簽署、適配硬件、協同優化設計到發布SDK等一站式解決方案,可根據客戶定制化需求應用于游戲娛樂、車載系統、智能家居等不同場景。
]]>這種期待伴隨著頻繁出現的科幻電影畫面變得普及,角色戴上AR眼鏡即可置身與現實世界平行的數字世界,通過手勢、肢體動作甚至眼球運動就能控制界面、完成互動。而科學技術的發展正在讓這些電影中的場景一步一步邁向現實,杭州易現先進科技有限公司(簡稱“易現EZXR”)提前布局元宇宙賽道,擁有完備的AR眼鏡算法服務框架,是加速AR眼鏡成為下一代移動終端的關鍵推動者。
孵化于網易人工智能事業部的易現EZXR,是國內互聯網科技企業中最早推出自研的人工智能加持增強現實平臺的企業。自2015年進入增強現實領域,不斷打磨技術,積淀了完整的AR底層技術框架平臺。直到如今迎來了元宇宙概念的爆發,一舉成為AR眼鏡核心能力的領跑企業。
當前移動平臺的用戶幾乎快與全球人口持平,這也意味著將取代手機的AR眼鏡會擁有數十億規模的用戶,萬億的市場價值,是未來前景最廣闊的市場。在打開這個萬億級市場的進程中,易現EZXR與國內眾多知名的AR眼鏡品牌包括Nreal、Rokid、OPPO等在算法端建立深度合作。易現EZXR通過領先的端云協同算法引擎架構、游戲級AR渲染技術、設備端和內容開發平臺等核心能力推動了大量優秀產品出現在市場;同時,易現EZXR推出的“洞見AR-World”AR能力開放平臺,將空間感知、手勢互動、端云協同等核心算法能力開放給合作伙伴,大大降低了搭建行業元宇宙的門檻。
易現EZXR創始合伙人兼CTO叢林博士表示,AR眼鏡硬件的發展只是打開元宇宙大門成功的一半,另外一半則來自軟件技術的突破。就像電腦需要Windows系統,手機需要IOS系統,易現EZXR所做的是提供AR眼鏡的核心支撐算法,賦予硬件廠商的眼鏡產品以“靈魂”,提供底層空間感知及交互感知能力,構建整個真實世界的高精三維地圖,將數字信息準確地疊加到真實世界,將現實中人們的交互方式與行為習慣遷移到元宇宙中,以最好的呈現和交互形式打開虛實的大門,構建元宇宙充滿想象力的未來。
此前,易現EZXR已經在國內不少知名文旅景點落地以AR云技術為基礎的AR實景導覽、沉浸式戶外藝術展、線上線下游戲化運營等應用,聯合國內著名藝術院校推動AR內容創作的培育和推廣,與合作伙伴發布工業AR遠程協作研究成果,全方位展開業務探索與商業化落地,為AR眼鏡在更多未來場景中的廣泛應用奠定基礎。
多年來堅持AR技術算法的創新和突破,易現EZXR在AR眼鏡端積淀了空間理解與跟蹤、手勢交互、大空間建圖與定位、物體跟蹤等核心算法能力。
通過融合AR設備上的傳感器信息,進行SLAM計算,識別與跟蹤用戶及3D物體在空間中的位置和姿態,同時,實時重建環境的Mesh結構,提供沉浸式AR體驗中必不可少的碰撞、遮擋等交互能力,以此,為AR眼鏡帶來高性能的沉浸式虛實融合體驗。
基于單目彩色相機或雙目魚眼相機,準確識別用戶左右手的手勢類別和25個關節點的3D空間位置、旋轉信息。針對AR/VR場景,強化了交互手勢的識別,可以準確完成抓取、捏合、移動、射線選中、雙手旋轉、雙手縮放等自然交互需求。易現EZXR在手勢識別領域積累多年,手勢姿態回歸的精度、效率、靈敏程度、穩定性等均處于第一梯隊,同時可以很方便地部署到移動端DSP/GPU/NPU上,為AR/VR眼鏡提供最自然和方便的交互能力。
擁有行業前沿的自研大空間三維建圖能力,可滿足室內外不同空間大小、多種場景類型、不同精度速度的建圖定位需求;同時,借助深度學習神經網絡和多種融合特征加持,可實現精準快速的秒級端云協同定位。
結合復雜的3D幾何算法和深度神經網絡,對于不同種類物體有不同的解決方案,可在移動平臺達到實時穩定的跟蹤,從而獲得更精彩的AR體驗。
元宇宙的構建不僅是科技行業,也是跨越各行業B端廠商和C端全球用戶的整體愿景,是全領域共建的合作成果。在AR產業潮起潮落中前行了數年,易現EZXR始終是產業鏈的關鍵企業之一,貫通上游ODM、品牌眼鏡方至下游內容生態方、空間運營者,攜手合作伙伴共同來構建未來元宇宙生態。
]]>作為科技屆的風向標,AR技術是此次超過40000平米的科技展廳中的重要組成部分,三方共同研發的AR眼鏡端工業AR遠程解決方案在元宇宙板塊中亮相。后疫情時代加速了企業尋求新的工作方式、加快工廠數字化轉型,而AR技術能夠實現在現實世界中傳輸和顯示數字信息,這在需要保持社交距離、實施旅行禁令的當下能夠顯著提高企業從設計、研發、生產到檢查的一系列實際工作效率,從而提升生產力。
現場用戶能夠體驗到在AR遠程協助平臺的支持下,佩戴AR眼鏡即可分享第一視角的現場畫面,并與其他工作場所的遠程專家團隊連線會議。遠程專家可以看到現場工作者的物理工作環境,并使用手指或鼠標進行數字化注釋。該解決方案有助于解決資深工作專家短缺、專家無法到達工作現場、傳統音頻溝通效率低容易出錯等現存痛點。AR遠程協作工具讓現場工作團隊隨時隨地在專家的幫助下應對復雜情況,加快新員工培訓學習速度,減少生產中的人為錯誤。
作為人工智能加持增強現實領軍企業,易現EZXR能夠為合作伙伴提供成熟的端云協同AR引擎的技術架構以及豐富的AR內容生態。憑借自網易人工智能事業部積累沉淀至今的厚實的底層AI與引擎技術,以及多年來與頭部AR眼鏡硬件廠商的深度合作,易現EZXR提供行業領先的交互識別、物體跟蹤、空間理解構建、定位與跟蹤等全方位AR技術支撐。當前,易現EZXR已經在文旅空間、商業空間、展示展陳、數字營銷、智慧教育等領域積累了豐富的商業化應用成果,通過沉浸式體驗、實景導覽、線上線下游戲化運營、虛擬活動等釋放無窮創新潛能。
基于阿里巴巴達摩院XR實驗室的建圖定位、3D感知、云渲染以及阿里云的音視頻傳輸等技術支持,舜宇中央研究院在光學行業中的領先地位,三方都看好AR在各個領域極大的發展空間,發揮各自行業領先優勢,互補共贏,共同促進研發成果快速轉化成為可靠解決方案和產品,賦能企業的數字化轉型和發展。
]]>現場,中國工程院院士倪光南、國務院參事石勇、中國工業經濟聯合會執行副會長路耀華、中國電子商會秘書長彭李輝、中國電子商會人工智能委員會聯席會長蘇軍、徐亭等十余位院士出席大會。衡陽市委副書記、市長朱健出席,市委副書記、耒陽市委書記賴馨正出席并致辭。還有來自京東集團、中軟國際、海爾等知名企業的200位人工智能企業負責人到會。
金雁獎代表了人工智能領域的至尊榮譽,是目前我國覆蓋人工智能領域最為全面、評選角度與環節最為客觀中立、評審團與組委會陣容最為專業、行業指向性最為權威的獎項之一。該獎項涵蓋了我國乃至世界人工智能的主要分支領域,每個領域都吸引了眾多頂尖的企業或個人參與競逐,評選過程公開透明,評分體系專業,評比項目立體全面,獲獎企業或個人皆為行業翹楚,是我國AI領域毋庸置疑的“頭雁”。
作為人工智能加持增強現實(AR+AI)領軍企業,易現EZXR此次憑借“AR無邊界博物館”項目榮獲“2021中國AI領軍應用大獎”。“AR無邊界博物館”是基于易現EZXR自研的大空間AR技術,在城市空間中創造虛實融合的內容呈現和交互方式,將過去的年代縮影保存于煥然一新的商業街道,將城市的記憶交還給城市,讓城市中的年輕人與這些歷史不期而遇。正如火爆的“元宇宙”概念所說的,創造一個平行于現實城市空間的AR時光博物館,重新定義人與城市的關系。
在2021年6月,易現EZXR首次在南京小西湖片區啟動項目,漫步在馬道街29號的游客可以通過AR游戲、劇情探索、AR導航等全新體驗方式,了解南京迷人而充滿趣味的過去。同時,“戲游-南宋記憶”是易現EZXR針對文旅體驗在2021年全新推出的全國首家AR戶外實景劇情產品,將AR與線下物理空間結合,在杭州河坊街&吳山景區設立超過15個奇幻AR互動點位,用戶可以通過解密、互動、合影等玩法跨越時空,感受南宋臨安城的繁華盛景。
易現EZXR在人工智能領域耕耘已久,創始人兼CEO李曉燕博士帶領網易人工智能商業化團隊在2019年成立易現EZXR,并加快探索與布局以AR云技術為基礎的大空間AR業務在文旅空間、商業空間、展示展陳等商業化應用場景落地,先后成功在杭州城隍閣景區、西溪天堂藝術中心、南京小西湖地區等落地,打造了多個集前沿技術應用、創新旅游體驗、新型經濟消費于一體的國內AR+AI文商旅融合創新應用示范。
繼2020年首次獲得金雁“科技創新企業大獎”、“視覺計算技術獎”和“智能教育應用獎”后,易現EZXR再次斬獲2021年度“中國AI領軍應用大獎”和“AI領軍人物大獎”兩項重量級獎項,這是對易現EZXR在行業不斷堅持技術創新和商業化探索的認可。易現EZXR也將繼續秉承“頭雁領航”的精神,持續領跑人工智能加持的增強現實行業賽道。
當下,用戶獲取內容的渠道日新月異,紐約時報沉浸式平臺敘事總監Graham Roberts認為AR技術融入新聞敘事是未來媒體的發展趨勢。在“空間計算”的早期階段,物理世界與數字生活正在不斷地融合,AR技術能夠將信息高還原度地呈現在物理空間中的事件現場,帶來人們與新聞信息之間全新的沉浸體驗和交互方式。
易現EZXR一直致力于構建下一代終端用戶交互形態,擁有自主研發的AR引擎、國際先進水準的AR算法和實時渲染技術,通過此次合作的契機,易現EZXR積極地賦予年輕藝術創作者更多的AR內容創作能力。在合作過程中,校企雙方充分引導學生對人與空間、人與信息、空間與信息的關系展開全新的思考和暢想,完成作品創作。
“AR是目前非常熱門的領域,與易現EZXR的合作為我們的學生提供了接觸先進AR技術的絕佳機會。在第一次使用這個平臺完成作品后,我就意識到我需要把這項工具帶給我的學生。雖然大多數學生是初次接觸AR創作,但他們可以在非常短的時間內從熟悉到掌握AR內容創作的流程,甚至實現一些復雜交互腳本的開發。”負責牽頭此次合作的中國美術學院媒介與交互研究所副所長俞同舟老師評價道。
基于學生自主采集的美院象山校區大空間三維建圖,學生發揮想象力融合社會時事、數據分析、科技哲學等思考,使用洞見AR-WORLD創作平臺,利用可視化的編輯工具將靈感創意疊加到物理空間中,以手機、平板電腦等作為媒介進入沉浸式體驗。易現EZXR產品負責人表示,“讓產品和工具能夠被需要它們的人使用在我們看來是非常有意義且幸運的事。在與美院創新設計學院的密切合作中,我們做了相當多的工作,提供了產品、技術與資源等多項支持,也從這些終端使用者中獲得了寶貴的反饋意見,促使我們不斷地提升產品和技術,滿足用戶的多元化需求。”
在結課作品展示活動中,中國美術學院創新設計學院媒介與交互研究所師生、在藝術界頗具影響力的UFO實驗室、想象力學實驗室、易現EZXR創始人兼CEO李曉燕博士出席觀看了基于美院象山校區建筑完成的學生作品,參觀者紛紛表示“不少學生的作品令人印象深刻,一些作品兼具藝術性與商業性,蘊含創作者對人、建筑、藝術之間的思考與理念,讓我們看到AR與藝術的未來值得期待。”
學生作品一《無“子”可動》是學生卞依玥、盛沫瑤、孫嘉帶來的一款實景沉浸式AR解密類作品,以觸發交互為核心,體驗者在空間中順著線索指引,結合現實空間元素,推動劇情的發展,逐漸撥開真相的面紗。一個棋局意象的虛擬世界,身陷棋局,無子可動。正如這一場謀殺正是他所設的棋局。
學生作品二《數字塌陷》是學生詹碩宇、馮馴通過可視化腳本創作的作品,體驗者可以在空間移動中激活線索引發互動。大數據和感官的延伸帶來的數字感官,改變了我們對于現實世界的認知,通過三個不同階段闡述數字時代的無面利維坦在大眾感官所觀測到的范圍之外對于社會底層基本構建的異化,對于理性認識的挾持,以及對于自由意志的消解。
不少同學也表示這次的學習經驗令人難忘、收獲頗豐,其中學生龍雨煊認為,“對我而言,這次AR的創作不僅是一次新奇的體驗,而且它打破了我腦中數字世界只存在于屏幕內的桎梏”。學生雷鳴則表示,這是他第一次接觸AR技術進行創作,感謝老師和易現EZXR提供的技術、平臺的指導實現了理想中的時空呈現效果,在今后的創作中會運用和學習探索更多關于AR技術的玩法。
「空間敘事」課程的合作是易現EZXR與年輕藝術家共同探索AR空間創作的關鍵一步,未來將陸續以AR技術和平臺鏈接更多的高校、藝術家、設計師、創作者等,打造AR內容生態,蓬勃發展AR內容。
]]>杭州是一座兼具歷史文化旅游資源稟賦和數字經濟產業基礎的城市,“遇見城隍閣”由網易易現EZXR和城隍閣景區聯合打造,利用行業領先的大空間AR技術,結合城隍閣自身獨一無二的西湖景觀稟賦優勢,通過虛實融合的方式,在臨湖上空呈現關于西湖由來的神話故事,“活化”西湖民間傳說。通過AR、AI等新一代信息技術賦能線下文旅空間,創新“文旅+科技”特色體驗,鏈接物理空間和虛擬空間,實現沉浸式大空間AR互動體驗,打造新型技術應用場景、旅游體驗場景和經濟消費場景。
10月1日起,游客即可在城隍閣面朝西湖,點亮這場“AR靈珠祈愿”。通過租賃移動設備,獲取“吳山靈珠”一枚,將其放置在指定的祈福臺,就可以點亮開啟。游客可以“投擲”靈珠到數公里開外的西湖,龍鳳銜珠自湖而出,在天空中飛舞盤旋,伴隨長卷中的簽文緩緩打開,沉醉在這場壯觀的數字奇景之中。游客在體驗期間,可以拍照或錄制視頻,分享奇妙的城隍閣之旅,提升游客游覽體驗的參與感、記憶感和獲得感。
亮點1
高效大空間建圖&亞厘米級的高精度視覺三維模型構建
打造這次城隍閣虛實之旅的背后是網易易現EZXR自研的高精度大空間建圖定位方案,依托衛星地圖、航拍和地面高清圖像采集、激光視覺建圖等多種技術手段,對整個城隍閣所在的部分吳山景區、清波街道以及西湖在內的約3平方公里區域進行了大尺度、全視角的三維地圖構建。目前網易易現EZXR擁有行業領先的自研大空間三維建圖能力,可滿足室內外不同空間大小、多種場景類型、不同精度速度的建圖定位需求。同時,為了達到AR內容與祈愿臺、“靈珠”的完美貼合,團隊對祈愿臺所在的城隍閣三樓觀景臺進行了亞厘米級的高精度視覺三維模型構建,增添浮動在祈愿臺上的靈珠光效和璀璨符文效果,增強祈愿求簽時的真實感和儀式感。
亮點2
業內領先的開放便捷可視化AR內容創作平臺
而能夠創造如此逼真的“沉浸式效果”,游客體驗到的靈珠墜湖、湖中光柱、出入湖面暢游的龍鳳、熠熠生輝的西湖群山都是由洞見AR-World空間編輯器帶來。作為行業領先的開放、便捷、高效內容創作平臺,無需復雜的編程能力,創作者即可在洞見AR-World中將物理世界1:1精準還原到數字世界,在可視化環境中進行快速的空間創作并一鍵導出,大幅度降低AR內容創作門檻的同時提高效率。
亮點3
全天候的快速高精度端云協同定位
晴西湖不如雨西湖,雨西湖不如霧西湖,為了讓游客在一年中無論早晚、晴雨、不同季節都能觀賞絕佳的沉浸式AR體驗。網易易現EZXR技術團隊對全天候、光照和能見度變化劇烈的場景進行難點攻克,借助深度學習神經網絡和多種融合特征加持,通過精心設計的幾何匹配和校驗策略,最終實現了精準快速的秒級端云協同定位。
亮點4
融合“老底子”的傳統文化
此外,AR科技結合優秀的策劃創意,網易易現EZXR深度挖掘城隍閣那些“老底子”的動人故事與人文習俗,實現景區空間與展示空間的完美融合,游客既能觀賞到廣闊的湖光山色中生動演繹“龍飛鳳舞到錢塘”的西湖民間傳說,又能獲得“念念不忘、必有回響”的祈愿反饋,大大提升了用戶和西湖景觀之間的情感連接和體驗升級。
]]>