發(fā)布時(shí)間：2022-06-11所屬分類：計(jì)算機(jī)職稱論文瀏覽：1次
摘 要： 摘 要: 增強(qiáng)現(xiàn)實(shí)在過(guò)去幾年中得到了長(zhǎng)足的發(fā)展, 尤其是移動(dòng)智能設(shè)備的普及使其有了重大的突破. 增強(qiáng)現(xiàn)實(shí)作為一種新的人機(jī)交互技術(shù), 可以更直觀地展示現(xiàn)實(shí)場(chǎng)景中的物理對(duì)象和數(shù)據(jù)信息, 越來(lái)越多的研究者開(kāi)始探索如何將數(shù)據(jù)可視化與增強(qiáng)現(xiàn)實(shí)結(jié)合. 文中將系統(tǒng)地介紹移動(dòng)增
摘 要: 增強(qiáng)現(xiàn)實(shí)在過(guò)去幾年中得到了長(zhǎng)足的發(fā)展, 尤其是移動(dòng)智能設(shè)備的普及使其有了重大的突破. 增強(qiáng)現(xiàn)實(shí)作為一種新的人機(jī)交互技術(shù), 可以更直觀地展示現(xiàn)實(shí)場(chǎng)景中的物理對(duì)象和數(shù)據(jù)信息, 越來(lái)越多的研究者開(kāi)始探索如何將數(shù)據(jù)可視化與增強(qiáng)現(xiàn)實(shí)結(jié)合. 文中將系統(tǒng)地介紹移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展現(xiàn)狀和目前增強(qiáng)現(xiàn)實(shí)在數(shù)據(jù)可視化中應(yīng)用所取得的成果. 通過(guò)分析不同案例來(lái)討論增強(qiáng)現(xiàn)實(shí)在數(shù)據(jù)可視化中應(yīng)用的可行性; 最后, 總結(jié)了目前數(shù)據(jù)可視化和增強(qiáng)現(xiàn)實(shí)結(jié)合所面臨的挑戰(zhàn)以及未來(lái)的研究方向和機(jī)遇.
關(guān)鍵詞: 增強(qiáng)現(xiàn)實(shí); 可視化; 移動(dòng); 人機(jī)交互
當(dāng)前是數(shù)據(jù)時(shí)代, 更是移動(dòng)互聯(lián)網(wǎng)時(shí)代, 移動(dòng)智能設(shè)備在近年來(lái)各大廠商的激烈競(jìng)爭(zhēng)中突飛猛進(jìn)地發(fā)展, 其強(qiáng)大的計(jì)算能力、各式各樣的傳感器和穩(wěn)定的網(wǎng)絡(luò)連接, 使其成為移動(dòng)互聯(lián)網(wǎng)時(shí)代每個(gè)人必不可少的設(shè)備. 伴隨用戶的頻繁使用, 移動(dòng)設(shè)備中每日產(chǎn)生和交換的數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng), 使其成為了不折不扣的移動(dòng)數(shù)據(jù)終端. 1992 年, 增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)由 Caudell 等提出[1], 是一種將虛擬和現(xiàn)實(shí)結(jié)合的技術(shù), 使得數(shù)據(jù)信息更直觀地展示在真實(shí)的物理環(huán)境中. 經(jīng)過(guò)長(zhǎng)期的技術(shù)積累, AR 已經(jīng)從實(shí)驗(yàn)室走出, 應(yīng)用到了工業(yè)界[2]. 根據(jù) Google Trends, AR 應(yīng)用數(shù)量在 2012 年達(dá)到峰值[3], 又在 2016 年迎來(lái)爆發(fā)式地增長(zhǎng), 且還在上升期. AR 能給用戶提供一種新的用戶界面和人機(jī)交互方式, 不管是數(shù)據(jù)可視化還是移動(dòng)設(shè)備發(fā)展至今, 都急需一種新的交互方式打破局限; 同時(shí)再考慮到移動(dòng)智能設(shè)備中不計(jì)其數(shù)的數(shù)據(jù), 越來(lái)越多的學(xué)者開(kāi)始探究如何能將移動(dòng)設(shè)備中的數(shù)據(jù)更為自然和科學(xué)地展現(xiàn)在用戶面前.
因此, 移動(dòng) AR 可視化作為一個(gè)新的研究方向出現(xiàn), 其致力于研究如何將數(shù)據(jù)信息或虛擬對(duì)象展現(xiàn)在真實(shí)的物理場(chǎng)景中. 本文將介紹移動(dòng) AR 可視化相關(guān)概念和一些關(guān)鍵技術(shù), 從其優(yōu)劣勢(shì) 2 個(gè)方面闡述其可行性, 并列舉其應(yīng)用場(chǎng)景, 最后總結(jié)與討論該方向未來(lái)的挑戰(zhàn)與機(jī)遇.
1 移動(dòng) AR 可視化相關(guān)概念和技術(shù)
1.1 移動(dòng) AR 的定義
目前被廣泛接受的是 Azuma 等[4]的定義: 滿足結(jié)合虛擬和現(xiàn)實(shí)、實(shí)時(shí)交互、注冊(cè)于三維中 3 個(gè)條件的即算做 AR. 簡(jiǎn)單來(lái)說(shuō), 就是將計(jì)算機(jī)生成的數(shù)字圖像疊加到現(xiàn)實(shí)場(chǎng)景中去, 且能實(shí)時(shí)交互. 實(shí)現(xiàn) AR 所需的主要硬件組件至少需要計(jì)算設(shè)備、顯示設(shè)備、追蹤設(shè)備和輸入設(shè)備. 計(jì)算設(shè)備通常是處理器, 而顯示設(shè)備可以分為 3 類: (1) 頭戴式顯示(head-mounted display, HMD), 例如, 微軟 (Microsoft)的 HoloLens、谷歌(Google)的 Google Glasses 和 Facebook 的 Oculus Rift; (2) 手持顯示 (handheld display), 例如, 我們?nèi)粘Ｊ褂玫氖謾C(jī)和平板電腦; (3) 空間顯示, 即直接把虛擬影像投影在現(xiàn)實(shí)場(chǎng)景中.
移動(dòng) AR 不僅要首先滿足 AR 的定義, 還需要滿足以下條件[5]: (1) 可穿戴的輸入和交互技術(shù), Carmigniani 等[6]把能讓用戶移動(dòng)出室外的無(wú)線設(shè)備定義為移動(dòng)設(shè)備. (2) 無(wú)線網(wǎng)絡(luò), 保證與其他設(shè)備的數(shù)據(jù)交換或讓用戶與其他人協(xié)作等. (3) 數(shù)據(jù)的存儲(chǔ)與讀寫(xiě)技術(shù), 移動(dòng) AR 設(shè)備理應(yīng)做到能提供當(dāng)前環(huán)境中相關(guān)的數(shù)據(jù). 根據(jù)此定義, 顯然上文提到的 AR 中的第 3 種顯示方式——空間顯示, 不屬于移動(dòng) AR, 所以它不在本文的討論范圍內(nèi).
1.2 AR 可視化的定義
Kosara[7]曾提出什么才算作可視化: 首先，可視化是基于非視覺(jué)(non-visual)數(shù)據(jù), 即數(shù)據(jù)是來(lái)源于可視化程序之外的抽象數(shù)據(jù). 可視化不是圖片處理或攝影, 如果源數(shù)據(jù)是圖片, 且直接放在了生成的可視化結(jié)果中, 則這不算作可視化. 其次要生成一個(gè)圖像來(lái)展現(xiàn)數(shù)據(jù)信息. 最后, 可視化結(jié)果必須是人們可以認(rèn)知和理解的. 根據(jù)此標(biāo)準(zhǔn), 我們可以得出 AR 可視化是將非視覺(jué)數(shù)據(jù)經(jīng)過(guò)處理, 生成可供用戶理解的數(shù)字圖像后, 將其疊加到現(xiàn)實(shí)場(chǎng)景中供用戶實(shí)時(shí)交互的技術(shù).
1.3 AR 實(shí)現(xiàn)的方式和關(guān)鍵技術(shù)
AR 的主要實(shí)現(xiàn)方式有 2 種[2,8]: 光學(xué)透視式 (optical see-through)和視頻透視式(video see-through). 目前, 市面上的頭戴式設(shè)備通常采用 2 種方式中的 1 種或 2 種都采用, 而采用視頻透視式的設(shè)備則是手持設(shè)備. 光學(xué)透視式是將電腦生成的數(shù)字圖像顯示在眼前的一層半透明鏡片上, 這樣就可以使現(xiàn)實(shí)場(chǎng)景和虛擬信息同時(shí)出現(xiàn)在視網(wǎng)膜上. 而視頻透視式技術(shù)是將現(xiàn)實(shí)場(chǎng)景首先通過(guò)相機(jī)錄入電腦, 經(jīng)過(guò)和虛擬對(duì)象整合、壓縮, 再統(tǒng)一呈現(xiàn)在用戶眼前. 兩者各有優(yōu)劣[9]: 光學(xué)透視式中的現(xiàn)實(shí)場(chǎng)景因?yàn)闆](méi)有經(jīng)過(guò)電腦處理, 因此顯示得更自然、直接; 雖然它實(shí)現(xiàn)簡(jiǎn)單, 但是也存在定位精度不高、匹配不準(zhǔn)確、顯示有延遲等問(wèn)題. 而視頻透視式因?yàn)榻?jīng)過(guò)整合, 所以匹配準(zhǔn)確, 最終顯示效果同步程度高, 還能對(duì)生成的顯示結(jié)果根據(jù)用戶需求進(jìn)行進(jìn)一步處理; 但是它實(shí)現(xiàn)難度較高, 且丟失了一部分真實(shí)感.
計(jì)算機(jī)視覺(jué)技術(shù)在 AR 中起著至關(guān)重要的作用. 要實(shí)現(xiàn) AR 最核心的是識(shí)別與追蹤. 首先, 相機(jī)要先識(shí)別基準(zhǔn)標(biāo)志、關(guān)鍵點(diǎn)、光學(xué)圖片等; 然后再根據(jù)特征檢測(cè)、邊緣檢測(cè)或其他圖像處理方法來(lái)實(shí)時(shí)追蹤; 最后將虛擬圖像疊加到真實(shí)場(chǎng)景中. 根據(jù) 2008 年的統(tǒng)計(jì)結(jié)果顯示, 近十年著名的 AR 會(huì)議ISMAR中有關(guān)追蹤技術(shù)的論文占到了20%以上[8].
1.4 移動(dòng) AR 可視化流程
由以上概念, 再結(jié)合傳統(tǒng)數(shù)據(jù)可視化流程, 不難總結(jié)出 AR 可視化的流程: 設(shè)備(頭戴式或手持式)依靠攝像頭采集現(xiàn)實(shí)場(chǎng)景中的圖片, 再通過(guò)計(jì)算機(jī)視覺(jué)算法識(shí)別和追蹤圖片中的對(duì)象; 同時(shí), 設(shè)備由各類傳感器、數(shù)據(jù)庫(kù)或網(wǎng)絡(luò)收集數(shù)據(jù)并進(jìn)行數(shù)據(jù)處理、分析, 進(jìn)而生成可視化結(jié)果; 最后結(jié)合識(shí)別出的場(chǎng)景渲染到瀏覽器或相機(jī)中. 如果設(shè)備自身算力不足, 可以通過(guò)網(wǎng)絡(luò)連接遠(yuǎn)程計(jì)算機(jī)或云端進(jìn)行協(xié)助計(jì)算. 整個(gè)流程如圖 1 所示.
2 移動(dòng) AR 與可視化結(jié)合的優(yōu)勢(shì)
當(dāng)前數(shù)據(jù)可視化領(lǐng)域開(kāi)始探索如何用更新的方法和工具讓用戶更有效和快速地從數(shù)據(jù)中得到想要的信息. 一種新型的觀察視角或交互模式[10], 往往能啟發(fā)用戶或研究者從另一個(gè)視角去思考問(wèn)題、探索數(shù)據(jù). 將可視化與 AR 結(jié)合起來(lái), 比以往的數(shù)據(jù)可視化方式有了很多突破.
2.1 AR 與可視化結(jié)合的優(yōu)勢(shì)
2.1.1 視野擴(kuò)大化
首先, 盡管當(dāng)前 AR 設(shè)備的視窗還較小, 但它卻可以把整個(gè)現(xiàn)實(shí)場(chǎng)景當(dāng)做數(shù)據(jù)可視化的背景. 其次, 由于整個(gè)現(xiàn)實(shí)場(chǎng)景都是呈現(xiàn)在用戶眼前的[11], 所以不會(huì)丟失現(xiàn)實(shí)場(chǎng)景中的數(shù)據(jù)信息. 用戶可以結(jié)合現(xiàn)實(shí)場(chǎng)景與生成的數(shù)據(jù)圖像進(jìn)行數(shù)據(jù)分析. Ren 等[12]設(shè)計(jì)了一個(gè)虛擬現(xiàn)實(shí)系統(tǒng)用來(lái)模擬當(dāng) AR 場(chǎng)景大到足夠環(huán)繞全部用戶的情景, 如圖 2[12]所示. 圖 2 背景為盧克索神廟, 以紅藍(lán)浮雕模式等角投影到場(chǎng)景中. AR 可視化結(jié)果包括圖表、地圖、照片和連接三維雕像的連接線. 該系統(tǒng)將用戶分別置于全環(huán)繞型的 AR 場(chǎng)景和小視窗 AR 中, 并給用戶分配了特定的檢索任務(wù); 對(duì)比發(fā)現(xiàn), 在全環(huán)繞型的 AR 場(chǎng)景中用戶完成任務(wù)的效率顯著提升.
2.1.2 現(xiàn)實(shí)元素抽象化
現(xiàn)實(shí)中的事物都可以抽象成數(shù)據(jù). 單純的數(shù)據(jù)可視化是將數(shù)據(jù)處理后用恰當(dāng)、美觀的方式展現(xiàn)在用戶面前. 將抽象、非視覺(jué)的數(shù)據(jù)映射成可視化圖形的過(guò)程稱做視覺(jué)編碼, 其中的映射方式稱做視覺(jué)通道, 不同類型的數(shù)據(jù)需要不同的視覺(jué)通道來(lái)編碼; 反過(guò)來(lái), 從圖形理解數(shù)據(jù)的過(guò)程稱作解碼. 如果將數(shù)據(jù)可視化和 AR 結(jié)合, 就可以把現(xiàn)實(shí)中的物體或元素直接運(yùn)用在可視化設(shè)計(jì)中, 視覺(jué)編碼的減少自然也就減少了用戶解碼的成本. 實(shí)現(xiàn) AR 需要識(shí)別和追蹤, 其中通過(guò)特征檢測(cè)即可識(shí)別出現(xiàn)實(shí)場(chǎng)景中的對(duì)象, 這樣就可以將其視做一個(gè)可視化元素, 即以前用圖標(biāo)(icon)或標(biāo)記(marker)來(lái)代表的事物, 現(xiàn)在直接用現(xiàn)實(shí)元素代替. 視覺(jué)通道的減少既能減去用戶解碼的過(guò)程, 使用戶更直觀地理解數(shù)據(jù)的含義, 還能保留數(shù)據(jù)可視化最終呈現(xiàn)的結(jié)構(gòu). 不夸張地說(shuō), 只要數(shù)據(jù)可視化結(jié)果是呈現(xiàn)在現(xiàn)實(shí)場(chǎng)景中的, 那么你可以把場(chǎng)景中的任何一個(gè)東西都當(dāng)做可視化元素.
2.1.3 交互直觀化
傳統(tǒng)意義上的數(shù)據(jù)可視化通常是在一個(gè)屏幕上顯示, 有可能是桌面端、瀏覽器端和移動(dòng)端. 桌面端和瀏覽器端通常的交互方式都是通過(guò)鼠標(biāo)的點(diǎn)擊、拖拽或刷選等; 而移動(dòng)端的交互通常是點(diǎn)擊屏幕、旋轉(zhuǎn)屏幕、長(zhǎng)按屏幕, 多指滑動(dòng)、多指張開(kāi)閉合等操作. 盡管這些操作已經(jīng)非常便捷, 但仍有一些學(xué)習(xí)和理解成本, 對(duì)于三維模型來(lái)說(shuō)也不是很恰當(dāng)[13]. 而 AR 中的交互: 眼動(dòng)、凝視、輕觸、手勢(shì)[13]或語(yǔ)音等更加符合人類直覺(jué).
目前主流的交互方式可分為 3 種: 有形交互、手勢(shì)或體感和混合交互. 有形交互是指將一些設(shè)備作為虛擬與現(xiàn)實(shí)的媒介, 通過(guò)操作該設(shè)備來(lái)達(dá)到操控虛擬對(duì)象的效果. 得益于各類傳感器和攝像頭, 手勢(shì)和體感交互沒(méi)有操作設(shè)備, 而是通過(guò)對(duì)自身手勢(shì)或體態(tài)的識(shí)別來(lái)進(jìn)行操作. 前 2 種交互方式的關(guān)鍵點(diǎn)都是通過(guò)恰當(dāng)?shù)碾[喻把操作與虛擬對(duì)象映射起來(lái)[14]. 典型的如體感運(yùn)動(dòng)游戲的交互, 計(jì)算機(jī)識(shí)別自身做出揮拍、擊球等動(dòng)作之后, 讓游戲中的角色也做出同樣的動(dòng)作. 混合交互一般是將前 2 種交互方式和語(yǔ)音、眼動(dòng)等結(jié)合; Irawati 等[15] 發(fā)現(xiàn), 把語(yǔ)音交互整合進(jìn)系統(tǒng)之后, 用戶完成任務(wù)比單純用有形交互快了 35%.
2.1.4 協(xié)作便捷化
大多數(shù) AR 都可以做到多人共享同一個(gè)場(chǎng)景. 若將數(shù)據(jù)可視化結(jié)果用 AR 疊加到現(xiàn)實(shí)場(chǎng)景中, 雖然是同一數(shù)據(jù)生成的可視化結(jié)果, 但不同用戶的視角不同, 得出的結(jié)論也會(huì)略有不同. Dong 等[16] 實(shí)現(xiàn)了這樣的系統(tǒng), 使用戶能圍坐在桌前分析同樣的可視化結(jié)果. 眾所周知, 數(shù)據(jù)可視化是把人類智慧融入到了數(shù)據(jù)分析中, 那么 AR 可視化就是將多人的智慧同時(shí)融入, 使數(shù)據(jù)分析不僅非常高效便捷, 而且減少了單用戶的視覺(jué)盲點(diǎn), 避免了單一論斷. 此外, AR 可視化還能讓交互協(xié)同, 一個(gè)用戶的交互操作另一個(gè)用戶一目了然. Fuhrmann 等 [17]設(shè)計(jì)了一個(gè)在 AR 環(huán)境中支持多用戶協(xié)作的三維科學(xué)可視化系統(tǒng). 其中, 協(xié)作交互功能包括社交交互、共享交互和特定用戶交互. 他們發(fā)現(xiàn)用戶在使用過(guò)程中非常喜歡圍繞三維可視化結(jié)果或置身于其中從不同視角觀察, 不同用戶擅長(zhǎng)的知識(shí)領(lǐng)域不同, 可以通過(guò)協(xié)作交互來(lái)交流自己的認(rèn)知, 使得研究和分析效率顯著提高.
2.2 移動(dòng) AR 設(shè)備進(jìn)行可視化的優(yōu)勢(shì)
移動(dòng) AR 設(shè)備無(wú)論是頭戴式還是手持式, 其作為數(shù)據(jù)可視化的新型設(shè)備, 目前都有了突飛猛進(jìn)的發(fā)展. 首先, 這些設(shè)備已經(jīng)走入人們的生活, 尤其是智能手機(jī)和平板電腦, 其普及性和便攜性比頭戴式設(shè)備都高, 已經(jīng)是人們?nèi)粘Ｉ畈豢苫蛉钡脑O(shè)備. 其次, 它們的性能有的甚至已經(jīng)趕超個(gè)人電腦, 對(duì)于基本的數(shù)據(jù)處理和渲染任務(wù)性能已經(jīng)綽綽有余. 而且, 通過(guò)各式各樣的傳感器和無(wú)線網(wǎng)絡(luò), 這些設(shè)備無(wú)時(shí)不刻不在產(chǎn)生、交換、處理數(shù)據(jù). 比起傳統(tǒng)的數(shù)據(jù)可視化數(shù)據(jù)要從數(shù)據(jù)中心或數(shù)據(jù)庫(kù)中讀取, 它們自身就是一個(gè)龐大的數(shù)據(jù)倉(cāng)庫(kù).
此外, 目前的手持設(shè)備, 如智能手機(jī)和平板電腦已完全符合移動(dòng) AR 的硬件要求并有不錯(cuò)的表現(xiàn), 而頭戴式設(shè)備則有的組件還略有缺陷, 具體而言手持設(shè)備在以下 2 個(gè)方面比頭戴式設(shè)備有優(yōu)勢(shì).
2.2.1 追 蹤
計(jì)算機(jī)視覺(jué)中的識(shí)別和追蹤是實(shí)現(xiàn) AR 至關(guān)重要的技術(shù). 相對(duì)于頭戴式設(shè)備, 目前的智能手持設(shè)備具有數(shù)碼攝像機(jī)或其他光學(xué)傳感器、加速器、全球定位系統(tǒng)(global positioning system, GPS)[3]、陀螺儀、電子羅盤(pán)、射頻識(shí)別(radio frequency identification, RFID)和無(wú)線傳感器. 以上這些組件和技術(shù), 使得其追蹤和識(shí)別的準(zhǔn)確性大幅提高.
2.2.2 網(wǎng) 絡(luò)
盡管目前智能設(shè)備的計(jì)算能力已經(jīng)今非昔比, 但要面對(duì) AR 計(jì)算機(jī)視覺(jué)中密集的計(jì)算還是有所不足, 因此還需要網(wǎng)絡(luò)連接遠(yuǎn)程計(jì)算機(jī)或云端[18] 作為算力的后盾[10]. 由于密集和實(shí)時(shí)性的計(jì)算需要大量的數(shù)據(jù)交換, 因此對(duì)網(wǎng)絡(luò)帶寬和穩(wěn)定性有很高的要求. 盡管頭戴式和手持式設(shè)備都可以通過(guò)無(wú)線網(wǎng)絡(luò)連接到互聯(lián)網(wǎng), 但智能手持設(shè)備如手機(jī), 在移動(dòng)網(wǎng)絡(luò)基礎(chǔ)設(shè)施方面已經(jīng)非常完善, 所以比頭戴式設(shè)備更有優(yōu)勢(shì).
3 移動(dòng) AR 可視化的局限和現(xiàn)有的解決方案
3.1 性 能
當(dāng)前科技發(fā)展日新月異, 尤其是 AR 在近幾年中的發(fā)展可謂是突飛猛進(jìn), 全球各大科技巨頭公司都相繼研發(fā)了自己的 AR 設(shè)備. 雖然很多設(shè)備包括智能手機(jī)和平板電腦的性能已經(jīng)趕超個(gè)人電腦, 但相對(duì)于大數(shù)據(jù)分析的體量, 還是不足以勝任. 而另一方面, 實(shí)現(xiàn) AR 和可視化依賴于大量的計(jì)算機(jī)視覺(jué)技術(shù), 如實(shí)時(shí)的特征檢測(cè)、邊緣檢測(cè)、追蹤、實(shí)時(shí)渲染等其對(duì)于性能的要求特別高[11,19]. 一般的標(biāo)記、基準(zhǔn)圖識(shí)別目前尚且不是很準(zhǔn)確, 要做到真正的場(chǎng)景融合就更是困難重重. 而且對(duì)于一定體量的數(shù)據(jù)可視化結(jié)果, 渲染到真實(shí)場(chǎng)景難免會(huì)出現(xiàn)失真卡頓等現(xiàn)象.
相關(guān)知識(shí)推薦：每個(gè)期刊都要查重嗎
目前可以通過(guò)連接遠(yuǎn)程大型機(jī)器或云端來(lái)解決上述問(wèn)題; 于是, 網(wǎng)速就顯得至關(guān)重要. 頭戴式和手持式設(shè)備都可以通過(guò)無(wú)線網(wǎng)絡(luò)來(lái)連接, 而傳統(tǒng)的蜂窩網(wǎng)絡(luò)傳輸速率仍較慢[20], 其單位時(shí)間傳輸?shù)臄?shù)據(jù)量太小導(dǎo)致無(wú)法勝任. Prochazka 等[18]通過(guò)用遠(yuǎn)程連接云計(jì)算的方法, 使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)圖像處理方法來(lái)提高精確度.
3.2 屏幕、視窗大小
正如前文所述, 目前的 AR 設(shè)備的屏幕和視窗都比較小, 分辨率也較低. 這導(dǎo)致目前的 AR 效果像是將一個(gè)顯示器窗口疊加在現(xiàn)實(shí)場(chǎng)景中, 突兀感很強(qiáng)[21], 這在一定程度上局限了人們數(shù)據(jù)分析的效率. 由于視窗較小, 只能展示部分甚至局部數(shù)據(jù), 無(wú)法概覽全局. 經(jīng)典的解決方式有 2 種, 即概覽加細(xì)節(jié)和上下文加突出重點(diǎn), 通常用魚(yú)眼(fish-eye) 效果來(lái)高亮重點(diǎn)信息. Chittaro[20]也提出了用提示加隱喻, 以及直接導(dǎo)航或映射的解決方式. Yoo 等[22] 為了應(yīng)對(duì)移動(dòng)設(shè)備屏幕大小的問(wèn)題, 指出要按照數(shù)據(jù)的類型來(lái)設(shè)計(jì)不同的布局, 其將數(shù)據(jù)分為隊(duì)列型和關(guān)系型 2種: 隊(duì)列型數(shù)據(jù)用簡(jiǎn)單的列表布局, 關(guān)系型數(shù)據(jù)用雷達(dá)放射圖等布局.
3.3 識(shí)別、追蹤、定位和自適應(yīng)
與固定設(shè)備不同, 移動(dòng)設(shè)備對(duì)目標(biāo)物的空間特性, 如位置和朝向的定位更加困難[23]. 而且移動(dòng) AR 設(shè)備對(duì)用戶視域內(nèi)物體可視部分的識(shí)別效果不佳[21], 可能造成數(shù)據(jù)可視化結(jié)果的不正確放置. 由于移動(dòng)設(shè)備自身位置不固定, 可視化結(jié)果的顯示位置也不固定, 所以每次位置的變化使得無(wú)論是識(shí)別還是渲染都不得不重新再來(lái)[21].
3.4 內(nèi)容管理
由于 AR 可視化是將虛擬對(duì)象放置在現(xiàn)實(shí)環(huán)境中, 那么現(xiàn)實(shí)環(huán)境的復(fù)雜變化無(wú)法使用戶集中注意力[20], 如用戶在駕車或者在擁擠的地鐵站趕路時(shí)的專注力肯定不如在安靜穩(wěn)定的環(huán)境中. 而且, 外部環(huán)境的變化也容易影響可視化結(jié)果, 除非可視化的結(jié)果能隨環(huán)境的快速變化實(shí)時(shí)做出調(diào)整.
除此之外, 隨著數(shù)據(jù)量或虛擬對(duì)象在視圖中的增加, 視圖也會(huì)顯得凌亂, 用戶很難從中有效地獲取信息, 因此信息密度[23]也是 AR 可視化中很值得深思熟慮的. 一般有 2 種方式解決, 減少或過(guò)濾冗余數(shù)據(jù) ; 以及重新排布數(shù)據(jù)或虛擬對(duì)象 . Tatzgern 等[24]用層次聚類的方式提供了一種自適應(yīng)的數(shù)據(jù)呈現(xiàn)方式, 從而保證視圖的信息密度恰到好處. 如圖 3[24]所示, 他們?cè)O(shè)計(jì)了讓用戶從該 AR 可視化系統(tǒng)中找到特定書(shū)籍的任務(wù), 用戶明確表示自己更愿意使用他們?cè)O(shè)計(jì)的自適應(yīng)視圖. 如圖 3a 信息混亂, 給找書(shū)造成了困難; 而圖 3b 經(jīng)過(guò)聚合, 可以更好地概覽圖書(shū)館書(shū)籍信息, 提升找書(shū)效率. Madsen 等[25]提出了一種 AR場(chǎng)景中時(shí)間一致性的方案, 其評(píng)估了 AR 場(chǎng)景中的數(shù)據(jù)注解的多種顯示方式, 得出結(jié)論: 應(yīng)該用連續(xù)型的計(jì)算來(lái)更新數(shù)據(jù)注解位置, 而不是用離散型的延遲更新方法.
4 移動(dòng) AR 可視化的應(yīng)用場(chǎng)景
移動(dòng) AR 設(shè)備的普及和數(shù)據(jù)量的增多使移動(dòng) AR 可視化的應(yīng)用有了無(wú)限可能. 根據(jù)應(yīng)用領(lǐng)域, 現(xiàn)階段移動(dòng) AR 可視化大致可以分為以下幾類.
4.1 實(shí)地工作
三維立體效果往往比二維平面圖紙更加直觀, AR 可視化可以通過(guò)傳感器收集的數(shù)據(jù)、開(kāi)發(fā)者提供的數(shù)據(jù)生成各類三維模型顯示到現(xiàn)實(shí)場(chǎng)景中. 這對(duì)實(shí)地工作, 包括建筑業(yè)[26]、維護(hù)[27]、勘探和裝配[28]等工作者提供了更加直觀的理解. Figueiredo 等[29]將此應(yīng)用到了工程學(xué)中, 將各類工程零件 AR 可視化出來(lái), 幫助學(xué)生加深理解. Schall 等[30]就開(kāi)發(fā)了一個(gè)手機(jī)應(yīng)用, 可以像 X 光一樣生成建筑或設(shè)施內(nèi)部的框架結(jié)構(gòu). Schall 等[31]還提供了一個(gè) AR 的測(cè)繪工具, 讓有經(jīng)驗(yàn)的工程師使用傳統(tǒng)技術(shù)和完全沒(méi)經(jīng)驗(yàn)的工程師使用該系統(tǒng)進(jìn)行對(duì)比, 最后發(fā)現(xiàn)其在交互性方面勝過(guò)傳統(tǒng)技術(shù). 地面打孔也是常見(jiàn)的實(shí)地工作, Lee 等[32]開(kāi)發(fā)了一個(gè)能快速搜索鉆井日志并通過(guò) AR 可視化出來(lái)的系統(tǒng), 為此他們還專門(mén)設(shè)計(jì)了一個(gè)鉆井日志的數(shù)據(jù)庫(kù). Kollatsch 等[28]還用 AR 進(jìn)行了裝配流水線相關(guān)的信息可視化.
4.2 地理相關(guān)
GPS 目前幾乎每個(gè)智能設(shè)備都會(huì)配備, 這為設(shè)備獲取地理信息和定位提供了巨大的便捷. 再加上地理信息系統(tǒng)(geographic information system, GIS) 的迅速發(fā)展, 城市數(shù)據(jù)[33]、交通數(shù)據(jù)、興趣點(diǎn)(points of interest, POI)等數(shù)據(jù)都有了一定的規(guī)模, 因此很多移動(dòng) AR 可視化都是基于地理信息的, 包括城市相關(guān)數(shù)據(jù)、導(dǎo)航和旅游業(yè)等. Schubert 等[34]構(gòu)思了一個(gè)城市設(shè)計(jì)工具, 通過(guò) AR 可視化的方式讓專家進(jìn)行實(shí)時(shí)協(xié)作設(shè)計(jì). Hedley 等[35]設(shè)計(jì)了一個(gè)結(jié)合虛擬現(xiàn)實(shí)和 AR 的地理探索應(yīng)用, 用戶需帶上一個(gè)輕型 AR 設(shè)備, 就能在沉浸式環(huán)境中沿地圖和三維模型探索. Schinke 等[36]直接將 POI、迷你地圖、導(dǎo)航箭頭顯示到智能手機(jī)的相機(jī)中, 用戶通過(guò)該應(yīng)用可以高效地分辨出這個(gè) POI 點(diǎn)的類型. Gerstweiler 等[37]用即時(shí)定位與地圖構(gòu)建(simultaneous localization and mapping, SLAM)技術(shù)實(shí)現(xiàn)室內(nèi)場(chǎng)景的識(shí)別與追蹤, 結(jié)合 POI 數(shù)據(jù), 能給用戶提供持續(xù)的室內(nèi)導(dǎo)航. Hervás 等[38]同樣是基于 POI 數(shù)據(jù), 提供的是室外導(dǎo)航. 旅游業(yè)也從 AR 可視化中受益. Fiore 等[39]開(kāi)發(fā)了一個(gè) Android 應(yīng)用, 其根據(jù) POI 整合了景點(diǎn)的歷史文化信息, 給旅游者提供 AR 的體驗(yàn).
4.3 教育和娛樂(lè)
AR 可視化由于它的直觀和強(qiáng)交互性, 使其在教育[40]和娛樂(lè)方面大放異彩. 在教育方面, AR 可視化的應(yīng)用主要分為 3 類: 建模型、探索型和 AR 圖書(shū)[41]. 第 1 種大多用在需要立體模型的場(chǎng)景中, 例如, 天文學(xué)、化學(xué)、生物學(xué)、建筑學(xué)、工程學(xué)[29]、設(shè)計(jì)[42]和幾何學(xué)等. 不難理解, 如果沒(méi)有 AR 可視化, 這些學(xué)科都需要我們自己去想象其三維結(jié)構(gòu). Fonseca 等[43]分別用傳統(tǒng)的學(xué)習(xí)方法和 AR 的學(xué)習(xí)方法讓學(xué)生去學(xué)習(xí)建筑學(xué)知識(shí), 以測(cè)試學(xué)生的學(xué)習(xí)效果, 發(fā)現(xiàn)學(xué)生用后者學(xué)習(xí)對(duì)“空間”的理解更深刻, 甚至直接導(dǎo)致他們的課程評(píng)估分?jǐn)?shù)變高. AR 也能促進(jìn)學(xué)生的自主和合作學(xué)習(xí), 如 MartínGutiérrez 等[44]設(shè)計(jì)了 3 種 AR 應(yīng)用, 分別從理論和實(shí)踐兩方面教授學(xué)生, 受到了學(xué)生一致好評(píng). 第 2 種以 AR可視化在博物館中的應(yīng)用為例[45]: 參觀者可以通過(guò)頭戴式設(shè)備仔細(xì)端詳工藝品的全貌, 還可以用智能手機(jī)掃描二維碼, 從而出現(xiàn)帶有工藝品數(shù)據(jù)信息和工藝品模型相結(jié)合的 AR 展示. 另一個(gè)例子是 Fragoso[46]開(kāi)發(fā)的一個(gè) AR 翻譯器, 通過(guò)光學(xué)字符識(shí)別(optical character recognition, OCR) 識(shí)別任意場(chǎng)景中的字符, 經(jīng)翻譯后無(wú)縫替換原場(chǎng)景中的文字. 第 3 種 AR 圖書(shū)被 Billinghurst 等[41] 稱做“魔法書(shū)”, 通過(guò)設(shè)備掃描圖書(shū)即可出現(xiàn)有關(guān)圖書(shū)當(dāng)前內(nèi)容的虛擬模型 , 使圖書(shū)更加生動(dòng) . Nguyen 等[47]設(shè)計(jì)了一個(gè)用戶可交換、可編輯的說(shuō)明書(shū), 生動(dòng)地引導(dǎo)用戶一步步操作. ——論文作者：高 翔1), 安 輝1), 陳 為2), 潘志庚1)*
