發(fā)布時間：2019-12-26所屬分類：建筑師職稱論文瀏覽：1次
摘 要： 摘要:在實驗技術(shù)的模擬仿真方面，虛擬現(xiàn)實因其高度模擬真實的特點，在獲取用戶行為數(shù)據(jù)、產(chǎn)品評估與模擬仿真等領(lǐng)域具有其他技術(shù)無法比擬的優(yōu)勢。為獲取用戶真實的行為數(shù)據(jù)，構(gòu)建自然手勢交互的虛擬現(xiàn)實實驗環(huán)境，其中主要研究內(nèi)容包括:①構(gòu)建沉浸性好的四通
摘要:在實驗技術(shù)的模擬仿真方面，虛擬現(xiàn)實因其高度模擬真實的特點，在獲取用戶行為數(shù)據(jù)、產(chǎn)品評估與模擬仿真等領(lǐng)域具有其他技術(shù)無法比擬的優(yōu)勢。為獲取用戶真實的行為數(shù)據(jù)，構(gòu)建自然手勢交互的虛擬現(xiàn)實實驗環(huán)境，其中主要研究內(nèi)容包括:①構(gòu)建沉浸性好的四通道融合虛擬現(xiàn)實實驗環(huán)境;②利用Kinect的深度攝像頭與機器訓(xùn)練實現(xiàn)虛擬現(xiàn)實環(huán)境下的自然手勢交互;③設(shè)計人體骨骼信息、位置信息、交互信息與虛擬實驗環(huán)境的通信方式。方案能夠很好地運用于用戶行為收集、產(chǎn)品測試與評估以及其他仿真與測試技術(shù)方案。
關(guān)鍵詞:多通道融合;虛擬實驗環(huán)境;自然交互;交互信息
0引言
用戶真實的需求與行為數(shù)據(jù)在產(chǎn)品創(chuàng)新設(shè)計以及評估中至關(guān)重要，用戶最真實的數(shù)據(jù)源于用戶與真實產(chǎn)品的自然交互[1]。多通道融合的虛擬實驗環(huán)境(Multi-channelFusionVirtualExperimentEnvironment，MFVEE)因其高度沉浸性特征使得用戶可以與系統(tǒng)和產(chǎn)品進行自然交互，在獲取用戶真實的行為數(shù)據(jù)方面具有其他技術(shù)無法比擬的優(yōu)勢，也成為目前以及未來人機交互與虛擬現(xiàn)實領(lǐng)域的研究熱點。目前MFVEE的交互方式并不自然[2-3]，非自然交互方式難以獲取用戶真實的行為數(shù)據(jù)，難以實現(xiàn)用戶與系統(tǒng)的自然對話[4]。
為實現(xiàn)自然交互的虛擬實驗環(huán)境，本文進行了以下研究:①搭建自然真實的軟硬件系統(tǒng)。包括構(gòu)建基于虛擬現(xiàn)實3I特征的MFVEE，利用4面投影融合技術(shù)形成的半封閉虛擬空間的硬件上構(gòu)建真實的虛擬居家場景，用戶佩戴3D立體眼鏡之后，如同在一個封閉的家居環(huán)境中，具有高度沉浸性;②解決交互性問題，包括自然交互以及基于用戶數(shù)據(jù)報協(xié)議(UserDatagramProtocol，UDP)的用戶姿體信息和各客戶端之間的通信問題。本文利用深度攝像頭采集人體骨骼信息、位置信息、交互信息并通過采用UDP的通訊方式把用戶的這些信息渲染到虛擬空間，并實時交互，得到了與Kinect在平面系統(tǒng)上一致的交互精度。
1相關(guān)研究
虛擬現(xiàn)實(VirtualReality，VR)是一種能夠創(chuàng)建與體驗虛擬世界的計算機系統(tǒng)，通過聽覺、視覺、觸覺、嗅覺等交互方式給用戶提供一種身臨其境的體驗[5]，在VR的3個典型特征:沉浸性、想象性與交互性中，作為虛擬現(xiàn)實其中一個很重要的特征“交互性”一直是困擾著虛擬現(xiàn)實發(fā)展的重要因素[6-7]。目前為止，VR交互的標(biāo)準(zhǔn)尚未形成，各種交互設(shè)備大多存在問題，其中解決用戶與虛擬空間之間更加自然更多維度的交互技術(shù)是關(guān)鍵[8-9]。
在虛擬現(xiàn)實的交互性特征研究方面，1965年，Sutherland[10]首次提出具有交互界面、力反饋和聲音反饋的虛擬現(xiàn)實系統(tǒng)，他設(shè)想在這種顯示技術(shù)環(huán)境中，用戶可以沉浸在計算機生成的虛擬世界中并以自然的方式與虛擬世界的對象交互。此后，關(guān)于VR交互的研究逐漸增多[11-12]。2013年，喬思航[13]使用多臺Kinect設(shè)備完成人體的數(shù)據(jù)采集，進而重建出個性化虛擬人的三維模型。2016年，曾繼平[14]對這個方案進行了進一步改進。2017年，楊竹等[15]研究開發(fā)了基于Kinect的Unity3d人機交互接口，利用DLL技術(shù)把Unity3d引擎、Kinect體感設(shè)備和VisualStudio平臺銜接起來，在Unity3d平臺上對由Kinect獲取到的聲源位置進行識別定位，得到的實時數(shù)據(jù)可用于高級人機交互應(yīng)用。
2虛擬現(xiàn)實實驗環(huán)境設(shè)計
2.1實驗硬件環(huán)境設(shè)計
本文的VR環(huán)境采用C/S結(jié)構(gòu)，采用背投式投影方式，每一臺投影機對應(yīng)一臺客戶端工作站，客戶端工作站負(fù)責(zé)場景的渲染和融合，把每臺客戶端的IP地址添加進虛擬空間中，形成一個半封閉式的虛擬空間，所有的交互發(fā)生場景都在虛擬空間中。主控端工作站負(fù)責(zé)交互數(shù)據(jù)采集，包括:用戶姿體信息、用戶位置信息、用戶交互信息。主控端與客戶端組成的系統(tǒng)總體框架如圖1所示。
2.2實驗軟件環(huán)境構(gòu)建
2.2.1系統(tǒng)軟件框架構(gòu)建
MFVEE的軟件框架設(shè)計如圖2所示，其中基礎(chǔ)支撐層是虛擬實驗環(huán)境安全可靠運行的支撐與保障。中間層支撐平臺主要完成手勢定義識別、碰撞檢測識別、數(shù)據(jù)信息傳輸、體感信息解析和骨骼信息實時刷新等模塊，是自然交互的核心內(nèi)容，它為頂層應(yīng)用提供了功能實現(xiàn)的技術(shù)支持和調(diào)用接口。通過支撐平臺，系統(tǒng)應(yīng)用層可以方便的調(diào)用Kinect采集的體感數(shù)據(jù)并實時驅(qū)動虛擬場景中的模型。通過數(shù)據(jù)分析，模擬出不同手勢之間的閾值，從而完成抓取或者調(diào)整視角的功能開發(fā)。
2.2.2子系統(tǒng)與場景構(gòu)建
本文構(gòu)建虛擬居家環(huán)境作為系統(tǒng)的交互場景，如圖3所示。
2.2.3自然人機交互模塊
自然人機交互模塊是最重要的一個子系統(tǒng)，交互信息包括物體被手部接觸的高亮視覺反饋，物體跟隨手勢移動等。所有可交互物體都具有“閑置狀態(tài)-熱區(qū)接觸-操作-恢復(fù)閑置狀態(tài)”4種狀態(tài)，通過有限狀態(tài)機(Finite-statemachine，F(xiàn)SM)設(shè)定，對象的狀態(tài)切換模式如圖4所示。其中在物體閑置狀態(tài)時，如果物體為剛體，則進行自由落體和物理碰撞等，如果為非剛體，則執(zhí)行設(shè)定好的旋轉(zhuǎn)或者觸發(fā)操作。
3虛擬現(xiàn)實環(huán)境中虛實數(shù)據(jù)的交互與通訊
3.1MiddleVR插件
MFVEE環(huán)境中，負(fù)責(zé)采集人體骨骼數(shù)據(jù)的主控端通過深度攝像頭采集人體信息、空間位置信息以及交互行為比如:旋轉(zhuǎn)信息等。負(fù)責(zé)渲染虛擬空間的4臺工作站則承載著所有的虛擬智能居家場景，通過多通道融合技術(shù)把4臺客戶端的場景融合在一起，組成一個半封閉的3D顯示環(huán)境。這樣搭建的好處是以后增加其他攝像頭時只需要在主控端進行更新改進即可，而且改進融合技術(shù)以及修改模型也比較簡單。本文采用Unity引擎進行開發(fā)，但是Unity并不能直接驅(qū)動多通道的虛擬空間，還需要借助橋接軟件驅(qū)動，MFVEE環(huán)境采用MiddleVR插件作為開發(fā)VR應(yīng)用的中間件，采用UDP通信協(xié)議進行信息傳輸。
3.2基于Kinect的自然交互
虛擬現(xiàn)實環(huán)境的3個特征之一就是交互性，本文主要研究自然手勢交互，通過手勢與虛擬實驗環(huán)境進行交互。本文采用Kinect攝像頭作為用戶命令的輸入，Kinect把人的身體轉(zhuǎn)換成25個骨骼信息，如圖5所示，在人機交互系統(tǒng)中，不同骨骼信息的變化與組合被定義成不同的語義，通過這種方法，用戶認(rèn)知被編碼成各類手勢語義以傳達用戶意圖。如圖5(a)所示，用戶的手部被編碼成3個特征點，通過3個特征點的組合進行手勢語義設(shè)計，從而形成系統(tǒng)能夠理解的“抓取”、“旋轉(zhuǎn)”、“放大放小”等命令，完成人機交互過程。
3.3基于UDP通信協(xié)議的虛實數(shù)據(jù)通訊
主控端的Kinect掃描人體骨骼數(shù)據(jù)，通過局域網(wǎng)將采集到的數(shù)據(jù)通過UDP“廣播”到其他的客戶端，收到數(shù)據(jù)后的客戶端解析出骨骼數(shù)據(jù)并實時在客戶端渲染出來，其通信機制由3個應(yīng)用組成，分別是主控端的KinectSender.exe，客戶端的Render.exe，以及MiddleVR插件。主控端通過攝像頭采集人體信息并實時廣播到同一局域網(wǎng)的其他客戶端，人體信息組合成字符串以UDP的方式廣播到各個客戶端。在4臺客戶端中，把其中一臺客戶端作為數(shù)據(jù)接收和分發(fā)端口的IPv4地址，此客戶端上的程序接收人體骨骼信息、位置信息以及交互消息等，并分發(fā)給其他客戶端，避免出現(xiàn)因為網(wǎng)絡(luò)連接不穩(wěn)定而出現(xiàn)的不同步現(xiàn)象。
4實驗分析
MFVEE中，16名被試被要求執(zhí)行一個交互任務(wù):在虛擬居家中，從冰箱取出一個雞蛋并放入阿迪鍋進行煮食。16位被試由6位研究生學(xué)歷或在讀研究生，以及10位數(shù)字媒體專業(yè)本科生組成，都屬于虛擬現(xiàn)實領(lǐng)域的熟練用戶。實驗?zāi)康氖窃u估冰箱以及阿迪鍋的產(chǎn)品用戶體驗是否良好，并找出產(chǎn)品交互的可用性問題。圖6為虛擬實驗測試的視頻序列幀，圖中的疊影和模糊畫面是因為視頻拍攝虛擬實驗環(huán)境，如果佩戴3D眼鏡就不會出現(xiàn)疊影和模糊的效果。
相關(guān)期刊推薦：《實驗室研究與探索》雜志是教育部主管、上海交通大學(xué)主辦的國內(nèi)外公開發(fā)行的綜合性技術(shù)刊物，全國高校實驗室工作研究會會刊之一。追蹤實驗室工作中的新情況、新經(jīng)驗、新理論，進行研究探索，在推動高等學(xué)校實驗室建設(shè)，提高實驗室教學(xué)質(zhì)量和管理水平等方面發(fā)揮了積極作用。刊物內(nèi)容豐富，風(fēng)格樸實，技術(shù)實用，是廣大實驗室工作者及技術(shù)物資工作者之友。有投稿需求的作者，可以直接與在線編輯聯(lián)系。
每個被試執(zhí)行任務(wù)后被要求做簡短的訪談，發(fā)現(xiàn)了產(chǎn)品存在的幾個問題:①3/16位被試試圖旋轉(zhuǎn)鍋蓋上的按鈕來打開鍋蓋，但是按鈕是設(shè)計來排氣的，證明產(chǎn)品設(shè)計存在誤導(dǎo)性;②阿迪鍋看起來比較復(fù)雜，不知道怎么操作，等等。
為證明本文提出的多通道融合的虛擬現(xiàn)實實驗環(huán)境的沉浸性與交互精確度高等特點，測試了在不同環(huán)境下的魯棒性，分別在光照條件、黑暗條件對每種姿勢的進行實驗。其識別精度如表1所示，從表中可以看出，本文的方法對動態(tài)手勢的識別精度較高而且對不同光照的動態(tài)姿勢識別魯棒性較好。
以本文方法生成的抓取手勢為例，如圖7所示，為抓取手勢在VisualStudio2015的開發(fā)環(huán)境下，利用C#語言，將VGB生成的姿勢進行檢測的結(jié)果。
如圖8所示，將抓取手勢應(yīng)用于冰箱門的開閉，冰箱的手勢操作主要通過手部的伸開和握起來進行基礎(chǔ)交互，當(dāng)手部伸開狀態(tài)碰到冰箱門把手，則高亮顯示門把手部分。當(dāng)手握起并進行移動時，則進行冰箱門的旋轉(zhuǎn)打開操作。實驗過程中交互自然性和精確度較高。
基于自然手勢交互構(gòu)建的虛擬實驗環(huán)境沉浸性好，精確度高并且受環(huán)境影響較小。能夠很好地運用于產(chǎn)品測試、行為分析、仿真模擬等。
5結(jié)語
本文通過分析當(dāng)前虛擬現(xiàn)實系統(tǒng)存在的問題，結(jié)合實驗教育技術(shù)的應(yīng)用，構(gòu)建了真實、自然的虛擬現(xiàn)實實驗環(huán)境，本文的主要貢獻有兩個:(1)自然真實的MFVEE軟硬件環(huán)境，當(dāng)用戶佩戴了3D立體眼鏡之后，就如同站在一個封閉的接近真實的實驗環(huán)境當(dāng)中，MFVEE因其高度沉浸性和自然交互的特征使得用戶得以與系統(tǒng)進行自然的、無障礙的交互，該實驗環(huán)境能夠用于軍事、高危作業(yè)、特種設(shè)備的應(yīng)急演練;產(chǎn)品設(shè)計、用戶行為、用戶心理的測試與評估;教育培訓(xùn)、應(yīng)用游戲、系統(tǒng)仿真等行業(yè);(2)用戶以最自然的方式與系統(tǒng)對話，即系統(tǒng)能夠理解用戶的自然行為并進行正確的反饋，因此能夠獲取用戶自然真實的行為數(shù)據(jù)并用于各種研究目的。
