手勢(shì)交互技術(shù)在展示設(shè)計(jì)的應(yīng)用

時(shí)間:2022-06-01 10:05:01

導(dǎo)語(yǔ):手勢(shì)交互技術(shù)在展示設(shè)計(jì)的應(yīng)用一文來(lái)源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢(xún)客服老師,歡迎參考。

手勢(shì)交互技術(shù)在展示設(shè)計(jì)的應(yīng)用

摘要:目前我國(guó)正處于文化消費(fèi)激增階段,文創(chuàng)產(chǎn)品如何更好的展示已經(jīng)引起人們的思考。通過(guò)虛擬現(xiàn)實(shí)技術(shù)的介入增加對(duì)文創(chuàng)產(chǎn)品展示問(wèn)題的思考,使用LeapMotion控制器作為手勢(shì)輸入接口,根據(jù)LeapMotion獲取的手部幾何數(shù)據(jù),研究通過(guò)手勢(shì)交互的方式,便捷地、高效地與文創(chuàng)產(chǎn)品設(shè)計(jì)中三維模型進(jìn)行交互的方法。以創(chuàng)新技術(shù)方案改變文創(chuàng)藝術(shù)的展示方式,探索文創(chuàng)藝術(shù)設(shè)計(jì)應(yīng)用的創(chuàng)新途徑。

關(guān)鍵詞:手勢(shì)交互技術(shù);虛擬文創(chuàng)產(chǎn)品;LeapMotion

1文化創(chuàng)意產(chǎn)品

文創(chuàng)就是文化創(chuàng)意,當(dāng)今時(shí)代已經(jīng)處于經(jīng)濟(jì)飛速發(fā)展的階段,它已經(jīng)不是單一的個(gè)體產(chǎn)業(yè),而是經(jīng)過(guò)多年的沉淀,發(fā)展稱(chēng)為一個(gè)超強(qiáng)綜合體產(chǎn)業(yè),因此也被稱(chēng)為文化創(chuàng)意產(chǎn)業(yè)。伴隨著近年來(lái)的消費(fèi)升級(jí)、居民生活的改善、人們對(duì)于娛樂(lè)休閑活動(dòng)的追求也隨之上升,從而使得我國(guó)的文化創(chuàng)意產(chǎn)業(yè)也進(jìn)入快速發(fā)展的新時(shí)期。它依托文化或文化元素為母體,通過(guò)個(gè)人或者多人創(chuàng)意公開(kāi)銷(xiāo)售的一種形式,可以延伸到各行各業(yè),包括影視、動(dòng)畫(huà)、游戲、公共建設(shè)、服裝、廣告、飲食,從而讓人領(lǐng)略文化的魅力。根據(jù)數(shù)據(jù)顯示,2020年全國(guó)規(guī)模以上文化及相關(guān)產(chǎn)業(yè)企業(yè)實(shí)現(xiàn)營(yíng)業(yè)收入98514億元,比2019年增長(zhǎng)2.2%。然而傳統(tǒng)文創(chuàng)產(chǎn)品生產(chǎn)到展示這種閉環(huán)過(guò)程必須經(jīng)過(guò)策劃—設(shè)計(jì)—定制—成品這一系列環(huán)節(jié),但這往往需要消耗大量的時(shí)間、人力、物力成本,如何縮短這一過(guò)程的成本消耗一直是一個(gè)需要思考解決的問(wèn)題。文創(chuàng)產(chǎn)品最終是為消費(fèi)者服務(wù)的,把消費(fèi)者作為文化創(chuàng)意設(shè)計(jì)的視覺(jué)中心,針對(duì)他們量身定做所需要的設(shè)計(jì)方法和創(chuàng)意,這樣設(shè)計(jì)出來(lái)的創(chuàng)意作品必然會(huì)受到特別的青睞,造成足夠的影響力和購(gòu)買(mǎi)力,并且伴隨科技手段的日益滲透,文創(chuàng)產(chǎn)品的體驗(yàn)感將更加吸引消費(fèi)者的參與,實(shí)現(xiàn)“我”的自由取用,改進(jìn)了傳統(tǒng)的表現(xiàn)形式,使得文創(chuàng)產(chǎn)品的創(chuàng)作突破緯度的禁錮,從平面走向立體,從立體走向共感,全新的體驗(yàn)方式讓文化創(chuàng)意產(chǎn)品改變過(guò)去的被動(dòng)輸入,主動(dòng)輸出才是為文化創(chuàng)作找到自己的全新的思路[1]。

2手勢(shì)交互技術(shù)

如果提到手勢(shì)交互必然離不開(kāi)人機(jī)交互這一術(shù)語(yǔ),通過(guò)計(jì)算機(jī)輸入、輸出設(shè)備,以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)對(duì)話(huà),人與計(jì)算機(jī)之間使用某種對(duì)話(huà)語(yǔ)言,以一定的交互方式,為完成確定任務(wù)的人與計(jì)算機(jī)之間的信息交換過(guò)程。而手勢(shì)交互技術(shù)則將手勢(shì)作為對(duì)話(huà)語(yǔ)言的替代,跟蹤人類(lèi)手勢(shì)、識(shí)別其表示和轉(zhuǎn)換為語(yǔ)義上有意義的命令的整個(gè)過(guò)程,稱(chēng)之為手勢(shì)交互識(shí)別。其研究旨在將設(shè)計(jì)和開(kāi)發(fā)可以將用于設(shè)備控制的手勢(shì)識(shí)別為輸入并且通過(guò)將命令映射為輸出的系統(tǒng)。一般而言,從手勢(shì)交互信息采集的途徑是有兩種:接觸式及非接觸式的,因此可將手勢(shì)交互系統(tǒng)劃分為基于接觸式的傳感器和基于非接觸類(lèi)的傳感器的兩類(lèi)?;诮佑|式傳感器的手勢(shì)識(shí)別通?;谑褂枚鄠€(gè)傳感器的數(shù)據(jù)手套、加速度計(jì)、多點(diǎn)觸摸屏等技術(shù)。而基于非接觸式傳感器的手勢(shì)識(shí)別通?;谑褂霉鈱W(xué)傳感、雷達(dá)探測(cè)等技術(shù)[2]。2013年2月,Leap體感控制器制造公司了面向PC電腦及蘋(píng)果電腦MAC的體感控制器LeapMotion。它所倡導(dǎo)的三維空間交互與現(xiàn)今較為主流的虛擬現(xiàn)實(shí)技術(shù)可謂完美結(jié)合,利用雙目立體視覺(jué)成像原理,通過(guò)兩個(gè)攝像機(jī)來(lái)提取包括三維位置在內(nèi)的信息進(jìn)行手勢(shì)的綜合分析判斷,這種應(yīng)用于立體視覺(jué)的測(cè)量方法,被稱(chēng)為三角測(cè)量法。它是用于定位目標(biāo)空間位置最常用和最基本的方法,如同人眼一樣,能夠?qū)臻g物體進(jìn)行坐標(biāo)定位,包括手指(及手持物)的運(yùn)動(dòng)、手掌的運(yùn)動(dòng)、手掌球(能夠模擬手的弧面的一種球體,包含球心位置和球半徑信息)三種。在LeapMotion控制器的雙攝像頭基線(xiàn)距離固定后,就可以進(jìn)行設(shè)備校準(zhǔn)。校準(zhǔn)后的控制器可以精確計(jì)算出目標(biāo)相對(duì)于攝像頭的空間坐標(biāo)。再通過(guò)已建立后的手部立體模型,能實(shí)現(xiàn)靈活而簡(jiǎn)便的抓取虛擬場(chǎng)景的物體,并通過(guò)相對(duì)運(yùn)動(dòng)生成平移、旋轉(zhuǎn)和縮放信息[3-4]。

3虛擬文創(chuàng)產(chǎn)品展示中應(yīng)用手勢(shì)交互技術(shù)的實(shí)現(xiàn)

結(jié)合服務(wù)設(shè)計(jì)理論,引入手勢(shì)交互技術(shù)能給文創(chuàng)產(chǎn)品展示領(lǐng)域帶來(lái)一個(gè)以往不同創(chuàng)新的發(fā)展模式,通過(guò)使用LeapMotion控制器作為手勢(shì)輸入接口,根據(jù)LeapMo-tion獲取的手部幾何數(shù)據(jù),研究通過(guò)手勢(shì)交互的方式,便捷地、高效地與文創(chuàng)產(chǎn)品三維模型進(jìn)行交互[5]。

3.1虛擬文創(chuàng)產(chǎn)品三維建模

虛擬文創(chuàng)產(chǎn)品展示平臺(tái)最終還是要以文創(chuàng)產(chǎn)品展示作為輸出,因此為了反映文創(chuàng)產(chǎn)品全貌,利用三維軟件建模技術(shù)實(shí)現(xiàn)對(duì)文創(chuàng)產(chǎn)品再現(xiàn)。傳統(tǒng)三維軟件建模方法包含有第一、基本體建模,這也是最簡(jiǎn)單的建模方法,通過(guò)對(duì)內(nèi)置的幾何體的移動(dòng)、旋轉(zhuǎn)、縮放等操作,完成模型的建立。第二、二維線(xiàn)建模,通過(guò)調(diào)節(jié)二維線(xiàn)的頂點(diǎn)及線(xiàn)段的參數(shù),可以生成較復(fù)雜的二維圖形,再此基礎(chǔ)上又可以生成三維模型。第三、多邊形建模,可以說(shuō)是最為復(fù)雜的建模方法,通過(guò)對(duì)頂點(diǎn)、邊、面、多邊形和元素編輯的方式對(duì)模型進(jìn)行塑形,完成結(jié)構(gòu)的創(chuàng)作,最終完成模型的建立。第四、網(wǎng)格建模,與多邊形建模相似,也是一種基于子對(duì)象進(jìn)行編輯的建模方法,包含頂點(diǎn)、邊、面、多邊形和元素5種,區(qū)別在與編輯的對(duì)象主要是三邊面,而多邊形建模往往是三邊形、四邊形或者更多邊的面。第五、NURBS建模,是一種專(zhuān)門(mén)做曲面建模的方法,通過(guò)曲線(xiàn)的控制點(diǎn)調(diào)節(jié)曲線(xiàn)曲率、方向、長(zhǎng)短等,再由這些曲線(xiàn)生成曲面,從而完成曲面造型及特殊造型。基本現(xiàn)在主流三維建模軟件都采用以上建模方法。而虛擬文創(chuàng)產(chǎn)品則利用3DsMax軟件來(lái)進(jìn)行三維建模。3DsMax是Autodesk公司出品的世界頂級(jí)的三維軟件之一,功能強(qiáng)大,自誕生之日開(kāi)始,就深受使用者的喜愛(ài),在模型塑造、場(chǎng)景渲染、動(dòng)畫(huà)及特效等方面都做出高品質(zhì)的內(nèi)容,在影視動(dòng)畫(huà)、虛擬現(xiàn)實(shí)、產(chǎn)品造型、游戲設(shè)計(jì)等多個(gè)領(lǐng)域中占據(jù)主導(dǎo)地位,在模型構(gòu)建中,充分利用3DsMax所提供的建模方法,完成虛擬文創(chuàng)產(chǎn)品模型的建立,操作靈活,可控性強(qiáng),視覺(jué)領(lǐng)域的表現(xiàn)力是十分突出,這也是虛擬產(chǎn)品造型的重點(diǎn)[6]。

3.2手勢(shì)交互技術(shù)的引入

為了將文創(chuàng)產(chǎn)品三維建模進(jìn)行實(shí)時(shí)展示同時(shí)進(jìn)行同步手勢(shì)交互,借助于Unity引擎仿真手模型,它擁有較高的精細(xì)度,并且自帶動(dòng)畫(huà),在此基礎(chǔ)上借助LeapMotion控制器進(jìn)行手部的控制。為什么會(huì)選擇這種技術(shù)方案?主要原因如下:第一,LeapMotion控制器主要功能是識(shí)別高精度、低延遲的手指運(yùn)動(dòng),通過(guò)使用LeapMotion控制器作為手勢(shì)輸入接口,根據(jù)LeapMotion獲取的手部幾何數(shù)據(jù),研究通過(guò)手勢(shì)交互的方式,便捷地、高效地與文創(chuàng)產(chǎn)品三維模型進(jìn)行交互方法。通過(guò)操作確定了手勢(shì)相關(guān)的特征數(shù)據(jù),并且包含移動(dòng)和旋轉(zhuǎn)的手勢(shì)數(shù)據(jù),預(yù)估手勢(shì)輪廓的位置,在此條件下對(duì)跟蹤目標(biāo)進(jìn)行重定位,通過(guò)從LeapMotion控制器可以對(duì)模型進(jìn)行平移、縮放、旋轉(zhuǎn)等操作功能,同時(shí)為了避免模型和手勢(shì)的不貼合,計(jì)算出對(duì)模型的變換量,并使用變換量對(duì)模型進(jìn)行相應(yīng)的變換功能。對(duì)其做相應(yīng)的改進(jìn)和重置,讓模型更加貼合手勢(shì)。第二,為了手勢(shì)輪廓能,更好的完整的提取和分離,引用了混合卡爾曼濾波和粒子濾波方法對(duì)獲取的手勢(shì)數(shù)據(jù)進(jìn)行處理與優(yōu)化,作為基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的構(gòu)建模塊的大多數(shù)完整的手部交互機(jī)制包括三個(gè)基本階段:檢測(cè),跟蹤和識(shí)別。手的檢測(cè)和相應(yīng)圖像區(qū)域的分割是手勢(shì)識(shí)別系統(tǒng)的首要任務(wù)。這種分割至關(guān)重要,因?yàn)樗鼘⑷蝿?wù)相關(guān)的數(shù)據(jù)與圖像背景分離開(kāi)來(lái),然后再將其傳遞到后續(xù)跟蹤和識(shí)別階段。這些方法利用幾種類(lèi)型視覺(jué)特征的組合來(lái)檢測(cè)手部。這些特征可以是手的膚色、形狀和運(yùn)動(dòng)等。對(duì)于手勢(shì)的跟蹤則采取預(yù)測(cè)和重定位的形式,在以往的實(shí)驗(yàn)中證明,部分人采用光流法補(bǔ)幀這種算法進(jìn)行跟蹤,但由于其易受環(huán)境的影響,效果并不明顯,因此采用基混合卡爾曼濾波和粒子濾波方法,能突破一定環(huán)境的局限性,具備可操作性和靈活性,達(dá)到對(duì)預(yù)估手勢(shì)位置的準(zhǔn)確性,實(shí)現(xiàn)基于運(yùn)動(dòng)軌跡信息的動(dòng)態(tài)手指姿勢(shì)的識(shí)別[7]。

4結(jié)語(yǔ)

傳統(tǒng)文化創(chuàng)意作品演示過(guò)程通常先是設(shè)計(jì)者完成個(gè)人創(chuàng)作,然后作品被設(shè)計(jì)完成后運(yùn)送到展示空間之中去。其創(chuàng)作的環(huán)境、材料、工具、形式,文化內(nèi)涵表現(xiàn)都受到一定的限制,并且與設(shè)計(jì)者的初衷存在一定的差異,這可以稱(chēng)為傳統(tǒng)展示設(shè)計(jì)方式所存在的局限性。而虛擬文創(chuàng)產(chǎn)品展示平臺(tái)通過(guò)LeapMotion傳感器獲取的手部幾何數(shù)據(jù),研究通過(guò)手勢(shì)交互技術(shù)能夠便捷地、高效地與虛擬文創(chuàng)產(chǎn)品進(jìn)行交互的方法。通過(guò)虛擬三維文創(chuàng)作品模型的展示改變?yōu)g覽者的操作任務(wù),將文創(chuàng)產(chǎn)品其他部分的運(yùn)轉(zhuǎn)狀態(tài)顯示出來(lái),瀏覽者雖然不能直接接觸到這些實(shí)物模型,但是通過(guò)交互技術(shù)就能知道這些關(guān)鍵產(chǎn)品的信息。手勢(shì)交互技術(shù)的介入可以用于提供給設(shè)計(jì)者實(shí)時(shí)展示文化創(chuàng)意設(shè)計(jì)作品、提供給瀏覽者了解設(shè)計(jì)作品、提供給設(shè)計(jì)者和瀏覽者查看關(guān)聯(lián)于文創(chuàng)作品的第一反饋信息以及提供給用戶(hù)查看關(guān)聯(lián)于其他文化創(chuàng)意作品的第二反饋信息。借助現(xiàn)代計(jì)算機(jī)和其強(qiáng)大的顯示功能,用戶(hù)可以清晰看到某物體的真實(shí)狀態(tài),建立起適當(dāng)?shù)男睦砟P?簡(jiǎn)化操作和理解過(guò)程。改變傳統(tǒng)文創(chuàng)產(chǎn)品展示過(guò)程必須經(jīng)過(guò)策劃—設(shè)計(jì)—定制—成品單一閉環(huán)鏈條環(huán)節(jié),將傳統(tǒng)設(shè)計(jì)模式引入新型科技手段,兩者融合是文化創(chuàng)意產(chǎn)業(yè)的一個(gè)新的趨勢(shì),是文創(chuàng)企業(yè)做大做強(qiáng)、傳統(tǒng)產(chǎn)業(yè)改造提升,瀏覽者不再是被動(dòng)觀看作品的接受者,也可以作探索文創(chuàng)作品的主動(dòng)者,所作出的行為能夠影響到文化創(chuàng)意作品,使這些作品能夠感受變化,從而產(chǎn)生更深刻地認(rèn)識(shí),凸顯了人文價(jià)值。

參考文獻(xiàn)

[1]任如彬,朱利豐,劉佳,等.基于LeapMotion的個(gè)體化手部建模與實(shí)時(shí)交互[J].測(cè)控技術(shù),2020,39(2):74-79.

[2]張巧龍,李延平,阮徑舟,等.基于LeapMotion手勢(shì)控制的機(jī)器人設(shè)計(jì)與制作[J].電子世界,2019(11):139-140.

[3]陳暢,陳亮,周雪峰.基于自然手勢(shì)交互的工業(yè)機(jī)器人示教系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].制造業(yè)自動(dòng)化,2018,40(2):21-25.

[4]李楊韜,禹東川,靳來(lái)鵬,等.基于LeapMotion手勢(shì)識(shí)別的認(rèn)知訓(xùn)練系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].電子設(shè)計(jì)工程,2016,24(9):12-14+18.

[5]朱毅,譚浩,趙江洪.大規(guī)模定制網(wǎng)絡(luò)平臺(tái)的交互設(shè)計(jì)研究[J].裝飾,2014(3):102-103.

[6]朱惠娟,王軍,朱俊.基于LeapMotion的沉浸式體感交互系統(tǒng)研究[J].微型電腦應(yīng)用,2021,37(2):8-11.

[7]鄧楚君.技能大師工作室下的文創(chuàng)產(chǎn)品傳承創(chuàng)新設(shè)計(jì)人才培養(yǎng)研究[J].遼寧廣播電視大學(xué)學(xué)報(bào),2018(1):23-25.

作者:王媛 單位:武漢設(shè)計(jì)工程學(xué)院