從鍵盤、鼠標(biāo)，到觸摸板、觸摸屏，人機交互的范式不斷發(fā)生變化。虛擬現(xiàn)實（VR）的出現(xiàn)實現(xiàn)了由二維界面到空間界面的變遷。它在給用戶提供全新的沉浸式體驗的同時，也帶來了新的問題：究竟哪種交互范式更適合VR環(huán)境？

國際計算機協(xié)會（ACM） CHI大會是人機交互領(lǐng)域的頂級國際學(xué)術(shù)會議。中國科學(xué)院軟件研究所（以下簡稱中科院軟件所）一項關(guān)于筆形態(tài)控制器的研究成果近日被ACM CHI 2020接收，并獲得今年ACM CHI的最佳論文提名獎。

VR交互缺乏成熟的范式

目前，VR交互的主要輸入方式包括了語音、手勢、手持控制器，還有眼動、腦電等。

“但VR目前存在的問題是，它的交互并沒有一個成熟的范式。” 該論文通訊作者、中科院軟件所人機交互技術(shù)與智能信息處理實驗室田豐團隊成員韓騰說。

傳統(tǒng)計算機時代，人機交互緊緊圍繞在鍵盤和鼠標(biāo)周圍，它們是唯一的輸入通道。在過去十幾年間，智能手機和平板電腦又帶來了一個新的交互范式——觸摸。

因為人們每天都頻繁使用著，所以覺得稀松平常。可實際上，正是“觸摸”的出現(xiàn)，直接造就了個人計算機和智能手機時代的輝煌。可見，一種成熟的交互范式具有劃時代意義。

盡管目前VR設(shè)備的視覺質(zhì)量和沉浸效果已經(jīng)達(dá)到一個比較穩(wěn)定的狀態(tài)，可以呈現(xiàn)令人印象深刻的圖形，但相應(yīng)的輸入技術(shù)仍在不斷探索中。

韓騰表示，目前應(yīng)用程序開發(fā)人員比較依賴手持控制器作為消費級VR產(chǎn)品的主要輸入手段。從VR頭戴式顯示器HTC Vive和Oculus Rift等設(shè)備上大量的多按鈕和多功能控制器就可以明顯看出這點。

“大多數(shù)VR手持控制器有一個特點，用戶抓取它們的方式主要是利用手腕旋轉(zhuǎn)。基于手腕的動作是足夠有效的，然而，這種握持方式通常需要所有的手指保持力量來握持設(shè)備，這不可避免地限制了用戶手指在不受約束時可以實現(xiàn)的動作和輸入范圍。” 研究團隊在論文中指出。

“再如，比較熱門的數(shù)據(jù)手套，它雖然可以實現(xiàn)手的自然使用，擁有手部動作跟蹤、手勢識別和觸覺反饋等功能，但缺點是，這類手套通常很笨重、穿戴不方便。這些因素在用戶體驗中起到不可忽視的負(fù)面作用。” 論文提到，它和手持控制器都面臨著小型化、輕量化的挑戰(zhàn)。

隨著VR技術(shù)在數(shù)據(jù)分析、藝術(shù)創(chuàng)作、醫(yī)療培訓(xùn)等領(lǐng)域的廣泛應(yīng)用，既要滿足用戶對輸入精度的要求，又要輕巧方便，未來的VR交互模式是否還有更好的選擇？

握筆姿態(tài)與交互效率

如果人們留意吃飯時我們?nèi)绾问褂每曜樱蜁l(fā)現(xiàn)，這一過程中手指完成了一系列極為精細(xì)的動作。有意思的是，研究團隊受手指運動的啟發(fā)，聯(lián)想到，和筷子外形類似的筆作為常用的書寫工具，既需要運動手腕，也需要靈活的手指。

“將來人類面對空間交互，勢必要進行一些十分精準(zhǔn)的或精細(xì)的目標(biāo)選擇和操作，使用筆或許是更好的交互方式。”韓騰說。

中科院軟件所人機交互技術(shù)與智能信息處理實驗室在研究員戴國忠、田豐的帶領(lǐng)下，在筆式交互領(lǐng)域耕耘了幾十年。隨著VR、增強現(xiàn)實（AR）空間定位和傳感器等技術(shù)的成熟，筆式交互已經(jīng)不再局限于二維界面。

事實上，在VR中使用筆形態(tài)控制器的概念并不是全新的。2019年，羅技發(fā)布了一款名為“Logitech VR Ink Pilot Edition”的VR筆。這是世界上首款在三維空間中利用二維表面和空中畫面的VR筆，旨在幫助專業(yè)人士在VR中更容易地完成設(shè)計。

“但是，至今還沒有研究去挖掘筆在指向和選擇等基本的VR交互任務(wù)中到底表現(xiàn)如何，特別是和其他手持控制器相比有什么優(yōu)勢。” 韓騰解釋，這是團隊進行該研究的初衷。

研究人員首先在實驗中創(chuàng)造性地研究了不同的握筆姿勢對手腕和手指運動的影響，比如運動范圍和舒適度。不同的握持姿勢不僅會對手指的伸展，而且會對手腕增加各種約束。

研究結(jié)果發(fā)現(xiàn)，在5種常見的握筆姿勢中，筆桿末端握法最有助于手指的整體運動，并且可以促進基于筆的VR界面的更大范圍輸入。

筆輸入可以在VR中進行精確的繪圖和書寫，但其在常規(guī)界面任務(wù)中的性能還有待評估。于是，在接下來的實驗中，研究人員想知道筆桿末端握法在VR目標(biāo)選擇任務(wù)中的效率如何，包括近距離點選操作與遠(yuǎn)距離的射線選擇。為此，研究人員把它與典型的手柄握姿進行了對比。

為了指導(dǎo)研究設(shè)計，他們分析了商用VR設(shè)備中用于菜單和對象選擇任務(wù)的現(xiàn)有界面隱喻和手勢，從而確定了兩個典型手勢：戳和抖動。

結(jié)果表明，筆桿末端握法不僅能有效縮短手勢的目標(biāo)選擇時間，并且戳的手勢還不易出錯。唯一的不足是，長時間使用這一動作容易帶來疲勞。

受此啟發(fā)，團隊還研究了如何將兩種姿態(tài)結(jié)合起來，從而在使用筆輸入時帶來更好的用戶體驗。要做到這一點，關(guān)鍵是在不同的抓握姿勢之間進行轉(zhuǎn)換。這就提供了新的交互機會，比如輸入模式的切換。

除此之外，研究還通過展示筆勢操作、手眼一致性等應(yīng)用場景，探討了在VR下基于筆輸入的交互設(shè)計以及潛在的交互可能。

論文匿名評審專家指出，這是一篇比較經(jīng)典的CHI論文，實驗設(shè)計清晰合理。“它研究了一種潛在的方法提高VR環(huán)境中空間交互的靈活性，而在此之前研究界尚未對這種交互方法進行過系統(tǒng)研究。”評審專家認(rèn)為，該研究有望為進一步研究和設(shè)計VR筆提供基礎(chǔ)。

筆式交互的漫漫征途

該研究中，研究人員制作了一支3D打印筆，它的外形與普通筆類似。不過，韓騰表示，VR筆形態(tài)控制器還鮮有商用產(chǎn)品，因為現(xiàn)階段它的缺點和優(yōu)點一樣明顯。

“手持控制器可以通過按鍵實現(xiàn)多種交互功能，目前VR筆形態(tài)控制器能做到的要遠(yuǎn)遠(yuǎn)少于前者。未來，如何在設(shè)置較少按鍵的情況下，通過交互設(shè)計來完成大部分VR的交互任務(wù)，彌補筆形態(tài)控制器本身缺乏功能按鍵的短板，是研究團隊進一步關(guān)注的問題。”

他還提到，觸覺反饋是近年來人機交互領(lǐng)域研究的大熱點。如何讓用戶使用VR筆在完成目標(biāo)任務(wù)后獲得物理反饋，也是未來提高用戶體驗的重要環(huán)節(jié)。此外，既要實現(xiàn)功能的多樣性，又要充分體現(xiàn)筆形態(tài)的優(yōu)勢，這一技術(shù)同樣面臨小型化的挑戰(zhàn)。

一直以來，筆式交互都不是主流。喬布斯曾說過“最好的手寫筆是手指”，觸控設(shè)備多一個手寫筆，反而會給用戶帶來額外的“麻煩”。

戴國忠曾多次提到，由于這個原因，平板常常被定位為放大版的手機，這一度讓它失去更大的發(fā)展空間。直到平板朝著移動化辦公定位，致力于完成各種專業(yè)的精細(xì)的任務(wù)，而不再僅是進行社交、游戲等活動，觸控筆的重要性由此凸顯。

2015年，蘋果為iPad Pro配備了第一代觸控筆Apple Pencil。今年，美國專利商標(biāo)局發(fā)布了一項與Apple Pencil相關(guān)的蘋果新專利。Apple Pencil可以不依賴特定的表面進行輸入，同時還可用于VR創(chuàng)作。

互聯(lián)網(wǎng)巨頭越來越意識到筆式交互的重要。田豐團隊也認(rèn)為，在可以預(yù)見的未來，筆在空間交互中會得到更為普遍的認(rèn)可。

從原始鼠標(biāo)、機械鼠標(biāo)、光電鼠標(biāo)再到如今的觸控反饋，這一經(jīng)典的輸入通道也經(jīng)歷了一代又一代的更替才修成正果。筆式交互要想贏得一個全新的時代，漫漫征途才剛剛開始。

來源：中國科學(xué)報 作者：胡珉琦