Notifications
Article
Implementation and Evaluation of Multi-User Mind Map Authoring System Using Virtual Reality and Hand Gestures, MMVR: ジェスチャを利用した仮想空間上での
多人数向けマインドマップツールの実装と評価
Updated 10 months ago
67
0
2017年 電気通信大学 博士前期課程 修士論文

概要 - Abstruct

本研究では、問題解決を考える際に使われる発想法であるマインドマップを図解化を支援するシステムにおいて、紙媒体、従来のデスクトップ上の支援システムでの問題点を解決するため、バーチャルリアリティを活用したマインドマップ支援システム、MMVRを提案、作成し、その有用性を実験を通し評価した。 MMVR は、ヘッドマウントディスプレイ(HMD)、ハンドモーショントラッカーを使い、Unity 上で構築した仮想空間でラベルの操作を行うことにより作業空間をより広く確保し、また、ハンドジェスチャを活用することにより、ラベルの操作切り替えにかかる時間を減らして、マインドマップを支援するシステムである。MMVRでは握る、線を引く、スワイプ、ピンチインアウトの4 種のジェスチャを使い、ラベル、グループ、関係線、GUIを操作することによってマインドマッピングを仮想空間上で行う。 本研究では、MMVRの有用性を既存の方法である紙媒体での作業とデスクトップ上でのシステムと比較実験を行い有用性を評価した。その結果、グループの解除、関係線の削除のタスクにおいてMMVRは既存の手法に比べ早く作業を行う事ができ、実作業空間を広げる事無く多くのラベルを扱えるためラベル1枚あたりの移動時間も少なく抑えられることがわかった。
We propose a mind map manipulation system, named MMVR. This system allows multiple users to edit a mind map by using hand gestures and to share it in virtual reality space. To implement the system, we leveraged a hand gesture tracker for quick, easy, and correct handling of mind map elements and a head-mounted display (HMD) for providing a wider workspace than a standard PC’s screen. We conducted experiments to compare our system with conventional desktop-based software under single- and multi-user conditions.

実装と仕様 - Implementation and Specification

MMVRではマインドマップの構成要素をセントラルイメージ(中央に表示するメインとなるテーマ)、ブランチ(セントラルイメージやブランチから伸びる枝)、キーワード(ブランチの上に付随するテキスト)、キーイメージ(ブランチの上に付随する画像)と定義し、そこにハンドジェスチャを入力することで操作を実現している。なお、これらは以下オブジェクトと呼ぶ。
この内、セントラルイメージの周囲、ブランチの先端と中央にはそれぞれジェスチャ領域(Gesture areas)と呼ばれるGameObjectが用意されており、指先の判定用Colliderをジェスチャ中にこのGameObejctに接触させる事でそれぞれの操作が可能になっている。
用意した操作は
  • Grab: 人差し指を伸ばしてジェスチャ領域の上で握る
  • Tap: ジェスチャ領域に人差し指で触る
  • Drag: Tap後に人差し指を伸ばしたまま移動する
  • Double Tap: Drag中に再度起点のジェスチャ領域に触る
  • Two Finger Tap: 人差し指と中指を立て人差し指をジェスチャ領域に触る
の5つを用意した。なお、この操作はいずれもLeap Motionのライブラリを使い実現した。
また、これにより可能な操作は
  • キーワード・キーイメージ付きブランチの作成: セントラルイメージやブランチの先端のジェスチャ領域にTapもしくはDouble Tapし、Dragしてブランチを作成する。その後音声入力が始まり、発話内容をGoogle Speech APIでテキスト化し、Drag時の操作がTapであればそのテキストをキーワードとして、Double TapであればGoogle Custom Searchで発話内容を画像で検索し、キーイメージとしてその画像を配置する。
  • ブランチの移動: ブランチの先端にあるジェスチャ領域をGrabした状態で手を移動させる。
  • ブランチの削除: ブランチ中央のジェスチャ領域をTwo Finger Tapする。
  • キーワード・キーイメージの変更: ブランチ中央のジェスチャ領域にTapもしくはDouble Tapし、その後ブランチの作成と同じ手順で内容を変更する。
である。
なお、複数人の使用についてはUNETを使用した。端末同士をLANケーブル等で繋ぎ、同じワークスペースを各ユーザが操作できるようになっている。オブジェクトの位置同期にはNetworkTransform、内容の同期は各オブジェクトに割り振った固有のIDを元に各オブジェクトの内容情報をXMLファイルにし、それをメッセージで送信し同期している。
また、本システムはUnity5.6.2、音声解析にGoogle Speech API、画像検索にGoogle Custom Search APIを使用し、デバイスはHMDにHTC Vive、ハンドトラッカーにLeap Motionを使用している。

ブランチ作成の様子 - Video of Creating Branch


過去の発表 - Past Presentation

本研究はデモ発表をヒューマンインターフェースシンポジウム2016、IEEE GCCE 2017にて行った。 I conducted demo and presentation on Human Interface Symposium 2016 and IEEE GCCE 2017.

Masayuki Miyasugi
大学職員(University staff) - Other
1
Comments