「VR」カテゴリーアーカイブ

Unityからペンタブレットのマルチタッチ機能を利用する方法

2015-12-07 waffle_maker コメントする

この記事はOculus Rift Advent Calendar 2015の6日目です。

はじめに

ペンタVRというVRお絵描きツールを開発しているのですが、今回はお絵描き以外でも使えそうなペンタブレットのマルチタッチ機能の利用方法についてご紹介させていただきます。

ペンタブレットのマルチタッチ機能が使えると何が嬉しいかというと、既に絵描きさんの間に広く普及していおり、同じ理由で比較的安価に入手することができます。
また、iOS/Androidのタブレットで実装する場合と比較すると、iOS/Android側からPCに情報を送信するアプリを別途開発する必要がないため、実装は少なくて済みます。

※もちろんペンで直接お絵描きできますが、それについてはこちらを参照ください。

今回は、Unity 5.0.3p3 64ビット版とWACOM Intuos Proを使用します。

マルチタッチをC#から利用する方法については以下の記事を参考にしました。

マルチタッチの基本部分を実装してみる

2つめの記事からサンプルコードをダウンロードして、下記クラスをプロジェクトに追加します。

FeelMultiTouchAPIConst.cs
MemoryUtil.cs
MTAPI.cs

上記のクラスはそのまま使えますが、初期化などは下記コードを参考にして、TabletTouchクラスとして実装します。

MainWindow.xaml.cs

クラスフィールド

そのままコピペで大丈夫です。

    // タブレットデバイスのID配列
    private int[] mIdArray = null;

    // 選択しているタブレットデバイスの情報
    private WacomMTCapability mCapability;

    // ウインドウハンドル
    private IntPtr mHwnd = IntPtr.Zero;

    private int mSelectedDeviceID = -1;
    private IntPtr mHitRectPtr = IntPtr.Zero;
    private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

    // 設定中のウインドウハンドル
    private IntPtr mSelectedHwnd = IntPtr.Zero;
    // 設定中のフィンガーコールバック
    private WMT_FINGER_CALLBACK mFingerCallback = null;

// タブレットデバイスのID配列

private int[] mIdArray = null;

// 選択しているタブレットデバイスの情報

private WacomMTCapability mCapability;

// ウインドウハンドル

private IntPtr mHwnd = IntPtr.Zero;

private int mSelectedDeviceID = -1;

private IntPtr mHitRectPtr = IntPtr.Zero;

private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

// 設定中のウインドウハンドル

private IntPtr mSelectedHwnd = IntPtr.Zero;

// 設定中のフィンガーコールバック

private WMT_FINGER_CALLBACK mFingerCallback = null;

UpdateDeviceListメソッド

UpdateDeviceListメソッドは、リストボックスにデバイス一覧を表示する機能ですが、今回はリストボックスを使用せずデバッグログのみ出力します。
また、後ほど最初に見つかったデバイスを利用するように実装したいと思います。

    private void UpdateDeviceList()
    {
        // タブレットデバイスのID取得.
        mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

        // IDからタブレットデバイスをリストアップする.
        foreach (UInt32 i in mIdArray)
        {
            string devName = "Tablet Device #" + i;
            Debug.Log(devName);
        }
    }

private void UpdateDeviceList()

{

// タブレットデバイスのID取得.

mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

// IDからタブレットデバイスをリストアップする.

foreach (UInt32 i in mIdArray)

{

string devName = "Tablet Device #" + i;

Debug.Log(devName);

}

MainWindowメソッド

MainWindowメソッドはコンストラクタですが、Unityのライフサイクルに則りAwakeメソッドとして実装しましょう。

    public void Awake()
    {
        // MultiTouchAPIの初期化.
        try
        {
            // TouchAPIの初期化処理.
            WacomMTError res = MTAPI.WacomMTInitialize();

            if (res == WacomMTError.WMTErrorSuccess)
            {
                // タブレット一覧の更新
                UpdateDeviceList();
            }
            else
            {
                // 初期化処理に失敗.
                throw new Exception("WacomMTInitialize error : " + res);
            }
        }
        catch (Exception ex)
        {
            // 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.
            Debug.LogError(ex.Message);
        }
    }

public void Awake()

{

// MultiTouchAPIの初期化.

try

{

// TouchAPIの初期化処理.

WacomMTError res = MTAPI.WacomMTInitialize();

if (res == WacomMTError.WMTErrorSuccess)

{

// タブレット一覧の更新

UpdateDeviceList();

}

else

{

// 初期化処理に失敗.

throw new Exception("WacomMTInitialize error : " + res);

}

catch (Exception ex)

{

// 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.

Debug.LogError(ex.Message);

}

UnregisterEventメソッド

UnregisterEventメソッドは、マルチタッチ機能の終了処理です。
見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void UnregisterEvent()
    {
        if (mSelectedHwnd != IntPtr.Zero)
        {
            MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);
            mSelectedHwnd = IntPtr.Zero;
        }
        if (mFingerCallback != null)
        {
            MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);
            mFingerCallback = null;
        }

        // HitRectの開放
        if (mHitRectPtr != IntPtr.Zero)
        {
            MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);
        }

        mSelectedDeviceID = -1;
    }

private void UnregisterEvent()

{

if (mSelectedHwnd != IntPtr.Zero)

{

MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);

mSelectedHwnd = IntPtr.Zero;

}

if (mFingerCallback != null)

{

MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);

mFingerCallback = null;

}

// HitRectの開放

if (mHitRectPtr != IntPtr.Zero)

{

MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);

}

mSelectedDeviceID = -1;

}

MainWindow_Closingメソッド

MainWindow_Closingメソッドは、OnDisableメソッドに置き換えます。

    public void OnDisable()
    {
        UnregisterEvent();
    }

public void OnDisable()

{

UnregisterEvent();

}

RegisterEventメソッド

RegisterEventメソッドは、マルチタッチ機能の開始処理です。
今回は、モードはWMTProcessingModeNoneに、イベントタイプはコールバックを残して削除します。
また、見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void RegisterEvent()
    {
        // タッチデバイスのイベント解除
        UnregisterEvent();

        try
        {
            // タブレットの情報を取得し、画面上に表示する
            mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

            // 選択中のタッチデバイスのID
            mSelectedDeviceID = mCapability.DeviceID;

            // モードの選択
            {
                // モードをWMTProcessingModeNoneに設定
                mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;
            }

            // イベントのタイプを選択
            {
                // タッチエリアの設定
                WacomMTHitRect hr;
                hr.originX = 0;
                hr.originY = 0;
                hr.width = (float)tabletWidth;
                hr.height = (float)tabletHeight;

                mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

                // コールバックの設定
                mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);
                MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);
            }
        }
        catch (Exception ex)
        {
            Debug.LogError("RegisterEvent : " + ex.Message);
        }
    }

private void RegisterEvent()

{

// タッチデバイスのイベント解除

UnregisterEvent();

try

{

// タブレットの情報を取得し、画面上に表示する

mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

// 選択中のタッチデバイスのID

mSelectedDeviceID = mCapability.DeviceID;

// モードの選択

{

// モードをWMTProcessingModeNoneに設定

mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

}

// イベントのタイプを選択

{

// タッチエリアの設定

WacomMTHitRect hr;

hr.originX = 0;

hr.originY = 0;

hr.width = (float)tabletWidth;

hr.height = (float)tabletHeight;

mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

// コールバックの設定

mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);

MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);

}

catch (Exception ex)

{

Debug.LogError("RegisterEvent : " + ex.Message);

}

MainWindow_Loadedメソッド

MainWindow_Loadedメソッドは、OnEnableメソッドに置き換えます。

    public void OnEnable()
    {
        RegisterEvent();
    }

public void OnEnable()

{

RegisterEvent();

}

wmtFingerCallbackメソッド

wmtFingerCallbackメソッドは、タブレットに触れている間のみコールバックが呼び出されます。
ただし、コールバックメソッド内はメインスレッドではなく、Unityの機能が利用できないため、受け取った情報をフィールドに保持しておきます。
また、コールバックとUpdateメソッドでは呼ばれるタイミングが異なるため、受け取った情報に更新があるかどうかをフラグに持たせます。

    private WacomMTFinger[] fingers;
    private bool isFingersChanged;

    /// <summary>
    /// フィンガーデータのコールバック
    /// </summary>
    /// <param name="fingerPacket"></param>
    /// <param name="userData"></param>
    /// <returns></returns>
    private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)
    {
        // コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう
        WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));
        fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);
        isFingersChanged = true;
        return 0;
    }

private WacomMTFinger[] fingers;

private bool isFingersChanged;

/// <summary>

/// フィンガーデータのコールバック

/// </summary>

/// <param name="fingerPacket"></param>

/// <param name="userData"></param>

/// <returns></returns>

private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)

{

// コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう

WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));

fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);

isFingersChanged = true;

return 0;

}

マルチタッチの可視化とタップの検出

ここからは重要では無いのですが・・・

TouchButtonクラス

作成したボタンにはTouchButtonコンポーネントをアタッチしておきます。
OnTapメソッドを作成し、呼び出されたらデバッグログを出力するようにしておきます。

using UnityEngine;
using System.Collections;

public class TouchButton : MonoBehaviour {
    public void OnTap() {
        Debug.Log(name + " OnTap.");
    }
}

using UnityEngine;

using System.Collections;

public class TouchButton : MonoBehaviour {

public void OnTap() {

Debug.Log(name + " OnTap.");

}

マルチタッチの可視化

フィールドに保持したマルチタッチ情報を可視化します。
プロットする指の数は毎フレーム異なるため、GameObjectを使用せず、DrawMeshメソッドで直接描画を行っています。
なお、マトリックスからトランスフォームを取り出すのにはこちらを参考にしました。

    public int tabletWidth = 640;
    public int tabletHeight = 480;
    public float guiWidth = 0.1f;
    public float guiHeight = 0.075f;
    public LayerMask layerMask;
    public Material cursorMaterial;
    public Mesh cursorMesh;

    public void Update()
    {
        // タッチの状態に変化が無い場合はスキップ.
        if (!isFingersChanged)
        {
            return;
        }

        // 指が1つも見つからない場合はスキップ.
        if (fingers == null || fingers.Length == 0)
        {
            return;
        }

        // 指を全て表示.
        foreach (WacomMTFinger finger in fingers)
        {
            // 指のマトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);
            Matrix4x4 matrix = matrix1 * matrix2;

            Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

        }

public int tabletWidth = 640;

public int tabletHeight = 480;

public float guiWidth = 0.1f;

public float guiHeight = 0.075f;

public LayerMask layerMask;

public Material cursorMaterial;

public Mesh cursorMesh;

public void Update()

{

// タッチの状態に変化が無い場合はスキップ.

if (!isFingersChanged)

{

return;

}

// 指が1つも見つからない場合はスキップ.

if (fingers == null || fingers.Length == 0)

{

return;

}

// 指を全て表示.

foreach (WacomMTFinger finger in fingers)

{

// 指のマトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);

Matrix4x4 matrix = matrix1 * matrix2;

Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

}

タップの検出

最初に検出した指でタップ処理を実装します。
可視化で使用したのと同様のマトリクスを元にRayを飛ばしてボタンを特定し、さらに指を離した際にボタンのOnTapメソッドを呼び出しています。

        // 1つめの指を採用.
        {
            WacomMTFinger finger = fingers[0];

            // レイの発信元マトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);
            Matrix4x4 matrix = matrix1 * matrix2;

            // マトリクスからレイの発信元トランスフォームを取得.
            Vector3 position_ = GetPosition(matrix);
            Quaternion rotation_ = GetRotation(matrix);

            // レイを飛ばしてオブジェクトを特定.
            Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;
            Vector3 dir = rotation_ * Vector3.forward * 0.25f;
            float maxDistance = 0.5f;
            dir.Normalize();
            Ray ray = new Ray(origin, dir);
            //Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);
            RaycastHit hitInfo;
            bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

            if (isHit)
            {
                TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

                // タッチリリース時にタップイベントを発生させる.
                if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)
                {
                    button.OnTap();
                }
            }
        }
        isFingersChanged = false;
    }

// 1つめの指を採用.

{

WacomMTFinger finger = fingers[0];

// レイの発信元マトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);

Matrix4x4 matrix = matrix1 * matrix2;

// マトリクスからレイの発信元トランスフォームを取得.

Vector3 position_ = GetPosition(matrix);

Quaternion rotation_ = GetRotation(matrix);

// レイを飛ばしてオブジェクトを特定.

Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;

Vector3 dir = rotation_ * Vector3.forward * 0.25f;

float maxDistance = 0.5f;

dir.Normalize();

Ray ray = new Ray(origin, dir);

//Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);

RaycastHit hitInfo;

bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

if (isHit)

{

TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

// タッチリリース時にタップイベントを発生させる.

if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)

{

button.OnTap();

}

isFingersChanged = false;

}

シーンの構成

以下の様にシーンに、TabletTouchオブジェクトと、その子としてTouchButtonオブジェクトを作成し、各コンポーネントをアタッチします。

実行すると、マルチタッチの可視化と、タップの検出が出来ていることが確認できます。

やったー！

最後に

このようにUnityから簡単にマルチタッチ機能を実装することができました。

ただし、VRで使う場合は、以下の様な欠点がありますが、そこは使い所と工夫次第なのかなと思います。

タブレット自体の位置や傾きが取れない
タブレットに触れるまで指を検出できない

もし面白いVRコンテンツを思いついたらご相談ください。
技術的な協力など出来るかもしれません。

次は、pafuhana1213さんの2015年の私とOculusRift　 (VRに関する資料・投稿記事・作品まとめ)です。

Oculus Rift, Unity, VR

フェードイン/フェードアウトを実装してみる

2015-09-07 waffle_maker コメントする

はじめに

目の前に半透明の板を置く方式で、フェードイン/フェードアウトを実装してみました。
フェード中の判定や、フェード完了コールバックも用意しています。

前提条件

Unity 5.0.3p3
Oculus Unity Integration 0.6.0.0

使い方

OVRFadeコンポーネントをOVRCameraRigにアタッチ
1. Fade Materialには、同梱のAlphaFadeを指定して下さい。
2. Modeには、Alphaを指定して下さい。
スクリプトからフェードアウト/フェードインのメソッドをコール

using UnityEngine;
using System.Collections;

public class ExampleManager : MonoBehaviour {

    private OVRFade fade;

    // Use this for initialization
    void Start () {
        fade = FindObjectOfType<OVRFade>();

        // 最初にフェードイン.
        fade.FadeIn(Color.black, 0.5f);
    }
    
    // Update is called once per frame
    void Update () {
        // サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

        // フェードアウトしてアプリを終了.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.Quit();
            });
        }

        // フェードアウトしてシーンを移動.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.LoadLevel(Application.loadedLevel);
            });
        }

        // 3秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F1)){
            fade.FadeOut(Color.white, 3);
        }
        
        // 1秒かけてホワイトイン
        if(Input.GetKeyUp(KeyCode.F2)){
            fade.FadeIn(Color.white, 1);
        }
        
        // 2秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F3)){
            fade.FadeOut(Color.black, 2);
        }
        
        // 5秒かけてブラックアウト
        if(Input.GetKeyUp(KeyCode.F4)){
            fade.FadeIn(Color.black, 5);
        }
        
        // 5秒かけてブラックアウト/ブラックイン
        if(Input.GetKeyUp(KeyCode.F5)){
            Debug.Log("Fade Out/In Start.");
            fade.FadeOutIn(Color.black, 5);
        }
        
        // 3秒かけてピンクアウト/ピンクイン
        if(Input.GetKeyUp(KeyCode.F6)){
            fade.FadeOutIn(new Color(1,0.25f,1), 3);
        }
        
        // フェードアウト中に左に移動.
        if(Input.GetKeyUp(KeyCode.LeftArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(-1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
        if(Input.GetKeyUp(KeyCode.RightArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
    }
}

using UnityEngine;

using System.Collections;

public class ExampleManager : MonoBehaviour {

private OVRFade fade;

// Use this for initialization

void Start () {

fade = FindObjectOfType<OVRFade>();

// 最初にフェードイン.

fade.FadeIn(Color.black, 0.5f);

}

// Update is called once per frame

void Update () {

// サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

// フェードアウトしてアプリを終了.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.Quit();

});

}

// フェードアウトしてシーンを移動.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.LoadLevel(Application.loadedLevel);

});

}

// 3秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F1)){

fade.FadeOut(Color.white, 3);

}

// 1秒かけてホワイトイン

if(Input.GetKeyUp(KeyCode.F2)){

fade.FadeIn(Color.white, 1);

}

// 2秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F3)){

fade.FadeOut(Color.black, 2);

}

// 5秒かけてブラックアウト

if(Input.GetKeyUp(KeyCode.F4)){

fade.FadeIn(Color.black, 5);

}

// 5秒かけてブラックアウト/ブラックイン

if(Input.GetKeyUp(KeyCode.F5)){

Debug.Log("Fade Out/In Start.");

fade.FadeOutIn(Color.black, 5);

}

// 3秒かけてピンクアウト/ピンクイン

if(Input.GetKeyUp(KeyCode.F6)){

fade.FadeOutIn(new Color(1,0.25f,1), 3);

}

// フェードアウト中に左に移動.

if(Input.GetKeyUp(KeyCode.LeftArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(-1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

if(Input.GetKeyUp(KeyCode.RightArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

ダウンロード

OVRFade_1.1.0.zip - 1.1.0

Oculus Rift, Unity, VR

ペンタVRの実装方式について

2015-10-01 waffle_maker 3件のコメント

ペンタVRとは？

VRHMDとペンタブレットを利用して、仮想空間でお絵描きをする仕組みのことです。

発端となったのは、よー清水さんの下記ツイート

VRエンジニアの皆様にはぜひこういう、仮想空間で快適な創作環境を作ってくれるシステムを実現して欲しいです pic.twitter.com/4QJOgSa6tD

— Yo_Shimizu よー清水 (@you629) January 15, 2015

ペンタVRの海外向けイメージ。このシステムの最大のメリットは、周囲の環境を参考にすることはもちろん、任意の位置に資料や３Dモデル、アニメーションを配置して、原寸の大きさを感じて創作に生かすことができる点です。#ペンタVR pic.twitter.com/ZS2a5pMBrh

— Yo_Shimizu よー清水 (@you629) January 19, 2015

一連の流れは、栗坂こなべさんが纏めてくれています。

よー清水さんの提案する仮想空間お絵描きVRシステムと実現方法について #ペンタVR

最新の情報はTwitterのハッシュタグ #ペンタVR で確認できます。

ペンタブレットの基本的な使い方、各部名称についてはこちら

ペンタブレット-基本的な使い方

開発環境

OS : Windows
ゲームエンジン : Unity
VRHMD : Oculus Rift
ペンタブレット : Intuos

どうやって実現するか？

ペンタブレットの情報を取得する方法

マウスの座標を利用
Unity標準のInput.mousePositionからマウスの座標として取得することが出来ます。
筆圧などの付加情報が不要な場合はこちらでも良いではないでしょうか。
Wintab APIを利用 ※こちらを採用しました。
WACOMさんが提供しているWintab APIを利用することで、各種情報を取得することが出来ます。
各種情報はWindowsメッセージとして送られてきますが、UnityからWindowsメッセージを取得するには一工夫必要になります。
おまけ：Macの場合
マウスイベントに筆圧情報が入ってくる様ですが、Unityから利用するにはNative Pluginの実装が必要となりそうです。
- Macintosh Developer’s Guide to the Wacom Tablet

ペンタブレットを位置を現実とVRで関連づける方法

多くのOculus Rift向けVRコンテンツでは、仮想空間内のカメラ位置にプレイヤーを一致させますが、
今回は、タブレットの上部にOculus Riftの赤外線カメラを固定することで、現実の赤外線カメラとHMDの相対位置をそのまま仮想空間に持ち込みます。
これにより、現実と仮想空間でタブレットの位置を一致させることが出来ます。
ただし、タブレットの傾きは反映されません。

キャンバスを管理する方法

キャンバスの管理方法は、大まかに2つに分類できます。

既存のお絵描きアプリでキャンバスを管理
デスクトップのキャプチャ画像をテクスチャに貼り付ける方式です。
既存のお絵描きアプリの機能をそのまま仮想空間に持ち込むことが出来ますが、現状では遅延が大きく使い物にならないようです。
- キャプチャアプリからGPU側のテクスチャ情報を直接更新できれば、遅延が改善するかも知れません。
- 平面のお絵描きに限定すれば、APIを提供することでお絵描きアプリ側にペンタVR連携機能を組み込むことが出来る可能性があります。
新規のVRアプリでキャンバスを管理 ※こちらを採用しました。
ゲームエンジンの機能を利用してテクスチャの更新を行う方式です。
お絵描きアプリをフルスクラッチで実装するような手間が掛かりますが、VRならではの表現を行いやすいメリットがあります。

具体的な実装方法については次回以降に行いたいと思います。

Unity, VR

Curvyでドリフト移動してみる

2015-08-08 waffle_maker コメントする

はじめに

Curvy¹とは、Unity²上でスプラインカーブを扱うAssetです。
また、付属のFollowSpline³コンポーネントをアタッチすると、スプラインカーブに沿ってオブジェクトを移動することが出来ます。

Curvy

しかし、Curvyではコントロールポイントの向きがオブジェクトに反映されません。
以下の例のように、自動車のドリフトや、正面を向いたまま飛び降りさせることができません。

これにより、移動方向に向かって予め振り向かせることで、VR酔いの低減が期待できます。

実装してみる

方法としては、コントロールポイントのScaleを補完する機能があるため、これを複製してコントロールポイントのRotationを補完する機能を追加します。

InterpolateScaleメソッドを改造したInterpolateRotation関数を実装する。

CurvySplineBase.csに下記コードを追加

public virtual Quaternion InterpolateRotation(float tf) { return Quaternion.identity; }

1	public virtual Quaternion InterpolateRotation(float tf) { return Quaternion.identity; }

CurvySpline.csに下記コードを追加

public override Quaternion InterpolateRotation(float tf)
{
    float localF;
    CurvySplineSegment seg = TFToSegment(tf, out localF);
    return seg.InterpolateRotation(localF);
}

public override Quaternion InterpolateRotation(float tf)

{

float localF;

CurvySplineSegment seg = TFToSegment(tf, out localF);

return seg.InterpolateRotation(localF);

}

CurvySplineGroup.csに下記コードを追加

public override Quaternion InterpolateRotation(float tf)
{
    float localTF;
    CurvySpline spl = TFToSpline(tf, out localTF);
    return spl.InterpolateRotation(localTF);
}

public override Quaternion InterpolateRotation(float tf)

{

float localTF;

CurvySpline spl = TFToSpline(tf, out localTF);

return spl.InterpolateRotation(localTF);

}

CurvySplineSegment.csに下記コードを追加

public Quaternion InterpolateRotation(float localF)
{
    Transform T = NextTransform;
    return (T) ? Quaternion.Lerp(Transform.localRotation, T.localRotation, localF) : Transform.localRotation;
}

public Quaternion InterpolateRotation(float localF)

{

Transform T = NextTransform;

return (T) ? Quaternion.Lerp(Transform.localRotation, T.localRotation, localF) : Transform.localRotation;

}

FollowSplineRotationコンポーネントを実装する。

FollowSplineRotation.csを新規作成

using UnityEngine;
using System.Collections;
using FluffyUnderware.Curvy;

[RequireComponent(typeof (FollowSpline))]
public class FollowSplineRotation : MonoBehaviour {

    private FollowSpline follow;
    private CurvySplineBase spline;

    // Use this for initialization
    void Start () {
        follow = GetComponent();
        spline = follow.Spline;
    }

    // Update is called once per frame
    void Update () {
        transform.rotation = spline.InterpolateRotation (follow.CurrentTF);
    }
}

using UnityEngine;

using System.Collections;

using FluffyUnderware.Curvy;

[RequireComponent(typeof (FollowSpline))]

public class FollowSplineRotation : MonoBehaviour {

private FollowSpline follow;

private CurvySplineBase spline;

// Use this for initialization

void Start () {

follow = GetComponent();

spline = follow.Spline;

}

// Update is called once per frame

void Update () {

transform.rotation = spline.InterpolateRotation (follow.CurrentTF);

}

使い方

FollowSplineをアタッチしてSet Orientationのチェックを外す
FollowSplineOrientationをアタッチする

Unity Pro 5.0.2p3で確認しました。 ↩
Curvy 1.61fで確認しました。 ↩
SplineWalker、SplineWalkerDistance、SplineWalkerConは古いコンポーネントなので使わないようにしましょう。 ↩