UnityからWintab APIを利用する方法

2015-10-01 waffle_maker 1件のコメント

WintabをC#から利用する方法については以下の記事を参考にしました。

上記の記事で提供されているソースコードはほぼ改変の必要ありませんが、一点だけ問題があります。
UnityのC#ではウインドウプロシージャが存在しないため、別の方法でWindowsメッセージを受信する必要があります。

そこで、以下の様にuser32.dllをDLLImportすることで、UnityからWindowsメッセージを受信することが出来ます。
※ただし、32ビット版のUnityエディタでしか動作しません。

using UnityEngine;
using System.Collections;
using System;
using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

    [DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]
    public static extern System.IntPtr GetForegroundWindow();

    [DllImport("user32.dll")]
    static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);
    
    [DllImport("user32.dll")]
    static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);
    
    [System.Runtime.InteropServices.DllImport("user32.dll")]
    private static extern System.IntPtr GetActiveWindow();

    private IntPtr hMainWindow;
    private IntPtr oldWndProcPtr;
    private IntPtr newWndProcPtr;
    private WndProcDelegate newWndProc;

    // Use this for initialization
    void Start () {
        // ウインドウハンドルの取得
        IntPtr hWnd = GetWindowHandle ();

        // ウインドウプロシージャをフックする
        hMainWindow = GetForegroundWindow();
        newWndProc = new WndProcDelegate(wndProc);
        newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);
        oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);
    }
    
    // Update is called once per frame
    void Update () {
    
    }

    public static System.IntPtr GetWindowHandle() {
        return GetActiveWindow();
    }

    private static IntPtr StructToPtr(object obj)
    {
        var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));
        Marshal.StructureToPtr(obj, ptr, false);
        return ptr;
    }
    
    private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)
    {
        Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

        return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);
    }

    void OnDisable () {
        SetWindowLong(hMainWindow, -4, oldWndProcPtr);
        hMainWindow = IntPtr.Zero;
        oldWndProcPtr = IntPtr.Zero;
        newWndProcPtr = IntPtr.Zero;
        newWndProc = null;
    }
}

using UnityEngine;

using System.Collections;

using System;

using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

[DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]

public static extern System.IntPtr GetForegroundWindow();

[DllImport("user32.dll")]

static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);

[DllImport("user32.dll")]

static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);

[System.Runtime.InteropServices.DllImport("user32.dll")]

private static extern System.IntPtr GetActiveWindow();

private IntPtr hMainWindow;

private IntPtr oldWndProcPtr;

private IntPtr newWndProcPtr;

private WndProcDelegate newWndProc;

// Use this for initialization

void Start () {

// ウインドウハンドルの取得

IntPtr hWnd = GetWindowHandle ();

// ウインドウプロシージャをフックする

hMainWindow = GetForegroundWindow();

newWndProc = new WndProcDelegate(wndProc);

newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);

oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);

}

// Update is called once per frame

void Update () {

}

public static System.IntPtr GetWindowHandle() {

return GetActiveWindow();

}

private static IntPtr StructToPtr(object obj)

{

var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));

Marshal.StructureToPtr(obj, ptr, false);

return ptr;

}

private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)

{

Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);

}

void OnDisable () {

SetWindowLong(hMainWindow, -4, oldWndProcPtr);

hMainWindow = IntPtr.Zero;

oldWndProcPtr = IntPtr.Zero;

newWndProcPtr = IntPtr.Zero;

newWndProc = null;

}

※参考にしたURLを紛失してしまったのですが、恐らくここを見て実装したと思われる。
http://forum.unity3d.com/threads/recieve-window_commands-in-unity.213741/

コンポーネントをGameObjectにアタッチして実行すると、以下の様なログが出力されます。

Oculus Rift, Unity, VR

フェードイン/フェードアウトを実装してみる

2015-09-07 waffle_maker コメントする

はじめに

目の前に半透明の板を置く方式で、フェードイン/フェードアウトを実装してみました。
フェード中の判定や、フェード完了コールバックも用意しています。

前提条件

Unity 5.0.3p3
Oculus Unity Integration 0.6.0.0

使い方

OVRFadeコンポーネントをOVRCameraRigにアタッチ
1. Fade Materialには、同梱のAlphaFadeを指定して下さい。
2. Modeには、Alphaを指定して下さい。
スクリプトからフェードアウト/フェードインのメソッドをコール

using UnityEngine;
using System.Collections;

public class ExampleManager : MonoBehaviour {

    private OVRFade fade;

    // Use this for initialization
    void Start () {
        fade = FindObjectOfType<OVRFade>();

        // 最初にフェードイン.
        fade.FadeIn(Color.black, 0.5f);
    }
    
    // Update is called once per frame
    void Update () {
        // サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

        // フェードアウトしてアプリを終了.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.Quit();
            });
        }

        // フェードアウトしてシーンを移動.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.LoadLevel(Application.loadedLevel);
            });
        }

        // 3秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F1)){
            fade.FadeOut(Color.white, 3);
        }
        
        // 1秒かけてホワイトイン
        if(Input.GetKeyUp(KeyCode.F2)){
            fade.FadeIn(Color.white, 1);
        }
        
        // 2秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F3)){
            fade.FadeOut(Color.black, 2);
        }
        
        // 5秒かけてブラックアウト
        if(Input.GetKeyUp(KeyCode.F4)){
            fade.FadeIn(Color.black, 5);
        }
        
        // 5秒かけてブラックアウト/ブラックイン
        if(Input.GetKeyUp(KeyCode.F5)){
            Debug.Log("Fade Out/In Start.");
            fade.FadeOutIn(Color.black, 5);
        }
        
        // 3秒かけてピンクアウト/ピンクイン
        if(Input.GetKeyUp(KeyCode.F6)){
            fade.FadeOutIn(new Color(1,0.25f,1), 3);
        }
        
        // フェードアウト中に左に移動.
        if(Input.GetKeyUp(KeyCode.LeftArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(-1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
        if(Input.GetKeyUp(KeyCode.RightArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
    }
}

using UnityEngine;

using System.Collections;

public class ExampleManager : MonoBehaviour {

private OVRFade fade;

// Use this for initialization

void Start () {

fade = FindObjectOfType<OVRFade>();

// 最初にフェードイン.

fade.FadeIn(Color.black, 0.5f);

}

// Update is called once per frame

void Update () {

// サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

// フェードアウトしてアプリを終了.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.Quit();

});

}

// フェードアウトしてシーンを移動.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.LoadLevel(Application.loadedLevel);

});

}

// 3秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F1)){

fade.FadeOut(Color.white, 3);

}

// 1秒かけてホワイトイン

if(Input.GetKeyUp(KeyCode.F2)){

fade.FadeIn(Color.white, 1);

}

// 2秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F3)){

fade.FadeOut(Color.black, 2);

}

// 5秒かけてブラックアウト

if(Input.GetKeyUp(KeyCode.F4)){

fade.FadeIn(Color.black, 5);

}

// 5秒かけてブラックアウト/ブラックイン

if(Input.GetKeyUp(KeyCode.F5)){

Debug.Log("Fade Out/In Start.");

fade.FadeOutIn(Color.black, 5);

}

// 3秒かけてピンクアウト/ピンクイン

if(Input.GetKeyUp(KeyCode.F6)){

fade.FadeOutIn(new Color(1,0.25f,1), 3);

}

// フェードアウト中に左に移動.

if(Input.GetKeyUp(KeyCode.LeftArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(-1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

if(Input.GetKeyUp(KeyCode.RightArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

ダウンロード

OVRFade_1.1.0.zip - 1.1.0

Oculus Rift, Unity, VR

ペンタVRの実装方式について

2015-10-01 waffle_maker 3件のコメント

ペンタVRとは？

VRHMDとペンタブレットを利用して、仮想空間でお絵描きをする仕組みのことです。

発端となったのは、よー清水さんの下記ツイート

VRエンジニアの皆様にはぜひこういう、仮想空間で快適な創作環境を作ってくれるシステムを実現して欲しいです pic.twitter.com/4QJOgSa6tD

— Yo_Shimizu よー清水 (@you629) January 15, 2015

ペンタVRの海外向けイメージ。このシステムの最大のメリットは、周囲の環境を参考にすることはもちろん、任意の位置に資料や３Dモデル、アニメーションを配置して、原寸の大きさを感じて創作に生かすことができる点です。#ペンタVR pic.twitter.com/ZS2a5pMBrh

— Yo_Shimizu よー清水 (@you629) January 19, 2015

一連の流れは、栗坂こなべさんが纏めてくれています。

よー清水さんの提案する仮想空間お絵描きVRシステムと実現方法について #ペンタVR

最新の情報はTwitterのハッシュタグ #ペンタVR で確認できます。

ペンタブレットの基本的な使い方、各部名称についてはこちら

ペンタブレット-基本的な使い方

開発環境

OS : Windows
ゲームエンジン : Unity
VRHMD : Oculus Rift
ペンタブレット : Intuos

どうやって実現するか？

ペンタブレットの情報を取得する方法

マウスの座標を利用
Unity標準のInput.mousePositionからマウスの座標として取得することが出来ます。
筆圧などの付加情報が不要な場合はこちらでも良いではないでしょうか。
Wintab APIを利用 ※こちらを採用しました。
WACOMさんが提供しているWintab APIを利用することで、各種情報を取得することが出来ます。
各種情報はWindowsメッセージとして送られてきますが、UnityからWindowsメッセージを取得するには一工夫必要になります。
おまけ：Macの場合
マウスイベントに筆圧情報が入ってくる様ですが、Unityから利用するにはNative Pluginの実装が必要となりそうです。
- Macintosh Developer’s Guide to the Wacom Tablet

ペンタブレットを位置を現実とVRで関連づける方法

多くのOculus Rift向けVRコンテンツでは、仮想空間内のカメラ位置にプレイヤーを一致させますが、
今回は、タブレットの上部にOculus Riftの赤外線カメラを固定することで、現実の赤外線カメラとHMDの相対位置をそのまま仮想空間に持ち込みます。
これにより、現実と仮想空間でタブレットの位置を一致させることが出来ます。
ただし、タブレットの傾きは反映されません。

キャンバスを管理する方法

キャンバスの管理方法は、大まかに2つに分類できます。

既存のお絵描きアプリでキャンバスを管理
デスクトップのキャプチャ画像をテクスチャに貼り付ける方式です。
既存のお絵描きアプリの機能をそのまま仮想空間に持ち込むことが出来ますが、現状では遅延が大きく使い物にならないようです。
- キャプチャアプリからGPU側のテクスチャ情報を直接更新できれば、遅延が改善するかも知れません。
- 平面のお絵描きに限定すれば、APIを提供することでお絵描きアプリ側にペンタVR連携機能を組み込むことが出来る可能性があります。
新規のVRアプリでキャンバスを管理 ※こちらを採用しました。
ゲームエンジンの機能を利用してテクスチャの更新を行う方式です。
お絵描きアプリをフルスクラッチで実装するような手間が掛かりますが、VRならではの表現を行いやすいメリットがあります。

具体的な実装方法については次回以降に行いたいと思います。

わっふるぷれーと

月別アーカイブ: 2015年9月