Tips

17LIVE （イチナナ）非認証でもOBS配信を行う方法

2021-01-12 waffle_maker コメントする

はじめに

17LIVE では基本的にスマートフォン向けのアプリから配信しますが、認証ライバーのみOBSを使用してPCから配信する事が出来ます。
※ゲーム実況やV-Liverは、ほぼOBS配信だと思われます。

本記事では、OBSを使いたい非認証ライバーに向けて、17LIVEが提供するミラーリング配信機能と、スマートフォンをPCのサブモニタ化するアプリケーション利用して、OBS配信を実現する方法を説明します。

ミラーリング配信の注意点などは下記ページを参照ください。

【お知らせ】ミラーリング配信の解放について

用意する物

17LIVEで配信可能なiPhone
Windows 10がインストール済みのPC
Wi-Fiアクセスポイント

必要なソフトウェアのインストール

下記ソフトウェアをインストールします。

iOS 14.3
- 17LIVE 3.125.0版
- spacedesk 1.0.39
Windows 10 Pro 1909（OSビルド:18363.1256）
- spacedesk SERVER 0.9.78
- OBS Studio 26.1.1

※バージョン番号は執筆時のものです。

PCでspacedesk SERVERを起動

PCでspacedesk SERVERを起動します。
※左のような画面が表示されますが、特に設定はありません。

iPhoneでspacedeskを起動

iPhoneでspacedeskを起動すると、左のような画面が表示されます。
左下の「⚙」ボタンをタップして、設定画面を開きます。

設定画面では、iPhoneの画面解像度に合わせた値を設定し、「Save」ボタンをタップして前の画面に戻ります。
※iPhone SE2の場合は、1334×750になります。

spacedesk SERVERが見つかるとコンピュータ名とIPアドレスが表示されるので、「Connecion:＜サーバのIPアドレス＞」をタップしてspacedesk SERVERに接続します。

iPhone画面にPCの映像が表示されたらOKです。

Windowsのディスプレイ設定

Windowsの「ディスプレイ設定」を開き、「複数のディスプレイ」を「表示画面を拡張する」に変更します。

「ディスプレイの配置を変更する」にディスプレイ2が追加されたら、「2」を選択します。

「画面の向き」を「縦」に変更します。

「ディスプレイの配置を変更する」で、「2」が縦向きになっていればOKです。

iPhone側の表示も左のように変わりました。

OBS Studioの設定

OBS Studioを起動したら、「設定」ボタンをクリックして、設定画面を開きます。

設定画面の「映像」グループを開き、「基本（キャンバス）解像度」と「出力（スケーリング）解像度」に、iPhoneの画面解像度に合わせた値を設定し、「OK」ボタンをクリックします。

「スタジオモード」をクリックします。

右上の番組付近を右クリックし、コンテキストメニューから「全画面プロジェクター（番組）」＞「(2): 750×1334 @ 1920.0」を選択します。

シーンを作成したら、「トランジション」ボタンをクリックして、「番組」に映像を反映します。

「番組」に映像が反映されたらOKです。

iPhone画面にも映像が反映されています。

17LIVEにミラーリング配信を開始

iPhoneのコントロールセンターを表示したら、「画面収録」ボタンを長押しして、「画面収録」画面を表示します。

※「画面収録」ボタンが表示されない場合は、以下を参考に設定します。
iPhoneのコントロールセンターに画面録画ボタンを追加する方法

画面収録のリストから「17」を選択して、「ブロードキャスト開始」ボタンをタップします。
※この設定ではiPhoneのマイクを使用します。

3カウントの後に配信が開始し、17LIVEにOBS配信が行われている事が確認出来ました！！

最後に

無事、17LIVEにOBS配信を行う事が出来ました。

配信するまでの手間がかかったり、映像の遅延があったりしますが、本記事を参考に面白い配信が増えてくれたら幸いです。

Unity, VR, 未分類

Unityからペンタブレットのマルチタッチ機能を利用する方法

2015-12-07 waffle_maker コメントする

この記事はOculus Rift Advent Calendar 2015の6日目です。

はじめに

ペンタVRというVRお絵描きツールを開発しているのですが、今回はお絵描き以外でも使えそうなペンタブレットのマルチタッチ機能の利用方法についてご紹介させていただきます。

ペンタブレットのマルチタッチ機能が使えると何が嬉しいかというと、既に絵描きさんの間に広く普及していおり、同じ理由で比較的安価に入手することができます。
また、iOS/Androidのタブレットで実装する場合と比較すると、iOS/Android側からPCに情報を送信するアプリを別途開発する必要がないため、実装は少なくて済みます。

※もちろんペンで直接お絵描きできますが、それについてはこちらを参照ください。

今回は、Unity 5.0.3p3 64ビット版とWACOM Intuos Proを使用します。

マルチタッチをC#から利用する方法については以下の記事を参考にしました。

マルチタッチの基本部分を実装してみる

2つめの記事からサンプルコードをダウンロードして、下記クラスをプロジェクトに追加します。

FeelMultiTouchAPIConst.cs
MemoryUtil.cs
MTAPI.cs

上記のクラスはそのまま使えますが、初期化などは下記コードを参考にして、TabletTouchクラスとして実装します。

MainWindow.xaml.cs

クラスフィールド

そのままコピペで大丈夫です。

    // タブレットデバイスのID配列
    private int[] mIdArray = null;

    // 選択しているタブレットデバイスの情報
    private WacomMTCapability mCapability;

    // ウインドウハンドル
    private IntPtr mHwnd = IntPtr.Zero;

    private int mSelectedDeviceID = -1;
    private IntPtr mHitRectPtr = IntPtr.Zero;
    private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

    // 設定中のウインドウハンドル
    private IntPtr mSelectedHwnd = IntPtr.Zero;
    // 設定中のフィンガーコールバック
    private WMT_FINGER_CALLBACK mFingerCallback = null;

// タブレットデバイスのID配列

private int[] mIdArray = null;

// 選択しているタブレットデバイスの情報

private WacomMTCapability mCapability;

// ウインドウハンドル

private IntPtr mHwnd = IntPtr.Zero;

private int mSelectedDeviceID = -1;

private IntPtr mHitRectPtr = IntPtr.Zero;

private WacomMTProcessingMode mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

// 設定中のウインドウハンドル

private IntPtr mSelectedHwnd = IntPtr.Zero;

// 設定中のフィンガーコールバック

private WMT_FINGER_CALLBACK mFingerCallback = null;

UpdateDeviceListメソッド

UpdateDeviceListメソッドは、リストボックスにデバイス一覧を表示する機能ですが、今回はリストボックスを使用せずデバッグログのみ出力します。
また、後ほど最初に見つかったデバイスを利用するように実装したいと思います。

    private void UpdateDeviceList()
    {
        // タブレットデバイスのID取得.
        mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

        // IDからタブレットデバイスをリストアップする.
        foreach (UInt32 i in mIdArray)
        {
            string devName = "Tablet Device #" + i;
            Debug.Log(devName);
        }
    }

private void UpdateDeviceList()

{

// タブレットデバイスのID取得.

mIdArray = MTAPI.WacomMTGetAttachedDeviceIDs();

// IDからタブレットデバイスをリストアップする.

foreach (UInt32 i in mIdArray)

{

string devName = "Tablet Device #" + i;

Debug.Log(devName);

}

MainWindowメソッド

MainWindowメソッドはコンストラクタですが、Unityのライフサイクルに則りAwakeメソッドとして実装しましょう。

    public void Awake()
    {
        // MultiTouchAPIの初期化.
        try
        {
            // TouchAPIの初期化処理.
            WacomMTError res = MTAPI.WacomMTInitialize();

            if (res == WacomMTError.WMTErrorSuccess)
            {
                // タブレット一覧の更新
                UpdateDeviceList();
            }
            else
            {
                // 初期化処理に失敗.
                throw new Exception("WacomMTInitialize error : " + res);
            }
        }
        catch (Exception ex)
        {
            // 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.
            Debug.LogError(ex.Message);
        }
    }

public void Awake()

{

// MultiTouchAPIの初期化.

try

{

// TouchAPIの初期化処理.

WacomMTError res = MTAPI.WacomMTInitialize();

if (res == WacomMTError.WMTErrorSuccess)

{

// タブレット一覧の更新

UpdateDeviceList();

}

else

{

// 初期化処理に失敗.

throw new Exception("WacomMTInitialize error : " + res);

}

catch (Exception ex)

{

// 例外が発生した場合はメッセージを表示し、アプリケーションを終了します.

Debug.LogError(ex.Message);

}

UnregisterEventメソッド

UnregisterEventメソッドは、マルチタッチ機能の終了処理です。
見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void UnregisterEvent()
    {
        if (mSelectedHwnd != IntPtr.Zero)
        {
            MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);
            mSelectedHwnd = IntPtr.Zero;
        }
        if (mFingerCallback != null)
        {
            MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);
            mFingerCallback = null;
        }

        // HitRectの開放
        if (mHitRectPtr != IntPtr.Zero)
        {
            MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);
        }

        mSelectedDeviceID = -1;
    }

private void UnregisterEvent()

{

if (mSelectedHwnd != IntPtr.Zero)

{

MTAPI.WacomMTUnRegisterFingerReadHWND(mSelectedHwnd);

mSelectedHwnd = IntPtr.Zero;

}

if (mFingerCallback != null)

{

MTAPI.WacomMTUnRegisterFingerReadCallback(mSelectedDeviceID, mHitRectPtr, mCurrentMode, IntPtr.Zero);

mFingerCallback = null;

}

// HitRectの開放

if (mHitRectPtr != IntPtr.Zero)

{

MemoryUtil.FreeUnmanagedBuffer(mHitRectPtr);

}

mSelectedDeviceID = -1;

}

MainWindow_Closingメソッド

MainWindow_Closingメソッドは、OnDisableメソッドに置き換えます。

    public void OnDisable()
    {
        UnregisterEvent();
    }

public void OnDisable()

{

UnregisterEvent();

}

RegisterEventメソッド

RegisterEventメソッドは、マルチタッチ機能の開始処理です。
今回は、モードはWMTProcessingModeNoneに、イベントタイプはコールバックを残して削除します。
また、見た目に関する処理は、Unityの仕組みを利用するので削除しましょう。

    private void RegisterEvent()
    {
        // タッチデバイスのイベント解除
        UnregisterEvent();

        try
        {
            // タブレットの情報を取得し、画面上に表示する
            mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

            // 選択中のタッチデバイスのID
            mSelectedDeviceID = mCapability.DeviceID;

            // モードの選択
            {
                // モードをWMTProcessingModeNoneに設定
                mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;
            }

            // イベントのタイプを選択
            {
                // タッチエリアの設定
                WacomMTHitRect hr;
                hr.originX = 0;
                hr.originY = 0;
                hr.width = (float)tabletWidth;
                hr.height = (float)tabletHeight;

                mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

                // コールバックの設定
                mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);
                MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);
            }
        }
        catch (Exception ex)
        {
            Debug.LogError("RegisterEvent : " + ex.Message);
        }
    }

private void RegisterEvent()

{

// タッチデバイスのイベント解除

UnregisterEvent();

try

{

// タブレットの情報を取得し、画面上に表示する

mCapability = MTAPI.WacomMTGetDeviceCapabilities(mIdArray[0]);

// 選択中のタッチデバイスのID

mSelectedDeviceID = mCapability.DeviceID;

// モードの選択

{

// モードをWMTProcessingModeNoneに設定

mCurrentMode = WacomMTProcessingMode.WMTProcessingModeNone;

}

// イベントのタイプを選択

{

// タッチエリアの設定

WacomMTHitRect hr;

hr.originX = 0;

hr.originY = 0;

hr.width = (float)tabletWidth;

hr.height = (float)tabletHeight;

mHitRectPtr = MemoryUtil.AllocUnmanagedBuffer(hr);

// コールバックの設定

mFingerCallback = new WMT_FINGER_CALLBACK(wmtFingerCallback);

MTAPI.WacomMTRegisterFingerReadCallback(mCapability.DeviceID, mHitRectPtr, mCurrentMode, mFingerCallback, IntPtr.Zero);

}

catch (Exception ex)

{

Debug.LogError("RegisterEvent : " + ex.Message);

}

MainWindow_Loadedメソッド

MainWindow_Loadedメソッドは、OnEnableメソッドに置き換えます。

    public void OnEnable()
    {
        RegisterEvent();
    }

public void OnEnable()

{

RegisterEvent();

}

wmtFingerCallbackメソッド

wmtFingerCallbackメソッドは、タブレットに触れている間のみコールバックが呼び出されます。
ただし、コールバックメソッド内はメインスレッドではなく、Unityの機能が利用できないため、受け取った情報をフィールドに保持しておきます。
また、コールバックとUpdateメソッドでは呼ばれるタイミングが異なるため、受け取った情報に更新があるかどうかをフラグに持たせます。

    private WacomMTFinger[] fingers;
    private bool isFingersChanged;

    /// <summary>
    /// フィンガーデータのコールバック
    /// </summary>
    /// <param name="fingerPacket"></param>
    /// <param name="userData"></param>
    /// <returns></returns>
    private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)
    {
        // コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう
        WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));
        fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);
        isFingersChanged = true;
        return 0;
    }

private WacomMTFinger[] fingers;

private bool isFingersChanged;

/// <summary>

/// フィンガーデータのコールバック

/// </summary>

/// <param name="fingerPacket"></param>

/// <param name="userData"></param>

/// <returns></returns>

private int wmtFingerCallback(IntPtr fingerPacket, IntPtr userData)

{

// コールバック内でIntPtrから構造体に変換しないと、IntPtrが開放されてしまう

WacomMTFingerCollection collection = (WacomMTFingerCollection)MemoryUtil.MarshalUnmanagedBuffer(fingerPacket, typeof(WacomMTFingerCollection));

fingers = MemoryUtil.MarshalUnmanagedBufferArray<WacomMTFinger>(collection.FingerData, (uint)collection.FingerCount);

isFingersChanged = true;

return 0;

}

マルチタッチの可視化とタップの検出

ここからは重要では無いのですが・・・

TouchButtonクラス

作成したボタンにはTouchButtonコンポーネントをアタッチしておきます。
OnTapメソッドを作成し、呼び出されたらデバッグログを出力するようにしておきます。

using UnityEngine;
using System.Collections;

public class TouchButton : MonoBehaviour {
    public void OnTap() {
        Debug.Log(name + " OnTap.");
    }
}

using UnityEngine;

using System.Collections;

public class TouchButton : MonoBehaviour {

public void OnTap() {

Debug.Log(name + " OnTap.");

}

マルチタッチの可視化

フィールドに保持したマルチタッチ情報を可視化します。
プロットする指の数は毎フレーム異なるため、GameObjectを使用せず、DrawMeshメソッドで直接描画を行っています。
なお、マトリックスからトランスフォームを取り出すのにはこちらを参考にしました。

    public int tabletWidth = 640;
    public int tabletHeight = 480;
    public float guiWidth = 0.1f;
    public float guiHeight = 0.075f;
    public LayerMask layerMask;
    public Material cursorMaterial;
    public Mesh cursorMesh;

    public void Update()
    {
        // タッチの状態に変化が無い場合はスキップ.
        if (!isFingersChanged)
        {
            return;
        }

        // 指が1つも見つからない場合はスキップ.
        if (fingers == null || fingers.Length == 0)
        {
            return;
        }

        // 指を全て表示.
        foreach (WacomMTFinger finger in fingers)
        {
            // 指のマトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);
            Matrix4x4 matrix = matrix1 * matrix2;

            Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

        }

public int tabletWidth = 640;

public int tabletHeight = 480;

public float guiWidth = 0.1f;

public float guiHeight = 0.075f;

public LayerMask layerMask;

public Material cursorMaterial;

public Mesh cursorMesh;

public void Update()

{

// タッチの状態に変化が無い場合はスキップ.

if (!isFingersChanged)

{

return;

}

// 指が1つも見つからない場合はスキップ.

if (fingers == null || fingers.Length == 0)

{

return;

}

// 指を全て表示.

foreach (WacomMTFinger finger in fingers)

{

// 指のマトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one * 0.01f);

Matrix4x4 matrix = matrix1 * matrix2;

Graphics.DrawMesh(cursorMesh, matrix, cursorMaterial, 0);

}

タップの検出

最初に検出した指でタップ処理を実装します。
可視化で使用したのと同様のマトリクスを元にRayを飛ばしてボタンを特定し、さらに指を離した際にボタンのOnTapメソッドを呼び出しています。

        // 1つめの指を採用.
        {
            WacomMTFinger finger = fingers[0];

            // レイの発信元マトリクスを作成.
            Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);
            Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);
            Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);
            Matrix4x4 matrix = matrix1 * matrix2;

            // マトリクスからレイの発信元トランスフォームを取得.
            Vector3 position_ = GetPosition(matrix);
            Quaternion rotation_ = GetRotation(matrix);

            // レイを飛ばしてオブジェクトを特定.
            Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;
            Vector3 dir = rotation_ * Vector3.forward * 0.25f;
            float maxDistance = 0.5f;
            dir.Normalize();
            Ray ray = new Ray(origin, dir);
            //Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);
            RaycastHit hitInfo;
            bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

            if (isHit)
            {
                TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

                // タッチリリース時にタップイベントを発生させる.
                if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)
                {
                    button.OnTap();
                }
            }
        }
        isFingersChanged = false;
    }

// 1つめの指を採用.

{

WacomMTFinger finger = fingers[0];

// レイの発信元マトリクスを作成.

Vector3 position = new Vector3((finger.X - 0.5f) * guiWidth, (0.5f - finger.Y) * guiHeight, 0);

Matrix4x4 matrix1 = Matrix4x4.TRS(transform.position, transform.rotation, Vector3.one);

Matrix4x4 matrix2 = Matrix4x4.TRS(position, Quaternion.identity, Vector3.one);

Matrix4x4 matrix = matrix1 * matrix2;

// マトリクスからレイの発信元トランスフォームを取得.

Vector3 position_ = GetPosition(matrix);

Quaternion rotation_ = GetRotation(matrix);

// レイを飛ばしてオブジェクトを特定.

Vector3 origin = position_ + rotation_ * Vector3.back * 0.25f;

Vector3 dir = rotation_ * Vector3.forward * 0.25f;

float maxDistance = 0.5f;

dir.Normalize();

Ray ray = new Ray(origin, dir);

//Debug.DrawRay(ray.origin, ray.direction, Color.blue, 1.0f, false);

RaycastHit hitInfo;

bool isHit = Physics.Raycast(ray, out hitInfo, maxDistance, layerMask);

if (isHit)

{

TouchButton button = hitInfo.collider.GetComponent<TouchButton>();

// タッチリリース時にタップイベントを発生させる.

if (button != null && finger.TouchState == WacomMTFingerState.WMTFingerStateUp)

{

button.OnTap();

}

isFingersChanged = false;

}

シーンの構成

以下の様にシーンに、TabletTouchオブジェクトと、その子としてTouchButtonオブジェクトを作成し、各コンポーネントをアタッチします。

実行すると、マルチタッチの可視化と、タップの検出が出来ていることが確認できます。

やったー！

最後に

このようにUnityから簡単にマルチタッチ機能を実装することができました。

ただし、VRで使う場合は、以下の様な欠点がありますが、そこは使い所と工夫次第なのかなと思います。

タブレット自体の位置や傾きが取れない
タブレットに触れるまで指を検出できない

もし面白いVRコンテンツを思いついたらご相談ください。
技術的な協力など出来るかもしれません。

次は、pafuhana1213さんの2015年の私とOculusRift　 (VRに関する資料・投稿記事・作品まとめ)です。

Unity, 未分類

UnityからWintab APIを利用する方法

2015-10-01 waffle_maker 1件のコメント

WintabをC#から利用する方法については以下の記事を参考にしました。

上記の記事で提供されているソースコードはほぼ改変の必要ありませんが、一点だけ問題があります。
UnityのC#ではウインドウプロシージャが存在しないため、別の方法でWindowsメッセージを受信する必要があります。

そこで、以下の様にuser32.dllをDLLImportすることで、UnityからWindowsメッセージを受信することが出来ます。
※ただし、32ビット版のUnityエディタでしか動作しません。

using UnityEngine;
using System.Collections;
using System;
using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

    [DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]
    public static extern System.IntPtr GetForegroundWindow();

    [DllImport("user32.dll")]
    static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);
    
    [DllImport("user32.dll")]
    static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);
    
    [System.Runtime.InteropServices.DllImport("user32.dll")]
    private static extern System.IntPtr GetActiveWindow();

    private IntPtr hMainWindow;
    private IntPtr oldWndProcPtr;
    private IntPtr newWndProcPtr;
    private WndProcDelegate newWndProc;

    // Use this for initialization
    void Start () {
        // ウインドウハンドルの取得
        IntPtr hWnd = GetWindowHandle ();

        // ウインドウプロシージャをフックする
        hMainWindow = GetForegroundWindow();
        newWndProc = new WndProcDelegate(wndProc);
        newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);
        oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);
    }
    
    // Update is called once per frame
    void Update () {
    
    }

    public static System.IntPtr GetWindowHandle() {
        return GetActiveWindow();
    }

    private static IntPtr StructToPtr(object obj)
    {
        var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));
        Marshal.StructureToPtr(obj, ptr, false);
        return ptr;
    }
    
    private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)
    {
        Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

        return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);
    }

    void OnDisable () {
        SetWindowLong(hMainWindow, -4, oldWndProcPtr);
        hMainWindow = IntPtr.Zero;
        oldWndProcPtr = IntPtr.Zero;
        newWndProcPtr = IntPtr.Zero;
        newWndProc = null;
    }
}

using UnityEngine;

using System.Collections;

using System;

using System.Runtime.InteropServices;

public delegate IntPtr WndProcDelegate(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam);

public class TabletManager : MonoBehaviour {

[DllImport("user32.dll", CharSet = CharSet.Auto, ExactSpelling = true)]

public static extern System.IntPtr GetForegroundWindow();

[DllImport("user32.dll")]

static extern IntPtr SetWindowLong(IntPtr hWnd, int nIndex, IntPtr dwNewLong);

[DllImport("user32.dll")]

static extern IntPtr CallWindowProc(IntPtr lpPrevWndFunc, IntPtr hWnd, uint Msg, IntPtr wParam, IntPtr lParam);

[System.Runtime.InteropServices.DllImport("user32.dll")]

private static extern System.IntPtr GetActiveWindow();

private IntPtr hMainWindow;

private IntPtr oldWndProcPtr;

private IntPtr newWndProcPtr;

private WndProcDelegate newWndProc;

// Use this for initialization

void Start () {

// ウインドウハンドルの取得

IntPtr hWnd = GetWindowHandle ();

// ウインドウプロシージャをフックする

hMainWindow = GetForegroundWindow();

newWndProc = new WndProcDelegate(wndProc);

newWndProcPtr = Marshal.GetFunctionPointerForDelegate(newWndProc);

oldWndProcPtr = SetWindowLong(hMainWindow, -4, newWndProcPtr);

}

// Update is called once per frame

void Update () {

}

public static System.IntPtr GetWindowHandle() {

return GetActiveWindow();

}

private static IntPtr StructToPtr(object obj)

{

var ptr = Marshal.AllocHGlobal(Marshal.SizeOf(obj));

Marshal.StructureToPtr(obj, ptr, false);

return ptr;

}

private IntPtr wndProc(IntPtr hWnd, uint msg, IntPtr wParam, IntPtr lParam)

{

Debug.Log("wndProc msg:" + msg + " wParam:" + wParam.ToInt32() + " lParam:" + lParam.ToInt32());

return CallWindowProc(oldWndProcPtr, hWnd, msg, wParam, lParam);

}

void OnDisable () {

SetWindowLong(hMainWindow, -4, oldWndProcPtr);

hMainWindow = IntPtr.Zero;

oldWndProcPtr = IntPtr.Zero;

newWndProcPtr = IntPtr.Zero;

newWndProc = null;

}

※参考にしたURLを紛失してしまったのですが、恐らくここを見て実装したと思われる。
http://forum.unity3d.com/threads/recieve-window_commands-in-unity.213741/

コンポーネントをGameObjectにアタッチして実行すると、以下の様なログが出力されます。

Oculus Rift, Unity, VR

フェードイン/フェードアウトを実装してみる

2015-09-07 waffle_maker コメントする

はじめに

目の前に半透明の板を置く方式で、フェードイン/フェードアウトを実装してみました。
フェード中の判定や、フェード完了コールバックも用意しています。

前提条件

Unity 5.0.3p3
Oculus Unity Integration 0.6.0.0

使い方

OVRFadeコンポーネントをOVRCameraRigにアタッチ
1. Fade Materialには、同梱のAlphaFadeを指定して下さい。
2. Modeには、Alphaを指定して下さい。
スクリプトからフェードアウト/フェードインのメソッドをコール

using UnityEngine;
using System.Collections;

public class ExampleManager : MonoBehaviour {

    private OVRFade fade;

    // Use this for initialization
    void Start () {
        fade = FindObjectOfType<OVRFade>();

        // 最初にフェードイン.
        fade.FadeIn(Color.black, 0.5f);
    }
    
    // Update is called once per frame
    void Update () {
        // サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

        // フェードアウトしてアプリを終了.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.Quit();
            });
        }

        // フェードアウトしてシーンを移動.
        if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){
            fade.FadeOut(Color.black, 0.5f, delegate {
                Application.LoadLevel(Application.loadedLevel);
            });
        }

        // 3秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F1)){
            fade.FadeOut(Color.white, 3);
        }
        
        // 1秒かけてホワイトイン
        if(Input.GetKeyUp(KeyCode.F2)){
            fade.FadeIn(Color.white, 1);
        }
        
        // 2秒かけてホワイトアウト
        if(Input.GetKeyUp(KeyCode.F3)){
            fade.FadeOut(Color.black, 2);
        }
        
        // 5秒かけてブラックアウト
        if(Input.GetKeyUp(KeyCode.F4)){
            fade.FadeIn(Color.black, 5);
        }
        
        // 5秒かけてブラックアウト/ブラックイン
        if(Input.GetKeyUp(KeyCode.F5)){
            Debug.Log("Fade Out/In Start.");
            fade.FadeOutIn(Color.black, 5);
        }
        
        // 3秒かけてピンクアウト/ピンクイン
        if(Input.GetKeyUp(KeyCode.F6)){
            fade.FadeOutIn(new Color(1,0.25f,1), 3);
        }
        
        // フェードアウト中に左に移動.
        if(Input.GetKeyUp(KeyCode.LeftArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(-1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
        if(Input.GetKeyUp(KeyCode.RightArrow)){
            fade.FadeOut(Color.black, 0.2f, delegate {
                fade.transform.Translate(1,0,0);
                fade.FadeIn(Color.black, 0.2f);
            });
        }
    }
}

using UnityEngine;

using System.Collections;

public class ExampleManager : MonoBehaviour {

private OVRFade fade;

// Use this for initialization

void Start () {

fade = FindObjectOfType<OVRFade>();

// 最初にフェードイン.

fade.FadeIn(Color.black, 0.5f);

}

// Update is called once per frame

void Update () {

// サンプル：色と秒数を指定すると勝手にフェードイン/アウトします.

// フェードアウトしてアプリを終了.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Escape)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.Quit();

});

}

// フェードアウトしてシーンを移動.

if(!fade.IsFading() && Input.GetKeyUp(KeyCode.Return)){

fade.FadeOut(Color.black, 0.5f, delegate {

Application.LoadLevel(Application.loadedLevel);

});

}

// 3秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F1)){

fade.FadeOut(Color.white, 3);

}

// 1秒かけてホワイトイン

if(Input.GetKeyUp(KeyCode.F2)){

fade.FadeIn(Color.white, 1);

}

// 2秒かけてホワイトアウト

if(Input.GetKeyUp(KeyCode.F3)){

fade.FadeOut(Color.black, 2);

}

// 5秒かけてブラックアウト

if(Input.GetKeyUp(KeyCode.F4)){

fade.FadeIn(Color.black, 5);

}

// 5秒かけてブラックアウト/ブラックイン

if(Input.GetKeyUp(KeyCode.F5)){

Debug.Log("Fade Out/In Start.");

fade.FadeOutIn(Color.black, 5);

}

// 3秒かけてピンクアウト/ピンクイン

if(Input.GetKeyUp(KeyCode.F6)){

fade.FadeOutIn(new Color(1,0.25f,1), 3);

}

// フェードアウト中に左に移動.

if(Input.GetKeyUp(KeyCode.LeftArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(-1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

if(Input.GetKeyUp(KeyCode.RightArrow)){

fade.FadeOut(Color.black, 0.2f, delegate {

fade.transform.Translate(1,0,0);

fade.FadeIn(Color.black, 0.2f);

});

}

ダウンロード

OVRFade_1.1.0.zip - 1.1.0

Oculus Rift, Unity, VR

ペンタVRの実装方式について

2015-10-01 waffle_maker 3件のコメント

ペンタVRとは？

VRHMDとペンタブレットを利用して、仮想空間でお絵描きをする仕組みのことです。

発端となったのは、よー清水さんの下記ツイート

VRエンジニアの皆様にはぜひこういう、仮想空間で快適な創作環境を作ってくれるシステムを実現して欲しいです pic.twitter.com/4QJOgSa6tD

— Yo_Shimizu よー清水 (@you629) January 15, 2015

ペンタVRの海外向けイメージ。このシステムの最大のメリットは、周囲の環境を参考にすることはもちろん、任意の位置に資料や３Dモデル、アニメーションを配置して、原寸の大きさを感じて創作に生かすことができる点です。#ペンタVR pic.twitter.com/ZS2a5pMBrh

— Yo_Shimizu よー清水 (@you629) January 19, 2015

一連の流れは、栗坂こなべさんが纏めてくれています。

よー清水さんの提案する仮想空間お絵描きVRシステムと実現方法について #ペンタVR

最新の情報はTwitterのハッシュタグ #ペンタVR で確認できます。

ペンタブレットの基本的な使い方、各部名称についてはこちら

ペンタブレット-基本的な使い方

開発環境

OS : Windows
ゲームエンジン : Unity
VRHMD : Oculus Rift
ペンタブレット : Intuos

どうやって実現するか？

ペンタブレットの情報を取得する方法

マウスの座標を利用
Unity標準のInput.mousePositionからマウスの座標として取得することが出来ます。
筆圧などの付加情報が不要な場合はこちらでも良いではないでしょうか。
Wintab APIを利用 ※こちらを採用しました。
WACOMさんが提供しているWintab APIを利用することで、各種情報を取得することが出来ます。
各種情報はWindowsメッセージとして送られてきますが、UnityからWindowsメッセージを取得するには一工夫必要になります。
おまけ：Macの場合
マウスイベントに筆圧情報が入ってくる様ですが、Unityから利用するにはNative Pluginの実装が必要となりそうです。
- Macintosh Developer’s Guide to the Wacom Tablet

ペンタブレットを位置を現実とVRで関連づける方法

多くのOculus Rift向けVRコンテンツでは、仮想空間内のカメラ位置にプレイヤーを一致させますが、
今回は、タブレットの上部にOculus Riftの赤外線カメラを固定することで、現実の赤外線カメラとHMDの相対位置をそのまま仮想空間に持ち込みます。
これにより、現実と仮想空間でタブレットの位置を一致させることが出来ます。
ただし、タブレットの傾きは反映されません。

キャンバスを管理する方法

キャンバスの管理方法は、大まかに2つに分類できます。

既存のお絵描きアプリでキャンバスを管理
デスクトップのキャプチャ画像をテクスチャに貼り付ける方式です。
既存のお絵描きアプリの機能をそのまま仮想空間に持ち込むことが出来ますが、現状では遅延が大きく使い物にならないようです。
- キャプチャアプリからGPU側のテクスチャ情報を直接更新できれば、遅延が改善するかも知れません。
- 平面のお絵描きに限定すれば、APIを提供することでお絵描きアプリ側にペンタVR連携機能を組み込むことが出来る可能性があります。
新規のVRアプリでキャンバスを管理 ※こちらを採用しました。
ゲームエンジンの機能を利用してテクスチャの更新を行う方式です。
お絵描きアプリをフルスクラッチで実装するような手間が掛かりますが、VRならではの表現を行いやすいメリットがあります。

具体的な実装方法については次回以降に行いたいと思います。

Unity, VR

Curvyでドリフト移動してみる

2015-08-08 waffle_maker コメントする

はじめに

Curvy¹とは、Unity²上でスプラインカーブを扱うAssetです。
また、付属のFollowSpline³コンポーネントをアタッチすると、スプラインカーブに沿ってオブジェクトを移動することが出来ます。

Curvy

しかし、Curvyではコントロールポイントの向きがオブジェクトに反映されません。
以下の例のように、自動車のドリフトや、正面を向いたまま飛び降りさせることができません。

これにより、移動方向に向かって予め振り向かせることで、VR酔いの低減が期待できます。

実装してみる

方法としては、コントロールポイントのScaleを補完する機能があるため、これを複製してコントロールポイントのRotationを補完する機能を追加します。

InterpolateScaleメソッドを改造したInterpolateRotation関数を実装する。

CurvySplineBase.csに下記コードを追加

public virtual Quaternion InterpolateRotation(float tf) { return Quaternion.identity; }

1	public virtual Quaternion InterpolateRotation(float tf) { return Quaternion.identity; }

CurvySpline.csに下記コードを追加

public override Quaternion InterpolateRotation(float tf)
{
    float localF;
    CurvySplineSegment seg = TFToSegment(tf, out localF);
    return seg.InterpolateRotation(localF);
}

public override Quaternion InterpolateRotation(float tf)

{

float localF;

CurvySplineSegment seg = TFToSegment(tf, out localF);

return seg.InterpolateRotation(localF);

}

CurvySplineGroup.csに下記コードを追加

public override Quaternion InterpolateRotation(float tf)
{
    float localTF;
    CurvySpline spl = TFToSpline(tf, out localTF);
    return spl.InterpolateRotation(localTF);
}

public override Quaternion InterpolateRotation(float tf)

{

float localTF;

CurvySpline spl = TFToSpline(tf, out localTF);

return spl.InterpolateRotation(localTF);

}

CurvySplineSegment.csに下記コードを追加

public Quaternion InterpolateRotation(float localF)
{
    Transform T = NextTransform;
    return (T) ? Quaternion.Lerp(Transform.localRotation, T.localRotation, localF) : Transform.localRotation;
}

public Quaternion InterpolateRotation(float localF)

{

Transform T = NextTransform;

return (T) ? Quaternion.Lerp(Transform.localRotation, T.localRotation, localF) : Transform.localRotation;

}

FollowSplineRotationコンポーネントを実装する。

FollowSplineRotation.csを新規作成

using UnityEngine;
using System.Collections;
using FluffyUnderware.Curvy;

[RequireComponent(typeof (FollowSpline))]
public class FollowSplineRotation : MonoBehaviour {

    private FollowSpline follow;
    private CurvySplineBase spline;

    // Use this for initialization
    void Start () {
        follow = GetComponent();
        spline = follow.Spline;
    }

    // Update is called once per frame
    void Update () {
        transform.rotation = spline.InterpolateRotation (follow.CurrentTF);
    }
}

using UnityEngine;

using System.Collections;

using FluffyUnderware.Curvy;

[RequireComponent(typeof (FollowSpline))]

public class FollowSplineRotation : MonoBehaviour {

private FollowSpline follow;

private CurvySplineBase spline;

// Use this for initialization

void Start () {

follow = GetComponent();

spline = follow.Spline;

}

// Update is called once per frame

void Update () {

transform.rotation = spline.InterpolateRotation (follow.CurrentTF);

}

使い方

FollowSplineをアタッチしてSet Orientationのチェックを外す
FollowSplineOrientationをアタッチする

Unity Pro 5.0.2p3で確認しました。 ↩
Curvy 1.61fで確認しました。 ↩
SplineWalker、SplineWalkerDistance、SplineWalkerConは古いコンポーネントなので使わないようにしましょう。 ↩

未分類

About

2015-09-23 waffle_maker コメントする

わっふるぷれーとは、わっふるめーかーの個人ブログです。

Oculus Riftなど、VRコンテンツの開発について記録していきます。

English

作品紹介