Formula Audio Ltd.

 

360pan suite

360パン・スイートとは? : 例えば YouTube用として、360度動画の音声ミキシングを手掛けるなら、画面に映る対象の動きに、そのサウンドを追従させねばなりません。そして動画をアップロードするには、音声トラックをAmbisonics(アンビソニックス)方式にしておく必要があります。そもそも、YouTubeで実際に視聴する通りの再生環境を作り、作業を行いたいでしょう。
 
以上の要望は全て、2つのプラグインで簡単に実現します。それが、360pan360monitor です。まずは、公式の動画をご覧になって下さい。
 
【ご注意】2017年4月現在の動作環境は、Mac / プラグイン・フォーマットはAAXのみです。VSTや、Windows 環境への対応も予定されています。

360pan 


 
Ambisonics方式の音声パンナー・プラグインです。Pro ToolsなどDAWのビデオ画面上でドラッグ操作を行い、対象の動きに合わせて、オートメーション情報を書き込んでいけます。

360monitor 


 
YouTube等のAmbisonicsから、バイノーラル方式へ音声変換するプラグインです。Pro Toolsのビデオ画面を利用し、360度動画の視聴方向をドラッグすると、出力される音声も連動します。

What is 360pan suite For ?
360pan suite の用途(本製品は、4つのプラグインによる構成です)

360pan suite が音声方式をサポートするビデオ形式には、以下のように様々な呼称が存在します。 
 

  • 360度映像 / 360° video
  • VR動画 / VR video
  • バーチャル・リアリティ映像
  • パノラマ動画 / Panoramic video
  • 全天球映像 / Spherical video

 
これらの映像の為の音声トラックは、VRゴーグルを伴うビューワーの頭部や、スマートフォンの視聴角度を変えた際に連動します。 

そして360度動画の再生に対応している「プラットフォーム」は、既に多く存在します。例えば、以下の通りです。 
 

  • Facebook 360
  • Oculus Video
  • YouTube
  • SamsungVR
  • Jaunt

 

これらの「プラットフォーム」は、インタラクティブな音声の方向調整を可能とする技術として、Ambisonics(アンビソニックス)を採用しています。つまり、ポストプロダクションの音声エンジニアは、Ambisonicsでのミックスを行わねばなりません。それはBフォーマットという方式で、出力は4chの構成です。さらにBフォーマットには、AmbiXとFuMaという、2種類のチャンネル構成が存在します。
 
YouTubeの場合は、AmbiXのAmbisonicsによる音声トラックである必要があります。 360pan で対応可能です。

360pan -  360パン 

取り込んだ360度動画は正距円筒画像で表示され、Pro Toolsのビデオ画面で再生されます。その画面に映る対象物に連動して、音声のパンニング操作が出来れば、正に理想的でしょう。360pan であれば、簡単です。
 
360pan の出力は、AmbisonicsのBフォーマット(AmbiX)方式です。対象となる音声トラックにインサートすると、Pro Toolsのビデオ画面が縦横に4分割とされ、丸印にて音声の位置を表示します。
 
このプラグインの便利な点は、関連するパラメータのほとんどを、DAWのビデオ画面上で操作出来るということです。音声トラックに適用すると、ビデオ画面には縦横それぞれ四分割する格子図(オーバーレイ)が表示されます。オーバーレイは 360pan 画面上のON/OFFで、いつでも表示/非表示を切り替えられます。
 

360monitor -  360モニター 

Ambisonics(Bフォーマット)の音声ミックスを、360度動画のためにバウンスして、YouTubeへアップロードする…あるいは前もって、どのようにYouTube上で聞こえるのかをプレビューする…  360monitor によって可能です。
 
360monitor は、視聴方向を変えて音声も連動する、一般的なインタラクティブ・ビデオの内容を表示します。同時に、Ambisonicsの音声をバイノーラルのステレオへ変換して、ヘッドフォンでも聴けるようにします。
使われているアルゴリズムは、正にYouTubeと同じです。360monitor 画面の映像には、Pro Toolsのビデオ画面が利用されているので、同期しています。

Converter plug-ins -  2つの変換プラグイン 

バージョン1.0.1で、2つの変換プラグイン「360Fuma to ambix」「360ambix to fuma」が追加されました。Ambisonics方式のBフォーマットには、2種類のチャンネル構成があります。Fuma と AmbiX です。 
 
Fuma   : WXYZ のチャンネル構成で、AmbiX に比べて W が 3dB 低い。 
AmbiX : WYZX のチャンネル構成。 
 
本製品 360pan suiteの他、Facebook、Oculus Video、YouTube、SamsungVR、Oculus は全て、音声方式は AmbiX のBフォーマットです。一方の FuMa によるチャンネル構成が採用されたプラットフォームもあります。360pan suite を使用して、例えば以下のためのオーディオを制作するのであれば、変換プラグイン「360ambix to fuma」を使用します。バウンス・ソースとなる Ambisonics の4chトラックにインサートして、必要とされる FuMa のチャンネル構成(とノーマライズ)に変換します。 
 
auntVR : VR player
Audiokinetic WWise
TSL : Surround
Zone Harpex-B 

Specifications -  仕様(2017年4月現在、Version 1.0.1) 

 
動作環境
 
Mac OS X 10.8.5以降
Windows 環境への対応は、予定されています。
 
ライセンスのオーサライズには、インターネット環境とiLokアカウントが必要です。オーサライズ情報の記録先は、iLok 2 USBキーまたはコンピュータ本体を選択出来ます。
 
 

 
プラグイン・フォーマット
 
AAX Native
※VSTなど他のフォーマットについても、対応予定です。
 
 

 
動作確認済みのDAW
 
Pro Tools HD 11 - 12 
 
 

Free Goodies -  便利な無償ツール 

Audio Easeのスタッフが、日々の業務で使用しているツールを公開します。全てのケースにおいて、正常動作する保証は無いことをご了承下さい。「Offline 360 video player」はGoogleのOmnitoneに、「Mac OS ffmeg droplets」はFFmpegに基づいています。

Offline 360 video player

(オフラインで動作する360動画プレイヤー)
 
手元のハードディスクや自身のネットワーク上から、360度音声を伴う360度映像をプレビュー出来るツールです。WEBブラウザ上で機能して、ファイルをアップロードする手間がありません。2017年3月1日現在、MacまたはWindowsのFirefox(最新)上で動作します。Google Chrome、MacのSafariでは正常機能しません。

 
 

 
アクセス先の画面上部、Load local videoの「ファイルを選択」をクリックして、手元の360度動画ファイルを読み込ませて下さい。 画質は良いうえ、ブラウザ画面は大きいので、360monitorでプレビューするよりも好ましい場合があるでしょう。最も良い点は、Google JumpやAndroid端末を用意する必要が無いことです。
 
上記URL先ではOmnitone - オムニトーンを利用しており、これはGoogle独自の360度ウェブAPIです。つまりAndroid端末やYouTube上での視聴と同様の技術で、アンビソニックスからバイノーラルに変換された音声を聴くということです。実際にYouTubeへアップロードする際に生じる、データの圧縮はありません。試しにアップロードするよりも速く、しかも安全です。
 
【ファイルは安全】
映像と音声ファイルは、お手元の(ネットワーク)ドライブから再生されます。上記URL先が読み込まれたあとにインターネット接続を切ってしまっても、このツールは働きます。公開前のファイルが、外部に流出する心配がありません。
 
【映像フォーマット】
対象は360度動画ファイルで、WebMのフォーマットです。併せて紹介するMac OS X用のツールを使用して、.webmに変換出来ます(後述)。
 
【音声プレビュー】
音声ファイルのみでもプレビュー可能です。Load local audio:「ファイルを選択」から、アンビソニックスの.wavファイル(インターリーブ)を適用すると自動再生されます(または「play」クリック)。画面をドラッグして視聴方向を変えると、音声も連動します。マウス等のホイール操作で、視野も調整出来ます。
 
(.webmへの変換には時間が掛かります。Audio Easeのスタッフはwebmを一旦作成したあと、各動画ごとにPro Toolsで作成した.wavファイルをバウンスし、映像と音声を個別に読み込ませて確認しています。)
 

Mac OS ffmpeg droplets

(Mac OS X用・映像フォーマット変換ツール)
 
 Audio Ease社が作成かつ業務で使用している、映像フォーマット変換のためのツールを取得出来ます。インターフェイス画面は無く、アイコン上へ変換元のファイルをドラッグ&ドロップすることで機能します(droplet - 一般的にドロップレットと呼ばれます)。ダウンロードすると「ffmpeg droplets by Audio Ease to convert video」というフォルダが出来上がります。その中には4種類の変換ツールと、UNIX系ソフトウェア「ffmeg」が収められています(下図)。
 

 
 

生成される映像ファイルは、変換元となるビデオと同じディレクトリに保存されます。 ffmpegは、4種類のツールが機能するために、これらと同じディレクトリに置いておく必要があります。
  
(1)Pro Tools用のビデオ変換(drop video to convert as pt_optimized)
映像ファイルを1/4の解像度に変換して、ProToolsの動作負担を軽減します。
 
(2)(3).webmファイル作成
例えばPro Toolsからエクスポートされたビデオファイルなど、4chのAmbiX音声を伴う映像ファイルから、先述の「Offline 360 video player」でプレビュー可能な、WebMファイルを作成します。高解像度用(drop video to convert to hi-res webm)と、低解像度用(drop video to convert to lo-res webm)の2つがあります。
 
(4)ステレオスコピック映像向け変換
ステレオスコピック映像を左側のみに切り取り、CPU負荷と表示エリアを節約します。
 
 これらのツールを Xcodeで書き換えたり、ターミナルで操作することなく、シンプルにビデオファイルをドラッグ&ドロップして、変換を待って下さい。Script Editorアプリでこれらのツールを開いて、どのように処理されているかをチェックしたり、必要であれば好みにより改変されるのは自由です。