Formula Audio Ltd.

 

360pan suite 2 -  360パン・スイート・ツー

360pan suite 2は、Ambisonics(アンビソニックス)による音響制作のためのプラグインが、多数収められたパッケージです。作り出される360度音響はVRコンテンツ等に使用され、ヘッドフォンの使用が最適であり、360度映像の視聴角度に追従する仕様です。
 
同社初の360度コンボリューション・リバーブなど、多くの機能が追加されました。パン、距離感、ミキシング調整の多くをPro Tools HD、Reaperのビデオ画面上で行うことが可能です。まずは、上のデモ動画をご覧下さい
 
ご注意【1】Pro Toolsは、HDのソフトウェア仕様が必要です。【2】2nd order(9ch)のAmbisonicsで制作するには、Pro Tools HD 12.8、Reaper 5、Nuendo 7が対象です。【3】Mac環境のみの対応です。【4】Nuendoでは現在、ビデオ画面での操作に対応していません。
 

360pan


Pro Tools HDのビデオ画面上で操作を行い、音源のパンニング、距離感、360reverb(リバーブ/後述)を設定出来ます。
 

360monitor 


制作中の360度音声ミックスを、360度映像の視聴角度に合わせてプレビュー出来ます。同時に4ch/9chのAmbisonics音声を、2chのバイノーラルへ変換します。
 

360reverb 


初めてのAmbisonics音声用のコンボリューション・リバーブです。ホールから野外まで、50以上ものインパルス・レスポンスによる空間データを収録しています。
 

360rader


Ambisonics音場内で、音響情報の存在と位置を示します。Pro Toolsのビデオ画面上で表示されるので、とても有用です。
 

360turner


360raderによる表示を確認しながら 、Ambisonicsマイクで収録した音声を調整して、上下左右位置などを正します。
 

What is 360pan suite 2 For ?
360pan suite 2の用途(本製品には、複数のプラグインが収められています)

360pan suiteが音声方式をサポートするビデオ形式には、以下のように様々な呼称が存在します。 
 

  • 360度映像 / 360° video
  • VR動画 / VR video
  • バーチャル・リアリティ映像
  • パノラマ動画 / Panoramic video
  • 全天球映像 / Spherical video

 
これらの映像の為のオーディオ・トラックは、VRゴーグルを装着した視聴者の頭部や、スマートフォンの視聴角度を変えた際に連動する仕様です。 

そして360度動画の再生に対応している「プラットフォーム」は、例えば以下のようなものがあります。 
 

  • Facebook 360
  • Oculus Video
  • YouTube
  • SamsungVR
  • Jaunt

 

これらの「プラットフォーム」は、インタラクティブな音声の方向調整を可能とする技術として、Ambisonicsを採用しています。つまりポストプロダクションの音声エンジニアは、Ambisonicsでのミックスを行わねばなりません。それはBフォーマットという方式で、出力は最小で4chの構成です。さらにBフォーマットには、AmbiXとFuMaという、2種類のチャンネル構成が存在します。
 
YouTubeにアップロードするにはAmbiXのAmbisonicsによる音声が必要で、360pan suiteで制作可能です。さらにFacebookの「2nd order」と呼ばれる高次のAmbisonicsにも、対応しています。

360pan -  360パン 

360panを使えば、モノ、ステレオ、4chの音声ファイルをAmbisonicsの音場でパンニングすることが容易です。Pro Tools HDのビデオ画面上で、音声の位置を表示する印(パック)を操作するだけです。勿論、オートメーション制御も可能です。
 
360panを音声トラックにインサートして、"show puck"と"show overlay"を有効にすると、360reverb(後述)の"Gain"、"Distance"、"Rev Width" 値が、Pro Toolsのビデオ画面上で設定出来ます。パックの上へマウスのポインタを持って行き、傍に出て来るアイコンをクリックすると、3本のスライダーが表示されます。

Signal Flow - 音声信号の流れ

 
AUXとセンド/リターンによる、従来の方法でもリバーブの360reverb(後述)は使用可能です。しかし、もっと巧みに操作出来る仕様も備えています。
 
モノやステレオの音源がAmbisonics方式に変換されると、Ambisonicsのバスにおいて左右、上下、前後位置の情報を伴います。各音源に360panをインサートするのは、同様の処理を行うためです。つまり360panはプラグインとして、モノ/ステレオ/4chの入力、Ambisonicsの出力という仕様です。
 
複数の360reverbを起動すると、それぞれにAmbisonicsの入力経路が作られます。それはバックドア(裏口)のようなもので、360panからのみ接続出来る経路です。起動した全ての360reverbは、各360pan画面上に出力先(send)として表示されます。起動中の360panは各360reverbと結び付いて、各音源ごとに距離感やリバーブ幅を調整することが出来るのです。例えばプロジェクト内に360reverbが1つしか起動していなくても、それを使用する音源数に限りはありません。
 
上記の使い方に加えて、起動中の360reverbにおいては、一般的なセンド/リターン使用の為の入力も同時に機能します。 

 

360monitor -  360モニター 

360monitorは、DAWのビデオ画面から映像を取り込み、マウスによるドラッグ可能な画面に送りながら、Ambisonicsの音声をヘッドフォンに最適なバイノーラルの2chに変換します。つまりミキシング作業中に360度映像を動かしながら、追従する360度音声をプレビューすることが出来るのです。
 
左図にて選択されている音声フォーマットは9ch(2nd order)です。ゆえに、この360monitorは9ch(7.0.2)バスにインサートされており、ヘッドフォンによる視聴を前提として音声を2chへ変換しています。2nd orderに関する技術内容は、マニュアルの「Ambisonics to binaural conversion」に記載されています。
 
参考 : 360monitorを表示している間は、CPUへの負荷が大きくなります。これはPro Tools HDのビデオ画面から映像を引き込んでいるからです。Pro Toolsのビデオ画面を小さくすることで、360monitorの操作は軽くなります。

ヘッド・トラッキング機能

 
市販のヘッド・トラッキング装置を、使用するヘッドフォンに備え付けて、360monitor画面を操作することが出来ます。コンテンツのユーザーが、実際に360度映像を視聴する際に近い音声が確認出来ます。マニュアルのAppendix 3に、使い方や調整の方法が記載されています(国内における本機能のサポートは、検討中です)
 

360reverb -  360リバーブ

360reverbは、初めての360度音声によるコンボリューション・リバーブです。プラグインとして1つ起動するだけで、音源の数に際限無く、共通の残響成分を適用出来ます。リバーブ成分はパンニングに追従し、各音源で個別の調整が可能です。
 
Ambisonicsマイクによって収録された、50以上ものインパルス・レスポンスを収録しています。コンサート・ホールやレコーディング・スタジオ、室内や車内や野外など、様々な空間をVRコンテンツ/360度動画にて再現出来ます。
 
Ambisonics音声を入力してAmbisonics音声を出力するプラグイン仕様で、起動中の各360pan(パンナー)からは、固有の入力経路が設定されますdistanceとreverb widthのパラメータは各360pan画面上で、あるいはDAWのビデオ画面上に表示される、フェーダーで設定出来ます。

360rader -  360レーダー


360raderは、AmbisonicsによるミキシングあるいはAmbisonicsマイクで録音した素材の、どこに音声要素が存在するかを示します。Pro Toolsなどのビデオ画面上で表示されるので、とても有用です。

360turner -  360ターナー

360tunerは360raderの表示と共に働き、Ambisonicsマイクで録音した音声の位置を調整します。360度カメラと共に使用したマイクの、動画との位置のずれを簡単に正すことが出来ます。

Import / Export -  付属の変換プラグイン 

360fuma to ambix & 360ambix to fuma

 
AmbisonicsのBフォーマットには、チャンネル構成が2種類あります。以下の通りです。
・Fuma  : WXYZ のチャンネル構成で、AmbiX に比べて W が 3dB 低い。 
・AmbiX : WYZX のチャンネル構成。 
 
本製品 360pan suiteの他、Facebook、Oculus Video、YouTube、SamsungVR、Oculus は全て、音声方式は AmbiX のBフォーマットです。以下のように、FuMa によるチャンネル構成が採用されているプラットフォームもあります。
 
JauntVR : VR player
Audiokinetic WWise
TSL's Surround Zone
HarpexB
 
360pan suiteで、例えば上記向けのオーディオを制作するのであれば、「360ambix to fuma」を使用します。バウンス・ソースとなる Ambisonics の4chトラックにインサートして、必要とされる FuMa のチャンネル構成(とノーマライズ)に変換します。

360bounce export

 
2nd order(セカンド・オーダー)と呼ばれる9chのAmbisonics音声を制作する際は、変換プラグインの360bounceで、1st orderであるAmbisonicsのAmbiX(FOA / 4ch)へ簡単にエクスポート出来ます。

一般的にAmbisonicsというフォーマットは、高次元のチャンネルを除いて低次元のチャンネルへ変換することが可能です。しかし本製品と共にPro ToolsでAmbisonicsの信号を扱ううえでは、7.0.2トラックを利用する仕様にしてきたので、9chから4chへ変換するのに、チャンネルの序列が正しいか確定することが難しくなっています。そのためPro Tools上では、付属プラグインの360bounce exportを使用します。

ReaperとNuendoにおいては4chにexportまたはrenderを行えば、1st orderのAmbisonics音声に変換されます。
 
 
 

Specifications -  仕様(2017年7月現在、Version 2.0.2) 

 
動作環境
 
Mac OS X 10.8.5以降
 
ライセンスのオーサライズには、インターネット環境とiLokアカウントが必要です。オーサライズ情報の記録先は、iLok 2/3 USBキーまたはコンピュータ本体を選択出来ます。
 
 

 
プラグイン・フォーマット
 
・AAX(Native)
・VST3(使用出来るホスト・アプリケーションは限られます)
 
 

 
動作対象のDAW
 
・Pro Tools HD 11 - 12
・Reaper 5
・Nuendo 7(※ビデオ画面上の表示や操作に、現在対応していません)
 

Free Goodies -  便利な無償ツール 

Audio Easeのスタッフが、日々の業務で使用しているツールを公開します。全てのケースにおいて、正常動作する保証は無いことをご了承下さい。「Offline 360 video player」はGoogleのOmnitoneに、「Mac OS ffmeg droplets」はFFmpegに基づいています。

Offline 360 video player

(オフラインで動作する360動画プレイヤー)
 
手元のハードディスクや自身のネットワーク上から、360度音声を伴う360度映像をプレビュー出来るツールです。WEBブラウザ上で機能して、ファイルをアップロードする手間がありません。2017年3月1日現在、MacまたはWindowsのFirefox(最新)上で動作します。Google Chrome、MacのSafariでは正常機能しません。

 
 

 
アクセス先の画面上部、Load local videoの「ファイルを選択」をクリックして、手元の360度動画ファイルを読み込ませて下さい。 画質は良いうえ、ブラウザ画面は大きいので、360monitorでプレビューするよりも好ましい場合があるでしょう。最も良い点は、Google JumpやAndroid端末を用意する必要が無いことです。
 
上記URL先ではOmnitone - オムニトーンを利用しており、これはGoogle独自の360度ウェブAPIです。つまりAndroid端末やYouTube上での視聴と同様の技術で、アンビソニックスからバイノーラルに変換された音声を聴くということです。実際にYouTubeへアップロードする際に生じる、データの圧縮はありません。試しにアップロードするよりも速く、しかも安全です。
 
【ファイルは安全】
映像と音声ファイルは、お手元の(ネットワーク)ドライブから再生されます。上記URL先が読み込まれたあとにインターネット接続を切ってしまっても、このツールは働きます。公開前のファイルが、外部に流出する心配がありません。
 
【映像フォーマット】
対象は360度動画ファイルで、WebMのフォーマットです。併せて紹介するMac OS X用のツールを使用して、.webmに変換出来ます(後述)。
 
【音声プレビュー】
音声ファイルのみでもプレビュー可能です。Load local audio:「ファイルを選択」から、アンビソニックスの.wavファイル(インターリーブ)を適用すると自動再生されます(または「play」クリック)。画面をドラッグして視聴方向を変えると、音声も連動します。マウス等のホイール操作で、視野も調整出来ます。
 
(.webmへの変換には時間が掛かります。Audio Easeのスタッフはwebmを一旦作成したあと、各動画ごとにPro Toolsで作成した.wavファイルをバウンスし、映像と音声を個別に読み込ませて確認しています。)
 

Mac OS ffmpeg droplets

(Mac OS X用・映像フォーマット変換ツール)
 
 Audio Ease社が作成かつ業務で使用している、映像フォーマット変換のためのツールを取得出来ます。インターフェイス画面は無く、アイコン上へ変換元のファイルをドラッグ&ドロップすることで機能します(droplet - 一般的にドロップレットと呼ばれます)。ダウンロードすると「ffmpeg droplets by Audio Ease to convert video」というフォルダが出来上がります。その中には4種類の変換ツールと、UNIX系ソフトウェア「ffmeg」が収められています(下図)。
 

 
 

生成される映像ファイルは、変換元となるビデオと同じディレクトリに保存されます。 ffmpegは、4種類のツールが機能するために、これらと同じディレクトリに置いておく必要があります。
  
(1)Pro Tools用のビデオ変換(drop video to convert as pt_optimized)
映像ファイルを1/4の解像度に変換して、ProToolsの動作負担を軽減します。
 
(2)(3).webmファイル作成
例えばPro Toolsからエクスポートされたビデオファイルなど、4chのAmbiX音声を伴う映像ファイルから、先述の「Offline 360 video player」でプレビュー可能な、WebMファイルを作成します。高解像度用(drop video to convert to hi-res webm)と、低解像度用(drop video to convert to lo-res webm)の2つがあります。
 
(4)ステレオスコピック映像向け変換
ステレオスコピック映像を左側のみに切り取り、CPU負荷と表示エリアを節約します。
 
 これらのツールを Xcodeで書き換えたり、ターミナルで操作することなく、シンプルにビデオファイルをドラッグ&ドロップして、変換を待って下さい。Script Editorアプリでこれらのツールを開いて、どのように処理されているかをチェックしたり、必要であれば好みにより改変されるのは自由です。