AUDIO EASE - 360pan suite 3

まずは、公式動画をご覧ください(日本語字幕あり)

360pan suite 3 -  360パン・スイート・スリー

Ambisonics(アンビソニックス)による音響制作のためのプラグインが、多数収められたパッケージです。作り出される360度音響はVRコンテンツ等に使用され、ヘッドフォンの使用が最適であり、360度映像の視聴角度に追従する仕様です。
 
音源のパンニングや距離感など、ミキシング調整の多くを、Pro Tools HD/Ultimate、Nuendo、Cubase、Reaperのビデオ画面上で行うことが可能です。まずは、上のデモ動画をご覧ください。

ambisonics 360pan suite

360pan

360pan ambisonics パンナー

Pro Tools HDのビデオ画面上で操作を行い、音源のパンニング、距離感、360reverb(リバーブ/後述)を設定できます。
 

360monitor 

ambisonics 360monitor バイノーラル出力 プラグイン

制作中の360度音声ミックスを、360度映像の視聴角度に合わせてプレビューできます。同時に4ch/9ch/16chの1〜3次Ambisonics音声を、2chのバイノーラルなどへ変換します。
 

360reverb 

360reverb ambisonics リバーブ プラグイン IR

初めてのAmbisonics音声用のコンボリューション・リバーブです。ホールから野外まで、50以上ものインパルス・レスポンスによる空間データを収録しています。
 

360limiter 

360limiter ambisonics リミッター プラグイン

Ambisonics音声専用のリミッター・プラグインです。
 

360rader

360rader ambisonics

Ambisonics音場内で、音響情報の存在と位置を示します。Pro Toolsのビデオ画面上で表示されるので、とても有用です。
 

360turner

360turner ambisonics

360raderによる表示を確認しながら、Ambisonicsマイクで収録した音声を調整して、上下左右位置などを正します。
 

What is 360pan suite 3 for ?
360pan suite 3の用途(本製品には、複数のプラグインが収められています)

360pan suiteが音声方式をサポートするビデオ形式には、以下のように様々な呼称が存在します。 
 

  • 360度映像 / 360° video
  • VR動画 / VR video
  • バーチャル・リアリティ映像
  • パノラマ動画 / Panoramic video
  • 全天球映像 / Spherical video

 
これらの映像の為のオーディオ・トラックは、ヘッドマウント・ディスプレイを装着した視聴者の頭部や、スマートフォンの視聴角度を変えた際に連動する仕様です。 

そして360度動画の再生に対応している「プラットフォーム」は、例えば以下のようなものがあります。 
 

  • Facebook 360
  • Oculus Video
  • YouTube 360
  • SamsungVR
  • Jaunt
  • Vive
  • SteamVR
  • PlayStation VR

これらのプラットフォームは、インタラクティブな音声の方向調整を可能とする技術として、Ambisonicsを採用しています。つまりポストプロダクションの音声エンジニアは、Ambisonicsによるミキシングを行わねばなりません。それはBフォーマットという方式で、出力は最小で4chの構成です。さらにBフォーマットには、AmbiXとFuMaという、2種類のチャンネル構成が存在します。
 
YouTubeにアップロードするには、AmbiXのAmbisonicsによる音声が必要で、360pan suiteで制作可能です。さらにFacebookの「2nd order」と呼ばれる2次の、あるいは16chで構成される3次のAmbisonicsにも対応しています。

360pan -  360パン 

360panを使用すれば、モノ、ステレオ、4chの音声ファイルをAmbisonicsの音場でパンニングすることが容易です。Pro Toolsなどのビデオ画面上で、音声の位置を示す印(パック)を操作するだけです。勿論、オートメーション制御も可能です。
 
360panを音声トラックにインサートして、show puckとshow overlayを有効にすると、360reverb(後述)のGain、Distance、Rev Width値が、Pro Toolsのビデオ画面上で設定できます。パックの上へマウスのポインタを持っていき、傍に出てくるアイコンをクリックすると、3本のスライダーが表示されます。

AUXとセンド/リターンによる、従来の方法でもリバーブの360reverb(後述)は使用可能です。しかし、もっと巧みに操作できる仕様も備えます。
 
モノやステレオの音源がAmbisonicsに変換されると、Ambisonicsのバスにおいて左右、上下、前後位置の情報を伴います。各音声トラックに360panをインサートするのは、同様の処理を行うためです。つまり360panはプラグインとして、モノ/ステレオ/4chの入力、Ambisonicsの出力という仕様です。
 
複数の360reverbを起動すると、それぞれにAmbisonicsの入力経路が作られます。それはバックドア(裏口)のようなもので、360panからのみ接続できる経路です。起動した全ての360reverbは、各360pan画面上に出力先(send)として表示されます。起動中の360panは各360reverbと結び付いて、音源ごとに距離感やリバーブの広がりを調整できます。例えばセッション内に360reverbが1つしか起動していなくても、それを使用する音源数に限りはありません。

ambisonics リバーブ調整

360monitor -  360モニター 

360monitorは、DAWのビデオ画面から映像を取り込み、マウスによるドラッグ可能な画面に送りながら、Ambisonicsの音声をヘッドフォンに最適なバイノーラルの2chに変換します。つまりミキシング中に360度映像を動かしながら、追従する360度音声をプレビューできるのです。
 
左図にて選択されている音声フォーマットは、9chです。ゆえに、この360monitorは9ch(2次Ambisonics)バスにインサートされており、ヘッドフォンによる視聴を前提として音声を2chへ変換しています。

ヘッド・トラッキング機能

 
市販のヘッド・トラッキング装置を、使用するヘッドフォンに備え付けて、360monitor画面を操作できます。コンテンツの視聴者が、実際に360度映像を観る際に近い音声が確認できます。マニュアルの参考資料3に、使い方や調整の方法が記載されています(日本国内における、本機能のサポートは未定です)。

360reverb -  360リバーブ

360reverbは、初の360度音声によるコンボリューション・リバーブです。プラグインとして1つ起動するだけで、音源数に際限無く、共通の残響成分を適用できます。リバーブ成分はパンニングに追従し、各音源で個別に調整可能。
 
Ambisonicsマイクによって収録された、50以上ものインパルス・レスポンスを収録。コンサート・ホールやレコーディング・スタジオ、室内や車内や野外など、様々な空間をVRコンテンツ/360度動画にて再現できます。
 
Ambisonics音声を入力してAmbisonics音声を出力するという仕様で、起動中の各360pan(パンナー)からは、固有の入力経路が設定されます。distanceとreverb widthのパラメータは各360pan上で、またはDAWのビデオ画面上に表示されるフェーダーで設定できます。

360limiter -  360リミッター

360panを使用すれば、モノ、ステレオ、4chの音声ファイルをAmbisonicsの音場でパンニングすることが容易です。Pro Tools HDのビデオ画面上で、音声の位置を示す印(パック)を操作するだけです。勿論、オートメーション制御も可能です。
 
360panを音声トラックにインサートして、show puckとshow overlayを有効にすると、360reverb(後述)のGain、Distance、Rev Width値が、Pro Toolsなどのビデオ画面上で設定できます。パックの上へマウスのポインタを持っていき、傍に出てくるアイコンをクリックすると、3本のスライダーが表示されます。

 

360rader-  360レーダー

360raderは、AmbisonicsによるミキシングあるいはAmbisonicsマイクで録音した素材の、どこに音声要素が存在するかを示します。Pro Toolsなどのビデオ画面上で表示されるので、とても有用です。

360turner -  360ターナー

ambisonics 360turner

360turnerは360raderの表示と共に動作して、Ambisonicsマイクで録音した音声の位置を調整します。360度カメラと共に使用したマイクの、動画との位置のずれを簡単に正すことができます。

Import / Export -  付属の変換プラグイン 

360fuma to ambix と 360ambix to fuma
 
AmbisonicsのBフォーマットには、チャンネル構成が2種類あります。
 

  • Fuma  : WXYZ のチャンネル構成/AmbiXに比べてWが3dB低 
  • AmbiX : WYZX のチャンネル構成

 
本製品のほか、Facebook、Oculus Video、YouTube、SamsungVR、Oculusは全て、音声方式は AmbiXのBフォーマットです。以下のように、FuMaによるチャンネル構成が採用されているプラットフォームもあります。
 

  • JauntVR : VR player
  • Audiokinetic WWise
  • TSL's Surround Zone
  • HarpexB

 
例えば上記向けの音声を制作するのであれば、プラグイン「360ambix to fuma」を使用します。バウンス・ソースとなる Ambisonics のトラックにインサートして、必要なFuMaのチャンネル構成(とノーマライズ)に変換します。

AmbiX への変換プラグインは不要です。
 
360pan suite 3は、標準的なAmbiXのフォーマットに則っています。パッケージに収められている、どのプラグインからもAmbiXのAmbisonics音声が出力されます。AmbiXへの変換/出力プラグインの類を、他に使用する必要はありません。これはAmbiXのAmbisonics音声に対応する、他のプラグインと併用できるということでもあります。

Specifications -  仕様(Version 3.2.0) 

システム要件

 
iLokアカウント
360pan suiteのオーサライズ情報は、iLok 2/3 USBキーまたは使用コンピュータ(要iLokアカウント)に記録することができます。
 
 macOS
Mac OS X 10.8.5 〜 macOS 14 Sonoma
(Appleシリコン搭載環境は、Rosetta 2経由にて動作)
 
Windows
Windows 8以降

検証済のホスト・アプリケーション

 
 
Pro Tools HD 12.8.2 〜、Ultimate 2018 〜 2022
現時点で、Pro Tools 2023には未対応となっています(ビデオ画面を検出できません)。Pro Tools 2022までをご使用ください。
 
Nuendo 7 〜
Cubase 9 〜
Reaper 5 〜
 
※ Pro Tools HD 11〜12.8.1で360pan suite「2」を使用できますが、現行バージョン「3」と互換性がありません。Pro Tools HD 12.8.2以降で「3」の使用開始が推奨されます。
 
以上は、Audio Ease社による英語OS環境での検証結果です。

Free Goodies
Audio Easeのスタッフが、日々の業務で使用しているツールを公開します。全てのケースにおいて、正常動作する保証は無いことをご了承ください。「Offline 360 video player」はGoogleのOmnitoneに、「Mac OS ffmeg droplets」はFFmpegに基づいています。

1. Offline 360 video player
(オフラインで動作する360動画プレイヤー)
 
手元のハードディスクや自身のネットワーク上から、360度音声を伴う360度映像をプレビューできるツールです。WEBブラウザ上で機能して、ファイルをアップロードする手間がありません。MacまたはWindowsのFirefox(最新)上で動作します。Google Chrome、MacのSafariでは正常機能しません。

 
360 video player
 

 
アクセス先の画面上部、Load local videoの「ファイルを選択」をクリックして、手元の360度動画ファイルを読み込ませてください。画質は良いうえ、ブラウザ画面は大きいので、360monitorでプレビューするよりも好ましい場合があるでしょう。最も良い点は、Google JumpやAndroid端末を用意する必要が無いことです。
 
上記URL先ではOmnitone - オムニトーンを利用しており、これはGoogle独自の360度ウェブAPIです。つまりAndroid端末やYouTube上での視聴と同様の技術で、アンビソニックスからバイノーラルに変換された音声を聞くということです。実際にYouTubeへアップロードする際に生じる、データの圧縮はありません。試しにアップロードするよりも速く、しかも安全です。
 
【ファイルは安全】
映像と音声ファイルは、お手元の(ネットワーク)ドライブから再生されます。 上記URL先が読み込まれたあとにインターネット接続を切ってしまっても、このツールは働きます。 公開前のファイルが、外部に流出する心配がありません。
 
【映像フォーマット】
対象は360度動画ファイルで、WebMのフォーマットです。併せて紹介するMac OS X用のツールを使用して、.webmに変換できます(後述)。
 
【音声プレビュー】
音声ファイルのみでもプレビュー可能です。Load local audio:「ファイルを選択」から、アンビソニックスの.wavファイル(インターリーブ)を適用すると自動再生されます(または「play」クリック)。画面をドラッグして視聴方向を変えると、音声も連動します。マウス等のホイール操作で、視野も調整できます。
 
(.webmへの変換には時間が掛かります。Audio Easeのスタッフはwebmを一旦作成したあと、各動画ごとにPro Toolsで作成した.wavファイルをバウンスし、映像と音声を個別に読み込ませて確認しています。)
 

2. Mac OS ffmpeg droplets
(Mac OS X用・映像フォーマット変換ツール)
 
 Audio Ease社が作成かつ業務で使用している、映像フォーマット変換のためのツールを取得できます。インターフェイス画面は無く、アイコン上へ変換元のファイルをドラッグ&ドロップすることで機能します(droplet - 一般的にドロップレットと呼ばれます)。ダウンロードすると「ffmpeg droplets by Audio Ease to convert video」というフォルダが出来上がります。その中には4種類の変換ツールと、UNIX系ソフトウェア「ffmeg」が収められています(下図)。
 

 
ffmpeg droplets
 

生成される映像ファイルは、変換元となるビデオと同じディレクトリに保存されます。 ffmpegは、4種類のツールが機能するために、これらと同じディレクトリに置いておく必要があります。
  
【 Pro Tools用のビデオ変換 - drop video to convert as pt_optimized - 】
映像ファイルを1/4の解像度に変換して(DNxHD)、ProToolsの動作負担を軽減します(Audio Ease社では、スティッチ済みのGear 360用素材に変換するにも使用)。
 
【 webmファイル作成 】
例えばPro Toolsからエクスポートされたビデオファイルなど、4chのAmbiX音声を伴う映像ファイルから、先述の「Offline 360 video player」でプレビュー可能な、WebMファイルを作成します。高解像度用(drop video to convert to hi-res webm)と、低解像度用(drop video to convert to lo-res webm)の2つがあります。
 
【 Jump Inspector用ファイル作成 】
Googleの360度動画・閲覧アプリ「Jump Inspector」を使い、アンドロイド端末でプレビューできるファイルを作成します。 
 
【 ステレオスコピック映像向け変換 】
ステレオスコピック映像を左側のみに切り取り、CPU負荷と表示エリアを節約します。
 
 これらのツールを Xcodeで書き換えたり、ターミナルで操作することなく、シンプルにビデオファイルをドラッグ&ドロップして、変換を待ってください。Script Editorアプリでこれらのツールを開いて、どのように処理されているかをチェックしたり、必要であれば好みにより改変されるのは自由です。