360pan suite 3 - 360パン・スイート・スリー
Ambisonics（アンビソニックス）による音響制作のためのプラグインが、多数収められたパッケージです。作り出される360度音響はVRコンテンツ等に使用され、ヘッドフォンの使用が最適であり、360度映像の視聴角度に追従する仕様です。
音源のパンニングや距離感など、ミキシング調整の多くを、Pro Tools HD/Ultimate、Nuendo、Cubase、Reaperのビデオ画面上で行うことが可能です。まずは、上のデモ動画をご覧下さい。
Pro Tools HDのビデオ画面上で操作を行い、音源のパンニング、距離感、360reverb（リバーブ/後述）を設定出来ます。
制作中の360度音声ミックスを、360度映像の視聴角度に合わせてプレビュー出来ます。同時に4ch/9ch/16chの1〜3次Ambisonics音声を、2chのバイノーラルなどへ変換します。
初めてのAmbisonics音声用のコンボリューション・リバーブです。ホールから野外まで、50以上ものインパルス・レスポンスによる空間データを収録しています。
Ambisonics音声専用のリミッター・プラグインです。
Ambisonics音場内で、音響情報の存在と位置を示します。Pro Toolsのビデオ画面上で表示されるので、とても有用です。
360raderによる表示を確認しながら、Ambisonicsマイクで収録した音声を調整して、上下左右位置などを正します。
What is 360pan suite 3 for ?
360pan suite 3の用途（本製品には、複数のプラグインが収められています）
360pan suiteが音声方式をサポートするビデオ形式には、以下のように様々な呼称が存在します。
- 360度映像 / 360° video
- VR動画 / VR video
- バーチャル・リアリティ映像
- パノラマ動画 / Panoramic video
- 全天球映像 / Spherical video
これらの映像の為のオーディオ・トラックは、ヘッドマウント・ディスプレイを装着した視聴者の頭部や、スマートフォンの視聴角度を変えた際に連動する仕様です。
そして360度動画の再生に対応している「プラットフォーム」は、例えば以下のようなものがあります。
- Facebook 360
- Oculus Video
- YouTube 360
- SamsungVR
- Jaunt
- Vive
- SteamVR
- PlayStation VR
これらのプラットフォームは、インタラクティブな音声の方向調整を可能とする技術として、Ambisonicsを採用しています。つまりポストプロダクションの音声エンジニアは、Ambisonicsによるミキシングを行わねばなりません。それはBフォーマットという方式で、出力は最小で4chの構成です。さらにBフォーマットには、AmbiXとFuMaという、2種類のチャンネル構成が存在します。
YouTubeにアップロードするには、AmbiXのAmbisonicsによる音声が必要で、360pan suiteで制作可能です。さらにFacebookの「2nd order」と呼ばれる2次の、あるいは16chで構成される3次のAmbisonicsにも対応しています。
360pan - 360パン
360panを使用すれば、モノ、ステレオ、4chの音声ファイルをAmbisonicsの音場でパンニングすることが容易です。Pro Tools HDのビデオ画面上で、音声の位置を示す印（パック）を操作するだけです。勿論、オートメーション制御も可能です。
360panを音声トラックにインサートして、"show puck"と"show overlay"を有効にすると、360reverb（後述）の"Gain"、"Distance"、"Rev Width" 値が、Pro Toolsのビデオ画面上で設定出来ます。パックの上へマウスのポインタを持って行き、傍に出て来るアイコンをクリックすると、3本のスライダーが表示されます。
Signal Flow - 音声信号の流れ
AUXとセンド/リターンによる、従来の方法でもリバーブの360reverb（後述）は使用可能です。しかし、もっと巧みに操作出来る仕様も備えています。
モノやステレオの音源がAmbisonicsに変換されると、Ambisonicsのバスにおいて左右、上下、前後位置の情報を伴います。各音声トラックに360panをインサートするのは、同様の処理を行うためです。つまり360panはプラグインとして、モノ/ステレオ/4chの入力、Ambisonicsの出力という仕様です。
複数の360reverbを起動すると、それぞれにAmbisonicsの入力経路が作られます。それはバックドア（裏口）のようなもので、360panからのみ接続出来る経路です。起動した全ての360reverbは、各360pan画面上に出力先（send）として表示されます。起動中の360panは各360reverbと結び付いて、音源ごとに距離感やリバーブの広がりを調整出来ます。例えばセッション内に360reverbが1つしか起動していなくても、それを使用する音源数に限りはありません。
この使い方に加えて、一般的なセンド/リターンの為の入力も同時に機能します。
360monitor - 360モニター
360monitorは、DAWのビデオ画面から映像を取り込み、マウスによるドラッグ可能な画面に送りながら、Ambisonicsの音声をヘッドフォンに最適なバイノーラルの2chに変換します。つまりミキシング中に360度映像を動かしながら、追従する360度音声をプレビューすることが出来るのです。
左図にて選択されている音声フォーマットは9chです。ゆえに、この360monitorは9ch（2次Ambisonics）バスにインサートされており、ヘッドフォンによる視聴を前提として音声を2chへ変換しています。
参考 : 360monitorを表示している間は、CPUへの負荷が大きくなります。これはPro Tools など、DAWのビデオ画面から映像を引き込んでいるからです。DAWのビデオ画面を小さくすることで、360monitorの操作は軽くなります。
ヘッド・トラッキング機能
市販のヘッド・トラッキング装置を、使用するヘッドフォンに備え付けて、360monitor画面を操作することが出来ます。コンテンツのユーザーが、実際に360度映像を視聴する際に近い音声が確認出来ます。マニュアルのAppendix 3に、使い方や調整の方法が記載されています（日本国内における本機能のサポートは未定です)。
360reverb - 360リバーブ
360reverbは、初めての360度音声によるコンボリューション・リバーブです。プラグインとして1つ起動するだけで、音源の数に際限無く、共通の残響成分を適用出来ます。リバーブ成分はパンニングに追従し、各音源で個別の調整が可能です。
Ambisonicsマイクによって収録された、50以上ものインパルス・レスポンスを収録しています。コンサート・ホールやレコーディング・スタジオ、室内や車内や野外など、様々な空間をVRコンテンツ/360度動画にて再現出来ます。
Ambisonics音声を入力してAmbisonics音声を出力するという仕様で、起動中の各360pan（パンナー）からは、固有の入力経路が設定されます。distanceとreverb widthのパラメータは各360pan画面上で、あるいはDAWのビデオ画面上に表示される、フェーダーで設定出来ます。
360limiter - 360リミッター
360panを使用すれば、モノ、ステレオ、4chの音声ファイルをAmbisonicsの音場でパンニングすることが容易です。Pro Tools HDのビデオ画面上で、音声の位置を示す印（パック）を操作するだけです。勿論、オートメーション制御も可能です。
360panを音声トラックにインサートして、"show puck"と"show overlay"を有効にすると、360reverb（後述）の"Gain"、"Distance"、"Rev Width" 値が、Pro Toolsのビデオ画面上で設定出来ます。パックの上へマウスのポインタを持って行き、傍に出て来るアイコンをクリックすると、3本のスライダーが表示されます。
360rader- 360レーダー
360raderは、AmbisonicsによるミキシングあるいはAmbisonicsマイクで録音した素材の、どこに音声要素が存在するかを示します。Pro Toolsなどのビデオ画面上で表示されるので、とても有用です。
360turner - 360ターナー
360tunerは360raderの表示と共に働き、Ambisonicsマイクで録音した音声の位置を調整します。360度カメラと共に使用したマイクの、動画との位置のずれを簡単に正すことが出来ます。
Import / Export - 付属の変換プラグイン
360fuma to ambix と 360ambix to fuma
AmbisonicsのBフォーマットには、チャンネル構成が2種類あります。以下の通りです。
・Fuma : WXYZ のチャンネル構成で、AmbiX に比べて W が 3dB 低い。
・AmbiX : WYZX のチャンネル構成。
本製品 360pan suiteの他、Facebook、Oculus Video、YouTube、SamsungVR、Oculus は全て、音声方式は AmbiX のBフォーマットです。以下のように、FuMa によるチャンネル構成が採用されているプラットフォームもあります。
JauntVR : VR player
Audiokinetic WWise
TSL's Surround Zone
HarpexB
360pan suiteで、例えば上記向けのオーディオを制作するのであれば、プラグイン「360ambix to fuma」を使用します。バウンス・ソースとなる Ambisonics のトラックにインサートして、必要な FuMa のチャンネル構成（とノーマライズ）に変換します。
AmbiX への変換プラグインは不要です。
360pan suite 3は、標準的なAmbiXのフォーマットに則っています。パッケージに収められている、どのプラグインからもAmbiXのAmbisonics音声が出力されます。AmbiXへの変換/出力プラグインの類を、他に使用する必要はありません。これはAmbiXのAmbisonics音声に対応する、他のプラグインと併用出来るということでもあります。
Specifications - 仕様（Version 3.2.0）
動作環境
・Mac OS 10.8.5 〜 12 Monterey（Appleシリコン搭載環境は、Rosetta 2経由にて動作）
※ macOS MontereyのPro Tools環境で使用する場合、2021.12以降が必要です。
・Windows 8、10
ライセンスのオーサライズには、インターネット環境とiLokアカウントが必要です。オーサライズ情報の記録先は、iLok 2/3 USBキーまたはコンピュータ本体を選択できます。
動作対象のDAW
・Pro Tools HD 12.8.2 〜、Ultimate 2018 〜
・Nuendo 7 〜
・Cubase 9 〜
・Reaper 5 〜
※ Pro Tools HD 11〜12.8.1で360pan suite「2」を使用出来ますが、バージョン「3」での使用開始を推奨
Free Goodies
Audio Easeのスタッフが、日々の業務で使用しているツールを公開します。全てのケースにおいて、正常動作する保証は無いことをご了承下さい。「Offline 360 video player」はGoogleのOmnitoneに、「Mac OS ffmeg droplets」はFFmpegに基づいています。
1. Offline 360 video player
（オフラインで動作する360動画プレイヤー）
手元のハードディスクや自身のネットワーク上から、360度音声を伴う360度映像をプレビュー出来るツールです。WEBブラウザ上で機能して、ファイルをアップロードする手間がありません。2017年3月1日現在、MacまたはWindowsのFirefox（最新）上で動作します。Google Chrome、MacのSafariでは正常機能しません。
アクセス先の画面上部、Load local videoの「ファイルを選択」をクリックして、手元の360度動画ファイルを読み込ませて下さい。画質は良いうえ、ブラウザ画面は大きいので、360monitorでプレビューするよりも好ましい場合があるでしょう。最も良い点は、Google JumpやAndroid端末を用意する必要が無いことです。
上記URL先ではOmnitone - オムニトーンを利用しており、これはGoogle独自の360度ウェブAPIです。つまりAndroid端末やYouTube上での視聴と同様の技術で、アンビソニックスからバイノーラルに変換された音声を聴くということです。実際にYouTubeへアップロードする際に生じる、データの圧縮はありません。試しにアップロードするよりも速く、しかも安全です。
【ファイルは安全】
映像と音声ファイルは、お手元の（ネットワーク）ドライブから再生されます。 上記URL先が読み込まれたあとにインターネット接続を切ってしまっても、このツールは働きます。 公開前のファイルが、外部に流出する心配がありません。
【映像フォーマット】
対象は360度動画ファイルで、WebMのフォーマットです。併せて紹介するMac OS X用のツールを使用して、.webmに変換出来ます（後述）。
【音声プレビュー】
音声ファイルのみでもプレビュー可能です。Load local audio:「ファイルを選択」から、アンビソニックスの.wavファイル（インターリーブ）を適用すると自動再生されます（または「play」クリック）。画面をドラッグして視聴方向を変えると、音声も連動します。マウス等のホイール操作で、視野も調整出来ます。
（.webmへの変換には時間が掛かります。Audio Easeのスタッフはwebmを一旦作成したあと、各動画ごとにPro Toolsで作成した.wavファイルをバウンスし、映像と音声を個別に読み込ませて確認しています。）
2. Mac OS ffmpeg droplets
（Mac OS X用・映像フォーマット変換ツール）
Audio Ease社が作成かつ業務で使用している、映像フォーマット変換のためのツールを取得出来ます。インターフェイス画面は無く、アイコン上へ変換元のファイルをドラッグ&ドロップすることで機能します（droplet - 一般的にドロップレットと呼ばれます）。ダウンロードすると「ffmpeg droplets by Audio Ease to convert video」というフォルダが出来上がります。その中には4種類の変換ツールと、UNIX系ソフトウェア「ffmeg」が収められています（下図）。
生成される映像ファイルは、変換元となるビデオと同じディレクトリに保存されます。 ffmpegは、4種類のツールが機能するために、これらと同じディレクトリに置いておく必要があります。
【 Pro Tools用のビデオ変換 - drop video to convert as pt_optimized - 】
映像ファイルを1/4の解像度に変換して(DNxHD)、ProToolsの動作負担を軽減します（Audio Ease社では、スティッチ済みのGear 360用素材に変換するにも使用）。
【 webmファイル作成 】
例えばPro Toolsからエクスポートされたビデオファイルなど、4chのAmbiX音声を伴う映像ファイルから、先述の「Offline 360 video player」でプレビュー可能な、WebMファイルを作成します。高解像度用（drop video to convert to hi-res webm）と、低解像度用（drop video to convert to lo-res webm）の2つがあります。
【 Jump Inspector用ファイル作成 】
Googleの360度動画・閲覧アプリ「Jump Inspector」を使い、アンドロイド端末でプレビュー出来るファイルを作成します。
【 ステレオスコピック映像向け変換 】
ステレオスコピック映像を左側のみに切り取り、CPU負荷と表示エリアを節約します。
これらのツールを Xcodeで書き換えたり、ターミナルで操作することなく、シンプルにビデオファイルをドラッグ&ドロップして、変換を待って下さい。Script Editorアプリでこれらのツールを開いて、どのように処理されているかをチェックしたり、必要であれば好みにより改変されるのは自由です。