ライブ配信やビデオ会議で、映像・音声のクオリティを向上できる「NVIDIA Broadcast」
先日はマイク用ノイズキャンセリングアダプターを使って、ビデオ会議中に周囲の雑音をどれだけシャットアウトできるかを試してみた。会議中にキー入力をしてもマイクがタイプ音を拾わないので、議事録を作成する時などに重宝している。
……この記事を書いている時点で、東京都でまん延防止等重点措置が解除されてから312日が過ぎた。
私が勤めている新宿にある中小企業では現在、各スタッフが可能な範囲でリモートによる業務を行っている。その中で、今回は同じようなノイズ除去機能が使える無料アプリ「NVIDIA Broadcast」の使い勝手を試してみた。
【今回のハイライト】
マイクやスピーカーで周辺ノイズを除去
背景の合成やぼかしも可能
よそ見をしていても大丈夫!?
1月23日（月）：「NVIDIA Broadcast」のインストールに成功！
NVIDIA製の割と新しめなグラフィックボードを搭載しているPCで利用できる、映像配信向けの無料アプリ「NVIDIA Broadcast」。実は以前に使おうとしたことがあったのだが、その時には要件を満たしているはずなのに、なぜかインストールに失敗してしまった。
その後、昨年末に自宅でメインに使っている自作PCを組みなおしたので、「アプリが使えるようになっていないかなぁ？」と試してみたところ、何事もなかったようにインストールが完了した。グラボはそのまま、CPUやマザーボードを刷新しただけだったのだが、何らかの環境がセーフとみなされたらしい。
「NVIDIA Broadcast」のシステム要件
以前は失敗したが、今回は無事にインストールを実行できた
ということで、今回は「NVIDIA Broadcast」を使って、ビデオ会議の画質や音質を向上させてみたいと思う。NVIDIAの公式サイトで紹介されている、アプリの主な機能は以下の通り。
- ノイズ除去とエコー除去
- バーチャル背景
- オート フレーミング
- ビデオ ノイズ除去
- Eye Contact
このうち、「ノイズ除去とエコー除去」については、マイク側だけでなく、スピーカー側についても対応。「オート フレーミング」は被写体に映像が追従し、「Eye Contact」は自動でカメラ目線に補正してくれるというように、NVIDIAらしいAIを駆使したものになっている。
明日にはZoomを使った会社の全体ミーティングがあるので、さっそくこのアプリを使ってみたい。
1月24日（火）：ビデオ会議中にキーボードをガチャつかせても大丈夫！
そろそろ会社の全体ミーティングの時間なので、マイクやカメラをPCに接続。その上で、「NVIDIA Broadcast」を起動すると、使用するマイクの選択画面が表示された。ここで指定したマイクについて、「ノイズ除去」と「ルームエコー除去」という2つのエフェクトを追加できるらしい。
その後、Zoomでマイクとして「NVIDIA Broadcast」からの音声出力を使用するように設定。ビデオ会議に参加したところ、こちらの声がきちんと参加者全員に届いた。今回は「ノイズ除去」のエフェクトのみを有効にしたのだが、マイクの近くで打鍵音がうるさ目のメカニカルキーボードをタイピングしても、タイプ音が相手に聞こえることはなかったようだ。
これまでにルームエコーが気になったことは無かったので、ノイズ除去のエフェクトのみを有効に
Zoomの設定画面で、「オーディオ」の「マイク」に「マイク（NVIDIA Broadcast）」を指定
ただ、ミーティング後にビデオ会議に残ってもらった同僚に協力してもらったところ、同じ部屋で付けたテレビの音声のうち、人の声だけは除去されずに相手に聞こえてしまった。どうやら、「NVIDIA Broadcast」の力をもってしても、テレビやYouTubeを見ながらビデオ会議に参加することはできないらしい。いや、やらないけれども。
1月25日（水）：ヘッドセットなら人の声も除去できないだろうか？
昨日はノイズ除去のエフェクト検証にコンデンサーマイク「Moman EM1 USB Microphone」を利用したため、周囲の雑音を広く拾っていたような気がする。これが、一般的なヘッドセットを使った場合にはどうなるか？ 気になったので、会社で使っているヘッドセットを持ち帰って、実際に試してみた。
自宅でビデオ会議に使っているコンデンサーマイク「Moman EM1 USB Microphone」
会社で利用しているごく一般的なヘッドセット
まずは、「ノイズ除去」のエフェクトを使っていない状態で、周囲の雑音の拾い方を確認したところ、キーボードのタイプ音のような大きな音はしっかりと拾っていた。1mほど離れた場所にあるテレビの音声も、コンデンサーマイクほどではないが小さく拾っている。
ここで、「ノイズ除去」のエフェクトを有効にしたところ、キーボードのタイプ音はもちろん、テレビで話している人の声もきれいに除去することができた。これなら、ビデオ会議中に家族に話しかけられても大丈夫……かと思ったのだが、残念ながらリアルで話している人の声はノイズと認識されない模様。1～2m離れた場所からヘッドセットに話しかけてみると、小さくではあるが声が聞き取れてしまった。残念。
1月26日（木）：録音データから風切り音をカットできたが……
マイク側における「ノイズ除去」の効果は確認できたので、今度はスピーカー側のエフェクト効果を確認することに。自宅にある音源をいろいろ探してみたところ、風が強い日のインタビューを収録した、ボイスレコーダーの録音データが見つかった。風切り音が邪魔して相手の声が聴き取りにくかったので、これを除去できないか試してみたい。
PCのスピーカーで鳴らす音からノイズを除去する場合には、アプリの「スピーカー」画面で、「オーディオ出力」にPCのスピーカーを指定。さらに、Windowsの「設定」で、音声の出力を「NVIDIA Broadcast」にすればよい。
「スピーカー」タブで音声出力に利用しているスピーカーを指定して、「ノイズ除去」のエフェクトを有効に
Windowsの「設定」画面で、「サウンド」の「出力」を「NVIDIA Broadcast」に指定
この状態で先ほどの音源を再生したところ、風切り音を完全に除去することができたのだが、インタビュー相手の声も途切れ途切れになってしまった。どうやら、小声になった時などに、相手の声がノイズと識別されてしまったらしい。もしも、次に同じようなシーンでの収録があったら、なるべくマイクを相手に近い位置にして、声を拾った方が良さそうだ。
1月27日（金）：カメラ映像用のエフェクトは全部で7種類
「カメラ」画面では全部で7種類のエフェクトを利用できる
「NVIDIA Broadcast」では映像関係のエフェクトを使って、カメラの映像をリアルタイムで加工できる。これらのエフェクトのうち、一番使えそうだと思ったのが「オートフレーミング」だ。
このエフェクトでは、カメラ映像のうち人が映っている部分を拡大して表示。その上で人が移動しようとすると、それに追従するように映像をパン（移動）してくれる。ようするに、“拡大したことで表示されなくなったカメラ映像の範囲”内で、人が常に中心に映るように、カメラのアングルを自動で調整してくれるというわけだ。
筆者の環境ではiPhoneがWebカメラ代わりになっているので、ビデオ会議の時にはスマホスタンドに固定して使っている。この時、スタンドの位置によっては、顔が小さく、画面の左右の隅に映ってしまうのだが、エフェクトを使うことで顔を中心に映像が自動で拡大された。キーボードやモニターが邪魔で、カメラの配置に困っていたので、この機能はかなりありがたい。
カメラ映像をアップで表示することができ、合わせて自動で顔が中央に来るように補正される
また、ユニークさという点では、「アイコンタクト」というエフェクトも見逃せない。こちらは、カメラ映像に映った人の目をアプリが認識。よそ見などで視線が反れても、カメラ目線になるように黒目の位置を自動で補正してくれるという機能だ。
アプリ内では「ベータ版」と表示されていたが、実際に試してみたところ、ちゃんと目線が正面を向いているように黒目の部分を合成してくれた。相手からすると、こちらをガン見しているような状態にはなるが……、フォーマルな会議でこちらの真剣さを伝えるためにはアリかもしれない。
「アイコンタクト」のエフェクトを有効にすると……
目線が正面を向いているかのように、黒目の部分が自動で合成された
その他、「NVIDIA Broadcast」では、「ビデオノイズ除去」や「ビネット」など、映像編集系のアプリに用意されているようなエフェクトを、リアルタイムでカメラ映像に反映させることが可能。「背景ぼかし」と「背景交換」というエフェクトは、Zoomでいうところの「バーチャル背景」のようなものだ。カメラに写っている人物だけを認識して、それ以外の部分をぼかしたり、写真と置き換えることができる。
実際に背景加工のエフェクトについて、カメラの角度をいろいろ変えて試してみたところ、人体と認識される範囲はZoomよりも若干広いようだ。Zoomなどのビデオ会議サービスで背景にエフェクトを加えた際、顔が背景と認識されて消えてしまうような時には、「NVIDIA Broadcast」を使えば改善されるかもしれない。ただ、黒や茶色のものが背景にあると、それが人体の一部と認識されて画面に映りこんでしまうこともあるようだ。
「背景交換」のエフェクトで背景を合成。好きな画像を指定して、合成することもできる
ノイズ除去や背景加工を行うアプリは、単体であればいくつか存在するが、それが1つにまとまっているというのは使い勝手が良い。ビデオ会議を始める前に、このアプリ1つを起動させればよいので、何かと手放せないツールになりそうだ。
とある中小企業に勤める会社員、飛田氏による体当たりレポート「急遽テレワークを導入した中小企業の顛末記」。バックナンバーもぜひお楽しみください。
