【西川善司のグラフィックスMANIAC】ストリートファイターVのトレモステージは本当に入力遅延が小さいのか？NVIDIA Reflex Analyzerで検証してみた

【質問1】計測で用いていたバルログの小キックは3フレーム技のはずなのに、記事で公開された入力遅延の計測結果(以下のグラフ)は、どれも60fpsの1フレーム時間の16.66msの3フレーム分である約50msを大きく超えていたのはなぜですか？

　格闘ゲームにおける「3フレーム技」は、確かに定義上、約50ms(≒16.66×3フレーム)の発生遅延時間がある。ただ、これは、ゲーム進行を司る衝突判定メカニクス側の「攻撃判定が発生するまでの時間」である。

　第2回で、NVIDIA Reflex Analyzerで測定した入力遅延値とは、ゲームコントローラのボタンを押してから、バルログが膝を腰の高さまで突き上げて、その膝が計測ポイントに到達するまでの時間なので「攻撃発生するまでの時間」と完全に一致するとは限らないのだ。

　というのも、もしかするとゲームメカニクス処理側では、膝が計測ポイントに到達する前……それこそ、バルログの膝がある程度上がった時点から攻撃判定が発生しているかもしれないからだ。

　なにしろ、ストリートファイターVは、グラフィックスは3DCGベースだが、攻撃判定自体は画面座標系の2Dベースで行なっており、ゲーム処理系としてグラフィックスと攻撃判定は別レイヤーでの制御になっている。

　いずれにせよ、NVIDIA Reflex Analyzerが計測しているのは、ゲームコントローラのボタンを押してから、設定した計測ポイントのグラフィックス状況が変化したと検知されるまでの所要時間なので、ゲームメカニクス側で管理している時間進行とはズレがある場合がある。

　なので、NVIDIA Reflex Analyzerによる計測結果の比較は、あくまで相対比較を行なってこそ意味を成す……ということだ。

　つまり、第2回でやったような「同一ゲームタイトルの同一シーンにて、画面上の同一の測定ポイントで計測する」ことを行なう必要があるということだ。

　では「何を計測すると興味深い結果が得られるのか」というと、1つは「モニターの表示リフレッシュレート」を変えての計測だ。上で再掲した計測結果を見てもらうと分かるように、ストリートファイターVでは、PC版において、リフレッシュレートを上げれば上げるほど入力遅延が低減することが分かる。

　2つめは「PCのスペック」を変えての計測だ。上の測定結果はRyzen 9 5950XとGeForce RTX 3090というかなりのハイエンドプロセッサ同士の組み合わせでの測定結果だが、筆者の経験では、ゲームの要求PCスペックに対して、ゲームを動かすPCスペックが十分に高くないと、リフレッシュレート120Hz設定くらいまではそこそこに入力遅延の低減効果があっても、それ以上ではほとんど計測結果が変わらないことがあった。

　なので、現状の自分のPCでお気に入りのゲームをプレイしたときに、どのくらい入力遅延があるのか、またリフレッシュレートをどのくらい上げた時まで遅延低減効果があるのか……などを調べることにはこの測定は向いている。

　また、この測定を、PCのCPUやGPUのアップグレード換装の前後に行なって、どれだけ入力遅延が減ったかを確認するのもおもしろいかもしれない。

　3つ目は、2つ目の例の延長線上のテストとも言えるが、同じゲームタイトルで、家庭用ゲーム機版とPC版の両方が出ている場合に、同条件で計測して「どちらがどのくらい入力遅延が大きいのか、小さいのか」を測定するのもおもしろい。上で示した前回の測定結果は、まさにこの事例だった。

　最新のeSportシーンでは、同じゲームでも家庭用ゲーム機版よりもPC版の方が入力遅延が少ないことが多く、プロゲーマーの間ではPC版を好む傾向が高まってきている。それを確認するのも楽しいだろう。

　ちなみに、第2回で筆者が提案した、この「NVIDIA Reflex Analyzer」改造手法による、同一ゲームタイトルの家庭用ゲーム機版とPC版における入力遅延の測定は、そうしたマルチプラットフォーム展開を前提としたゲーム開発の現場でも役立っているという報告をいただいている。

　具体的には、同じゲームエンジンを使用して開発しているゲームにおいて、何らかの入力遅延対策をしたときに、すべてのプラットフォームでその効果が出ているかどうかの確認の計測に使っているそうだ。その意味では、「NVIDIA Reflex Analyzer」(と本連載の改造版)は、ゲーム開発にも役立つようである。

【質問2】液晶モニター/液晶TV、そして有機EL TVなどがブラウン管よりも遅延が大きいのは、映像信号を1フレーム分バッファリングして表示しているために、必ず1フレーム遅延するからでしょうか? ブラウン管のように映像信号を画面の上から逐次、上から下に向かって表示する映像機器では、そうした1フレーム分の遅延はなくなるのでしょうか?

　この質問には大前提として大きな誤解が含まれているので、1つ1つ答えていきたい。

　結論から言うと、ゲームモード(低遅延モード)を搭載した液晶TVや有機EL TV、ゲーミングモニターでは、映像信号を1フレーム分バッファリングするようなことはしていない。

　確かに、映像信号を何フレーム分かバッファリングして高画質化処理を行なう映像エンジンを搭載するTVでは、確かにそうした動作をする機種も存在するが、ゲームモード(低遅延モード)では逐次表示を行なっている。

　なお、有機EL TVは、焼き付き抑止メカニズムの動作に関連した制御により、1フレーム分溜め込む機種が最近まで存在したが、LGモニター製の有機ELパネル採用機で言えば、LG製の有機EL TVは2021年モデルから、日本メーカー勢の有機EL TVでも2022年モデルからはこのメカニズムはゲームモード時にはキャンセルされている。

　そうそう、今年2022年からSamsung Displayが開発した量子ドット技術採用の大型有機ELパネル(QD-OLEDパネル)採用の有機EL TVが市場に投入されたが、こちらも筆者の測定によれば1フレームのため込みは行なっていないことが分かっている(ただし映像エンジンに起因した4ms程度の遅延あり)。

　「表示メカニズムに起因した遅延」と言えば、60fps映像を120fps表示に変換してくれる「倍速駆動機能対応」のTV製品にまつわる話が有名だ。

　「倍速駆動機能対応」のTV製品では、たとえその倍速駆動機能をオフにしたとしても、60Hz(fps)映像を表示させると理論上、0.5フレーム遅延してしまうという現象だ。

　語感からして速そうな響きのある「倍速駆動」だが、実は遅延が大きいのだ。この理屈について知りたい人は、筆者の過去記事で詳しく解説しているのでそちらを参照してほしい。

　それと、液晶パネルや有機ELパネルは溜め込んだ映像を、画面全体に同時一括瞬間表示している…と誤解している人がいるが、少なくとも最近の液晶TV/モニターでそうした機種はない。

　それこそブラウン管と同様に、HDMI等で入力された映像信号を、1走査線ごとに上から下に向かっての逐次表示を行なっている。

　その証拠を見せよう。

　下は、液晶パネルと有機ELパネルとで同じテキストコンテンツをスクロールさせて表示させた画面を、スーパースローカメラで40倍スローで撮影した映像になる。

　液晶と有機ELで、同じ60Hz(60fps)の表示映像を撮影しているが、上から下に向かって映像が更新されている様が見て取れるだろう。液晶画素は応答速度が遅い分、特に上から下に向かって描き変わっていく様がよく分かる。垂直同期オンだろうが、オフだろうが、上から下に向かって映像を書き換えていく動作は変わらない。全画面同時表示になってはいないのだ。

　画素応答速度の話が出てきたついでに、NVIDIA Reflex Analyzerの測定結果に画素応答速度が関係してくるかについても触れておこう。NVIDIA Reflex Analyzerでは、入力遅延測定時における「グラフィックス状態が変位したかどうか」の判断のタイミングは「映像信号が映像パネルに書き込まれる瞬間(というか直前)」となっており、「映像パネルへの表示が完了した瞬間」ではない。

　つまり、NVIDIA Reflex Analyzerの測定結果には、そのモニター機器の画素応答速度分の時間は含まれていないということになる。

【噂1】ネット対戦では見映えが派手なステージは通信量が多くなって遅延が増えるからトレーニングステージがよい……は本当か?

　これは「完全な誤解」だ。

　「ストリートファイターV」を初めとした多くのネット対戦対応の格闘ゲームは、1Pと2Pのプレイヤー間でグラフィックスの同期を一切取っていない。

　なので、背景なし群集なしの無機質な方眼紙トレーニングステージでも、群集がワイワイ騒いでいる賑やかな背景のステージも、ネットの通信量は同じだ。なにしろそもそも背景グラフィックスの同期は取られていないのだから。

　格闘ゲームのネット対戦において、2プレイヤー間で送受されるのは「ゲーム内時間」(60分の1秒刻みのタイマー的な数値)と、これに付随させた「プレイヤーそれぞれのコマンド入力」(レバーの状態とボタンの状態)の情報だけだ。

　ゲーム開始前に「どのステージを使うか」くらいの情報はやり取りされるが、ゲーム進行中に背景グラフィックスにまつわるデータは一切送受されていない。もちろん、プレイヤーキャラクターのグラフィック関連データも一切送受されていない。

　そもそも、格闘ゲームはゲーム進行に関わる情報が、2人のプレイヤーキャラクターの操作情報だけで事足りるので、グラフィックスデータの同期を取る必要はないのだ。

　プレイヤーキャラクターが転倒した際に背景が壊れたりするが、こうした処理は、それぞれのプレイヤーで動かしているゲームクライアント(ゲームプログラム/ゲームランタイム)側で「背景物の近くでプレイヤーキャラクタが倒れたら背景物が壊れる」という仕込みに反応して、それぞれのプレイヤーのゲーム機/PC上で実践されているだけであり、わざわざ通信でこれをやり取りする必要はないのである。

　2人のプレイヤー間でやり取りされる「それぞれの操作情報」は、レバー操作やボタン操作を0か1の二値表現されたビットデータ列となるため、対戦のリプレイデータはとてもコンパクトなものになる。

　しかも、ゲームの性質上、レバー操作やボタン操作は時間方向に反復パターンが頻発するので、データ圧縮がかなり効くデータ構造となる。

　1プレイが最大で5分近くなる対戦リプレイデータが、あっという間にダウンロードして再生できたり、かなり過去にまで遡って世界中のプレイヤーのリプレイデータを参照できるのは、対戦リプレイデータがMPEG形式のような動画ファイルではなく、そうしたコンパクトなバイナリデータに収まっているからだ。

　レバー操作やボタン操作がタイムラインに沿って記録される対戦格闘ゲームのリプレイデータは、「楽譜に近い」ものと考えるとさらに理解が進むことだろう。

　たとえば、プレイヤー1が「上段(ト音記号)パートの五線譜」、プレイヤー2が「下段(ヘ音記号)の五線譜」とし、2人のプレイヤーがそれぞれの五線譜でレバー操作とボタン操作の音符を紡いでいく。そんなイメージだ。

　そして、それぞれのプレイヤーのゲーム機/PC上で動くゲームプログラムは、その音符群を、一拍が60分の1秒のテンポに従って演奏する楽器演奏者のイメージになる。そして、もはや言うまでもないだろう、対戦リプレイデータのダウンロードや再生は、その楽譜をダウンロードして再生するイメージというわけである。

　ネット対戦時(リプレイ再生時もだが)、その「五線譜上の音符」のようなゲームプレイを再生すれば攻撃が発生したりもするわけだが「その攻撃が当たった」「ガードが成功した」という処理系は、それぞれのプレイヤーのゲーム機/PC上のゲームプログラム側が処理するわけだが、その際、2人のプレイヤー間に発生している通信遅延に起因した不整合も起こりうる。

　「攻撃がヒットしたはずなのに、次の瞬間なかったことになっている!」というあの珍現象がそれだ。しばしば「AIの予測が外れたから!?」という声も聞かれるが、AIは関係ない。このあたりの珍現象は、通信対戦格闘ゲームの処理実装方式である「ロールバック式」に起因したものである。このあたりについての解説は次回以降に行なうこととしたい。

【噂2】ネット対戦では見映えが派手な衣装(コスチューム)はグラフィックス描画負荷が高くなり、入力遅延が大きくなるため避けた方がよい…は本当か?

　筆者は、ゲーム開発技術を取材対象の1つの専門分野としているが、かつて「ストリートファイターV」のグラフィックス技術について開発陣に数度、取材をしたことがある。

　いくつかの記事は競合他誌なので気を使って本稿に直リンクは貼らないが(笑)、筆者も執筆陣として参加した、カプコン監修でボーンデジタルより出版されたストリートファイターVのメイキング本「ストリートファイター キャラクターメイキング」の方は紹介しても問題ないだろう。いずれにせよ、一連の記事の取材で、この話題について開発陣に質問したことがある。

　それによると、意外なことに「すべてのキャラではないが、基本的にデフォルトの衣装がもっとも負荷が高い」とのことであった。これは、デフォルト衣装状態のキャラクターは“揺れモノ”と呼ばれるアクセサリ類を多く身に付けていたり、あるいは着ている衣装全体が伸び縮みする布表現を多く活用していたりして、物理シミュレーションが介入することが多いため、とのことである。なお、ストVの物理シミュレーションはCPUベースで実行されている。

　具体的には、キャラクター一体あたりの描画負荷(厳密に言えばミリ秒で管理される描画時間)の予算が決められており、どの衣装状態でも、基本的にはこの予算内に収まっているとのこと。デフォルト衣装は、その負荷評価の意味も込めてその「負荷予算の上限」近くで作られているとのことであった。

　一見すると「派手で負荷の高そうに見える追加衣装群」も、よく見ると描画されたときの面積こそ大きいものの、前述したような負荷の高そうな表現要素は極力削られていることに気がつく。

　半透明の亡霊のような残像が付く特異な追加衣装も、よく見ると描画負荷の高い半透明表現ではなく、チェッカーボードパターンでドットを抜いて描画負荷を低減する「疑似半透明」表現になっていることにも気が付く。

エドの通常コスチューム(左)と分身付きのコスチューム(右)。分身は半透明表現ではなく、チェッカーボード的に歯抜けにした描画となっている。また分身のアニメーションは、エド本体のコピペ的な流用のため、追加の頂点シェーダ負荷はなし

　まあ、以上の理由から、基本的には、描画負荷を気にして衣装を選ぶ理由はないのではないか、と筆者は考えている。

【噂3】ネット対戦では見映えが派手な背景ステージはグラフィックス描画負荷が高くなり、入力遅延が大きくなるため避けた方がよいは本当か?

　これも「衣装」と同じ理由で、描画負荷予算内で設計されているので、特定のステージで入力遅延が大きくなる…というのはちょっと考えにくい。

　ちなみに、「ストリートファイターV」では、闘い合う二体のプレイヤーキャラクターに関連する描画は60fpsで行なわれているが、背景グラフィックスの方は30fpsで描画されている。

　言い換えると、毎秒60回の描画タイミングがやってくるストリートファイターVにおいて、ゲームの主役は毎回、動きを更新しているが、背景物は2回に1回しか更新を行なっていないということだ。背景で元気よく跳んだり跳ねたり、腕を上げ下げして応援している群集の動きが、やや粗く見えるのはそのためだ。

　ただ、筆者も「ストリートファイターV」のPS4版でプレイしていた際に、大きめな入力遅延を感じることがあった。筆者のストVプレイの腕前はUltra Diamondクラスはあるので、ゲーム進行に遅延が発生するとそれを感じ取れる程度の感覚はある。

　確かに、方眼紙トレーニングステージ(The Grid)は、何も3Dオブジェクトが設置されていないので、ほかの賑やかなステージよりも描画負荷が低いの間違いない。

　ただ、プレイに支障が出るほど、ほかのステージが描画負荷が高いのだろうか。ということで、今回はこの検証を、改造版のNVIDIA Reflex Analyzerでやってみることにしたい。