AMDのサーバー向けCPU「EPYC」がNetflixサーバーの帯域幅を380Gbpsに押し上げる

Netflixは動画のストリーミングの品質を向上させるために、理想のハードウェアとソフトウェアの組み合わせを見つけようと試行錯誤しているとのこと。そんなNetflixがAMDのサーバー向けCPU「EPYC」を用いた結果を報告しています。

Serving Netflix Video at 400Gb/s on FreeBSD
(PDFファイル)https://people.freebsd.org/~gallatin/talks/euro2021.pdf

Netflix liefert 400 GBit/s pro Server aus: AMD EPYC ist Ampere und Intel überlegen – Hardwareluxx
https://www.hardwareluxx.de/index.php/news/hardware/prozessoren/57128-netflix-liefert-400-gbit-s-pro-server-aus-amd-epyc-ist-ampere-und-intel-ueberlegen.html

AMD’s EPYC CPUs Push Netflix Server Bandwidth To 400 Gbps | Tom’s Hardware
https://www.tomshardware.com/news/amd-epyc-cpus-netflix-bandwidth-400-gbps-per-server

2020年以来、Netflixは1つのサーバー当たり200Gbpsという速度で動画コンテンツを配信していました。Netflixの次の目標は速度を倍の400Gbpsに押し上げることであり、この目標の達成のためにAMDの第2世代サーバー向けCPU「EPYC 7502P」を採用しました。

EPYC 7502Pのコア数は32、最大動作周波数は2.5GHzで、最大動作周波数(ブースト時)は3.35GHz。Netflixのサーバーには256GBのDDR4-3200も搭載しており、8チャネルのメモリーインターフェイスで約150Gbpsの帯域幅を実現するとのこと。また、ストレージとしてサーバーごとに18台のWestern Digital SN720 2TBを使用。PCIe 4.0x16を介して接続するネットワークカードのMellanox ConnectX-6 Dxもサーバーごとに2つ導入しました。この構成により、250Gbpsという速度を実現することが期待されていました。

しかし、こうしたサーバーで接続のテストを行ったところ、最初の結果で示されたのは240Gbpsという数字でした。メモリ帯域幅の制限により期待値以下の数字となったとにらんだNetflixは、帯域幅を最大化するためにさまざまなNUMA(Non-Uniform Memory Access)構成を試しました。NUMA構成であることで、PCIeを介して接続されたメモリコントローラーとデバイスを最適なコアに割り当てることができるのですが、NUMAのノード間のプロセスによっては遅延が発生する可能性がありました。

そこで、NetflixはNUMAノードを4つに増やし、ストレージとネットワーク固有のプロセスの両方をストレージとPCIeデバイスに最適に接続されているNUMAノードに集中させることで、最大280Gbpsという速度を実現することができました。

400Gbpsに到達させるための次のステップとして、ソフトウェアの最適化が検討されました。ハードウェアのボトルネックを回避するためにFreeBSD上でTLSを実装。TLS暗号化をEPYC 7502PではなくMellanox ConnectX-6 Dxにオフロードして調整を行うことで、Mellanox ConnectX-6 Dxのアダプターごとに190Gbps、2つで最大380Gbpsという数値をたたき出しました。プロセッサの使用率は、NUMAなしで60％、4つのNUMAノードで50％でした。

また、NetflixはIntelのXeon Platinum 8352VやAmpereのAltra Q80-30などに構成を変えてテストを行ってみても、最速値を示したのはEPYC 7502Pだったとのことです。Netflixはすでに800Gbpsを達成するという次なる目標を掲げており、2022年にも新情報を発表することをほのめかしています。