動画ストリーミングの画質が、帯域幅をあまり消費することなく大幅に向上する世界を想像してみてください。あるいは、同じ画質を保ちながらデータ通信量への影響を半分に抑える世界を。Twitchのストリーミングがブロック状に乱れることがなくなり、YouTube動画が実際にゲームをプレイしているような視覚体験を味わえる世界を。
アダム・テイラー/IDG
AV1が約束する未来こそが、まさにこの世界です。AV1は、約20年にわたり君臨してきたH.264を、主要ビデオ規格の座から引きずり下ろすことを狙う、新しいオープンソースビデオコーデックです。通常は非常にエンコードが難しいAV1のリアルタイムエンコードが、Intelのデビュー作Arc Alchemistグラフィックカードを通じて一般消費者向けに提供開始されました（ただし、発売は今のところ中国のみで、米国では今夏後半に予定されています）。
IntelのGPUエンコーダを、カスタムGunnir Arc A380デスクトップカードを使ってテストしました。AV1がこれまで期待していた性能を実現できるかどうか、そしてライブストリーミングで一般的に使用されている既存のH.264エンコーダとどのように競合するかを検証しました。また、なぜこれらすべてがそれほど重要なのかについても説明したいと思います。非常に多くの要素があるので、詳しく見ていきましょう。
Intel Arc のその他の参考資料:
- インテル初のグラフィックカードの心臓部、Xe HPGをご紹介します
- インテルのArcグラフィックス計画の内幕：「私たちは全く異なるアプローチを採用しています」
- テスト済み: Arc A370M、NVIDIAとAMDに本格的に対抗するIntel初のディスクリートGPU
- フル・ナード特別エピソード：インテルがArcグラフィックスカードについて語る（そしてプレイする）
- PC ゲームに最適なグラフィック カード: ついに GPU を再び購入できるようになりました!
H.264があらゆる場所で主流のビデオコーデックになる前は、オンラインビデオは混乱状態でした。Windows 98やWindows XPのパソコンで、QuickTimeからRealPlayer、そして合法性に疑問のあるDivX/Xvidプレーヤーまで、あらゆるビデオプレーヤーアプリがeMuleやLimeWireからダウンロードしたAMVやゲームトレーラーを再生するためにインストールされていた懐かしい思い出がたくさんあります。その後、YouTubeが人気を集め始めると、誰もが.FLV Flash Videoファイルに対処しなければならなくなりました。対応するのは大変でした。H.264が普及し、ほぼすべてのアプリケーション、Webサイト、デバイスに受け入れられたのは、まるで魔法のようでした。しかし、何年も経ち、ビデオ規格がより高い解像度とより高いフレームレートを目指すようになると、より効率的に動作するビデオコーデックの需要が高まりました。
H.264 は実質的にロイヤリティフリーですが、H.265 には依然として多くの特許とライセンス費用が絡んでいます。そのため、H.265 をサポートするコンシューマー アプリケーションは多くなく、H.265 を受け入れるライブ ストリーミング プラットフォームは事実上存在しません。
YouTube と Netflix は、ほぼ独占的に VP9 (Google 独自のオープンソース ビデオ コーデック) を使用するように切り替えましたが、やはり消費者向けアプリケーションの分野では採用がほとんど見られず、ビデオ ストリーミングの大手は、さらに高い効率性を求めているようです。
アダム・テイラー/IDG
そこで登場するのがAlliance for Open Mediaです。AOMは、オープンソースでロイヤリティフリー、そして柔軟なメディアストリーミングソリューションを開発するための共同プロジェクトです。Google、Adobe、Nvidia、Netflix、Microsoft、Intel、Meta、Samsung、Amazon、Mozilla、そしてAppleなど、Webメディアに関わるほぼすべての大企業の支援を受け、AOMはオープンソースのビデオおよび画像コーデックのエコシステムであるAV1の開発（そして安全な特許審査プロセスによる保護、そして技術のオープン性を維持するための法的防衛基金の設立）に重点を置いています。メタデータや画像フォーマット用のツールも開発されていますが、ここで私が注目するのはAV1 Bitstreamビデオコーデックです。
これほど多くの大企業（しかも競合企業）が単一のプロジェクトに共同で取り組むのは奇妙に思えるかもしれませんが、最終的にはすべての企業に利益をもたらす取り組みです。帯域幅コストの削減、製品の高品質化、そしてストリーミングメディアの未来がどうなるかに関わらず相互運用性の向上は、各社が独自の壁で囲まれたソリューションを開発するという従来の考え方よりもメリットが大きいように思われます。
ここで私が個人的に懸念しているのは、オンラインとオフラインの両方でビデオに関して、これらの企業の多くが消費者に不利な DRM を推進してきた歴史と、それらの過去の行動が AV1 の実装にどのような影響を与えるかということです。
野生のAV1
アダム・テイラー/IDG
これらはすべて素晴らしいことですが、実際にAV1ビデオを入手するにはどうすればいいのでしょうか？新しいコーデックの普及は通常非常に遅く、AV1は非常に急速に進化していることを念頭に置くと、現状ではかなりの量のAV1ビデオをオンラインで視聴できると言えるでしょう。
YouTubeの場合、ログインした状態でYouTubeの再生設定を開き、「常にAV1を優先する」を選択すると、動画がAV1トランスコードで配信される可能性が高まります。これにより、5K以上の解像度の動画は、すでにAV1トランスコードで再生できる状態になっているはずです。YouTubeは2018年に「AV1ベータ版リリース再生リスト」も作成しており、テストを確実に行うために元々AV1コピーが提供されていたサンプル動画もいくつか含まれています。ちなみに、私が定期的に視聴している高トラフィック動画がAV1で再生されているのを目にする機会が増えています。
アダム・テイラー/IDG
ビデオ プレーヤーではビデオに違いは表示されませんが、ビデオの再生中にビデオを右クリックして [Stats for nerds] をクリックすると、すべてが正常に動作している場合は [Codecs] の横に [av01] が表示されます。
アダム・テイラー/IDG
AV1 をデコードできるかどうかは、実のところ様々です。2017 年以降に発売された最新のクアッドコア PC であれば、CPU で 1080p の AV1 映像をデコードする際に問題が発生することはありません。しかし、1080p を超える解像度では、ハードウェア アクセラレーションによるデコードが必要になります。Nvidia の GeForce RTX 30 シリーズ グラフィックス カード (RTX 3050 など) は、AMD の Radeon RX 6000 シリーズ GPU、さらには Intel 第 11 世代以降の CPU に搭載された iGPU と同様に、AV1 デコードをサポートしています。これらのハードウェアをお持ちの場合は、ドライバーが最新であることを確認し、Microsoft ストアから無料の AV1 ビデオ拡張機能をダウンロードして、ブラウザーを更新してください。グラフィックス ハードウェアによっては、Windows タスク マネージャーでシステムの「ビデオ デコード」セクションが処理を実行しているのを確認することもできます。(注: これらはすべて Windows 10 および 11 のみで、Windows 7 はサポートされていません。)
Netflixは既に一部の映画を対応デバイスにストリーミング配信しており、多くのテレビ、ゲーム機（旧型のPlayStation 4 Proを含む）、一部のモバイルデバイスが既にAV1に対応しています。Netflixのストリーミング配信は、AV1の「フィルムグレイン合成」機能の素晴らしい実力を示すものとなっています。この機能は、エンコーダーがビデオファイルのフィルムグレインを分析し、それを除去して映像をきれいに圧縮し、デコーダーに指示を与えて、不要なグレインビットを無駄にすることなく、忠実に再現する機能です。
Twitchの元主席研究エンジニアであるYueshi Shen氏も、2020年にAV1のデモを私と共有し、AV1がTwitchストリーミングにもたらす可能性を示してくれました。こちらでご覧いただけるデモでは、わずか8Mbpsの帯域幅で1440p 120FPS、わずか4.5Mbpsの帯域幅で1080p 60FPS、そしてわずか2.2Mbpsの帯域幅で720p 60FPSと、ほぼブロックフリーのゲームプレイを視聴できます。実際のライブストリーミングテストではありませんが、通常のH.264エンコーダーでこのビットレートで配信すると、通常のTwitchストリーミングではひどく低品質になることを考えると、それでも非常に印象的です。
アダム・テイラー/IDG
シェン氏は当初、Twitchが2025年までにAV1を全面的に採用すると予測し、早ければ今年または2023年には有名コンテンツがストリーミング配信されることを期待していた。消費者が利用できるエンコーダーが利用可能になったことで、Twitchはすぐにこれらの新機能を有効化できるようになるだろう。
インテルは成果を出したか?
CPUで動作するAV1エンコーダーは以前から提供されていましたが、動作が非常に難しく、高コア数のマシンでもサンプル処理に数時間を要していました。ここ数年でパフォーマンスは着実に向上しており、OBS Studioバージョン27.2以降では2つのエンコーダーオプション（SVT-AV1とAOM AV1）が利用可能になりました。OBSアップデートリリース時にもお伝えしたように、これらのエンコーダーはリアルタイムで動作させるのはまだ難しいものの、実用的であり、コンシューマー向けAV1ビデオへの第一歩となります。
ストリーミングやコンテンツ制作のシーンの多くは、ハードウェアアクセラレーションによるエンコーダーが次世代グラフィックカードに搭載されるのを待ち望んできました。前述の通り、Intel、AMD、Nvidiaはいずれも前世代のハードウェアにハードウェアAV1デコーダーを搭載しており、少なくともNvidiaはRTX 4000ハードウェアにAV1ハードウェアエンコーダーを搭載するでしょうし、AMDもRX 7000に搭載するでしょう。しかし、Intelは数々の遅延を経ながらも、新しいArc AlchemistシリーズのグラフィックカードにGPU AV1エンコーダーを初めて搭載し、市場に投入しました。
アダム・テイラー/IDG
新しいA380 GPUでまず検証したかったのは、AV1エンコードが現在利用可能な他のエンコード方法と比べて実際にどれほど優れているかということでした。AV1はコーデック全体としては非常に有望ですが、コーデックから得られる結果は、エンコーダの実装とリアルタイム実行に必要な犠牲に大きく左右されます。GPUエンコーダはGPU内の固定機能ハードウェア上で動作するため、ゲームパフォーマンスなどの通常の3Dワークロードへの影響を最小限に抑えながらビデオエンコードとデコードを行うことができますが、必ずしも「理想的な」条件を実現できるとは限りません。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
以前、私は様々なハードウェアH.264エンコーダがGPU世代の反復を通じてどのように進化してきたかについて取り上げました。例えば、NvidiaのNVENCを使用した初期のエンコード実装では、同社の最新カードほどの高画質を実現できなかったことが分かります。また、最近、ソフトウェアアップデート（AMDのAMFエンコーダの最近のアップデートなど）によってエンコーダの品質がいくらか向上する可能性についても検証しました。つまり、初めて利用可能になったAV1エンコーダには大きな期待が寄せられる一方で、最初のイテレーションに失望する余地もあり、今後さらに多くのエンコーダが登場する可能性があるということです。
動画品質を定量的に測定する上で私が見つけた最も信頼できる方法は、NetflixのVMAF（Video Multi-Method Assessment Fusion）です。これは、PSNRのような純粋なノイズ測定に頼るのではなく、特定の距離とサイズにおける実際の視聴者の動画品質に対する感覚に非常に近い方法で動画品質を評価するアルゴリズムです。Netflixはこの技術を長年開発（およびブログで紹介）しており、通常はスクリーンショットを並べて繰り返し表示することで説明しようとするような違いを非常に確実に測定できるレベルに達しています。
私はロスレスのゲームプレイ動画と実写動画の膨大なサンプルライブラリを常にテストしていますが、説明を簡単にするために、FPSジャンルのゲームをいくつか取り上げたいと思います。これらのゲームは、高速なカメラワーク、多数のパーティクルエフェクトを駆使した高精細なグラフィック、そして多数のHUD要素が組み合わさって、動画エンコーディングにおいて一種の「最悪のシナリオ」を作り出しており、ほぼすべてのTwitchストリーマーが苦労しています。
私が注目するのは1080p 60FPSの動画で、主なビットレートは3500kbps、6000kbps、8000kbpsです。3500kbps（または3.5mbps）は、1080p（少なくともAV1以前）で一般的に推奨される最低速度です。6000kbpsはTwitch配信のソフトな「上限」で、8000kbpsは多くの人が問題なくTwitchに送信できる非公式の帯域幅上限です。ここでTwitchに焦点を当てる理由は、YouTube配信のような二次圧縮段階を経ない「ソース」品質の配信を提供しているためです。二次圧縮段階を経ることで、低ビットレートで高品質エンコーダーのメリットの一部が失われてしまいます。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
ここでは、Intel、Nvidia、AMD の通常のハードウェア H.264 エンコーダーと、「VerySlow」CPU 使用プリセットで実行されている CPU X264 エンコーダー (リアルタイムでは実行できませんが、目指すべき品質のベンチマークと見なされることが多い)、および Intel の AV1 GPU エンコーダーと、(Threadripper のようなハイエンド CPU で) リアルタイムで「適切に」エンコードできる 2 つの SVT-AV1 エンコード プリセットを比較します。
これらの結果は、まあ、興味深いものです。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
6Mbpsと8Mbpsの速度で、Intel ArcのAV1エンコーダーは、X264 VerySlowよりも高いスコアとわずかに低いスコアの間を行ったり来たりしますが（VMAFスコアは0～100のスケールで、100がロスレス/非圧縮のソース素材に完全に一致する場合）、それでも最高のGPU H.264エンコーダーよりも印象的な高いスコアを記録しています。これだけでも十分に印象的です。ゲームストリーマーで、デュアルPCストリーミングセットアップを使用している場合、またはマシンに2台目のGPUを追加するためのPCIeレーンとスロットを持っている場合、TwitchでAV1を有効にすると、同じビットレートで、Webサイト全体に掲載されているほとんどのものよりもはるかに高品質のストリームをストリーミングできます。
しかし、3.5Mbpsという低ビットレートに目を向けると、IntelのAV1エンコーダは、X264 VerySlowを含むどのH.264エンコーダよりも優れています。また、一部のゲームテストでは、Arc A380で3.5MbpsでエンコードされたAV1は、ほとんどのH.264エンコーダの6Mbps（帯域幅のほぼ2倍）よりも高いスコアを記録しました。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
理論上、Twitchが今すぐAV1ストリーミングを有効化すれば、Arc A380を使って配信をエンコードするストリーマーは、配信に関わるすべての人（ストリーマー自身、視聴者、Twitch/Amazon）の帯域幅を半分に削減でき、画質の低下も防げます。また、ストリーマー側のネットワーク要件を変更することなく、画質を即座に向上させることも可能です。
データから実際の現実世界のビジュアルに移ると、結果は依然として同様に印象的です。
6Mbpsと8MbpsのIntel AV1エンコーダーは、H.264エンコーダーと比べて一見「似たり寄ったり」です。わずかにシャープネスが向上していますが、目立つほどではありません。しかし、光の変化や影の大きい部分では、ブロックノイズやアーティファクトが非常に目立ちません。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
繰り返しになりますが、これらの高ビットレートで結果を比較しても驚くほどの差はありませんが、確かに改善されています。AV1は、ディテールを犠牲にせざるを得ない領域をより滑らかに融合させるという点で非常に優れているようです。見慣れているようなピクセル化されたブロック状の表現とは対照的です。ある距離から見ると、H.264映像の一部がAV1映像よりも「シャープ」に見えると感じることさえあります。これは、余分な「クランチ」によってディテールが追加されたように見えるからです。しかし、ズームインすると、実際にはそのディテールは感じられません。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
わずか 3.5mbps の Intel の AV1 エンコーダーでは、グラデーションで若干のマクロ ブロッキングが発生し始めますが、H.264 と比較すると画面の詳細なセクションではマクロ ブロッキングが回避され、このような低いビットレートでは可能とは思えないほどのビューが提供されます。
迫り来る競争
VMAFのグラフには、IntelのAV1エンコーダーよりも大幅に高いスコアを記録したデータポイントがいくつか追加されていました。これらはSVT-AV1 CPUエンコーダーを使用した2つのエンコードです。このエンコーダーは「プリセット」（X264に類似）を使用します。プリセット番号は、小さい数字ほど高品質でエンコードするのが難しく（X264で速度が低下するのと同様）、大きい数字ほど品質は劣りますがエンコードが容易です。私のテストでは、32コアのThreadripper CPUでも、リアルタイムでエンコードできる現実的なプリセットは8と9だけでした。そのため、わずかに達成不可能なベンチマーク品質という私のテーマに沿って、グラフにはSVTプリセット7と8を含めました。
フル解像度で表示するには、右クリックして新しいタブで開いてください。
アダム・テイラー/IDG
ご覧の通り、これら2つのプリセットにはわずかな差はあるものの、どちらもIntelのAV1エンコーダーをはるかに上回るスコアを記録しています。X264 VerySlowがGPU H.264エンコーダーのどれをもはるかに上回るパフォーマンスを発揮しているのと同様に、これは当然の結果と言えるでしょう。
これらを取り上げるのは2つの理由から重要だと思いました。まず、 YouTubeやアーカイブなどにアップロードするために動画をエンコードするだけなら、これらの低速エンコーダプロファイルをAV1と組み合わせて使用することで、ビットレート効率を飛躍的に向上させることができます（容量とアップロード時間を節約したり、既にコミットしているファイルサイズに対して品質を向上させたりできます）。次に、これが今後数年間のGPU AV1エンコーダーに期待されるものを予感させるものになることを期待しています。
IntelのQuickSync Video H.264エンコーダー（Arc GPUと第12世代iGPUの両方に搭載）は現在、NvidiaとAMDの品質をリードしていますが、以前の世代はNvidia（そして、もっと遡ればAMDにさえ）に遅れをとっていました。つまり、NvidiaがRTX 4000にAV1エンコーダーを搭載して発売すれば、Intelの製品よりも少なくともいくらか優れたパフォーマンスを発揮する可能性があります。さらに、前述のように、これは最初のイテレーションに過ぎません。ハードウェアが進化すれば、エンコーダーも進化します。NvidiaとAMDがAV1エンコーダーで競い合い、ユーザーにさらに高い品質を提供してくれることを切に願っていますが、IntelのArcグラフィックスカードが私たちのスタートラインに立ったことに、私は非常に興奮しています。
動画ストリーミングの未来は非常に明るく、ブロックノイズも大幅に減少しています。今後、YouTube動画はすべてAV1でアップロードする予定です。プラットフォームが対応し次第、新しいフォーマットでストリーミング配信できるようになるのを楽しみにしています。
[開示事項：私のGunnir Photon A380グラフィックカードは、私のYouTubeチャンネルで定期的に配信しているエンコーダ品質分析コンテンツで使用するために、Intelからサンプル提供を受けました。Intelから取材費用は一切受け取っておらず、具体的な内容を述べる義務もありません。また、Intelは私がGPUについて投稿した内容を、公開前に確認したこともありません。NvidiaとAMDからも、同じ目的でGPUのサンプル提供を受けています。]
