NVIDIA DLSS 3 をわかりやすく解説: 機能と互換性について知っておくべきことすべて

新しいシリーズGeForce RTX 4000が現実になりました。GTC 2022 中に Nvidia CEO のジェンセン ファンによって発表され、この秋には 3 つの異なるバージョンが登場します。

RTX 4090、新しいフラッグシップエヌビディア24 GB のビデオ メモリを搭載した は 10 月 12 日から発売され、RTX 4080 は 11 月に発売されますが、2 つの異なるバージョンがあります。1 つは 16 GB、もう 1 つは 12 GB で、価格差は 2 つで約 300 です。ユーロ。

明らかに、新しいビデオ カードのパフォーマンスは以前のシリーズと比較して大幅に向上していますが、プレゼンテーション中、Huang 氏は、ビデオ カードの分野でのイノベーションを非常に重視しました。人工知能。したがって、同社が純粋なハードウェアの能力を高めることだけではなく、カードをよりインテリジェントに動作させるテクノロジーの開発に重点を置いていることがすぐにわかります。

実際、新機能の中には、DLSS3、NVIDIA のディープラーニング テクノロジーの新しいバージョン。すでに特に便利で、ある意味素晴らしいツールであり、RTX シリーズ全体のワークロードを軽減することに成功しましたが、4000 シリーズでは、利用可能なリソースを最大限に活用してグラフィックス パフォーマンスを向上させるように更新されました。 DLSS 3 は、超解像度、NVIDIA Reflex、フレーム生成の 3 つの主要要素で構成されます。

報道陣との非公開ミーティングで、同社のディープラーニング研究部門の副社長がこのテクノロジーについて詳しく語り、新しいDLSS 3の主な機能を詳しく教えてくれました。

ステファノ・ヴィンチ

DLSSとは何ですか?

新しい NVIDIA GeForce RTX ファミリ

「RTX シリーズ レイ トレーシングの使用を開始したとき、非常に激しい計算作業に直面することはわかっていました。また、力ずくで問題に取り組むことが解決策ではないこともわかっていましたが、その代わりに、技術の進歩が現れていることにすぐに気づきました。私たちにとって、それはグラフィック レンダリング プロセスを再定義する機会でした。」ブライアン・カタンザロ - 応用深層学習研究担当副社長

結果は、DLSS(ディープラーニング スーパー サンプリング)、集中的な使用に基づいたテクノロジーテンソルコアの RTX シリーズ GPU: DLSS は、機械学習と人工知能を使用して、低解像度から高解像度の画像を再作成できます。この機能は「超解像度」と呼ばれ、画像の一部の生成を人工知能に任せて、個々のフレームのレンダリングの負荷を軽減することができました。このようにして、GPU はより機敏に動作し、画面上のより少ない量のピクセルを計算できます。これは明らかにパフォーマンスの向上につながります。高解像度やアクティブ レイ トレーシング エフェクトでも、フレーム レートが向上し、応答性が向上します。

AI は当初、Battlefield V や Metro Exodus などの特定のビデオ ゲームのフレームを再構築するように「トレーニング」されました。最初に成功した実験ではありましたが、サポートされている単一のタイトルごとに専用の人工知能トレーニングが必要でした。

DLSS 2 の機能

これにより、開発者は、数万枚の高解像度画像を使用してニューラル ネットワークをトレーニングするプロトコルである Neural Graphics Framework (NGX) を導入することになりました。この新しいツールの使用のおかげで、ネットワークは文字通りゲーム フレームを再構築し、低解像度で計算してレンダリングし、画像を高解像度に戻す方法を学習しました。

NVIDIA の AI によって管理される一種のアップスケーリングですが、ソース イメージの処理に限定されません。実際、DLSS では、ゲーム エンジンによって生成された動きベクトルも考慮されています。これらは、エンジンによってリアルタイムで計算される単純な情報にすぎず、シーン内のオブジェクトがあるフレームから次のフレームに移動する方向を示します。 。このデータを使用して、ネットワークは移動要素を認識し、次のフレームがどのようになるかを推定できます。

最後に、従来のように低解像度でレンダリングされたフレームが、最後に生成された高解像度フレームと比較され、画面に表示される新しい画像の再構成にどのように作用するかを正確に決定します。
つまり、初期テクノロジーのアップデートとして導入され、DLSS 2.0 という名前を冠した大幅な進歩です。

フレーム生成

DLSS 操作 3

チームが現在 RTX アーキテクチャの第 3 世代である ADA Lovelace に取り組んでいるのは、このテクノロジーの別のアップデートであり、これが本当の DLSS 3 になります。

画面上のピクセルの大部分を生成する超解像度による画像再構成において AI によって蓄積された経験に加え、この新しいバージョンでは、フレーム全体の生成これにより、パフォーマンスをさらに大幅に向上させることができます。

低解像度でレンダリングされ、超解像度によって再構築された「ハイブリッド」フレームは、完全に AI によって生成されたフレームと交互に配置されます。正確に呼ばれるプロセスフレーム生成これにより、特に、非常に大量の要素のシミュレーションを管理する必要がある Microsoft Flight Simulator など、CPU からの大量の作業を必要とするゲームにおいて、プロセッサのパフォーマンスにプラスの影響を与えることもできます。 。

フレーム生成が 4000 シリーズ専用なのはなぜですか?

動きベクトルとオプティカル フローの組み合わせにより、再構築されたフレームにはグラフィック アーティファクトが現れません。

この新しい機能を活用するために、新しい GeForce RTX 4000 シリーズ カードには、単一フレームごとに異なるニューラル プロセスを同時に管理できる第 4 世代 Tensor コアが搭載されています。オプティカル フロー アクセラレータ、フレーム生成の主要なプロセスの 1 つに特化した、新しい ADA Lovelace アーキテクチャ専用のハードウェアです。

「正確なフレーム生成を実現するという課題は明らかに困難でした。これが、これまで誰もこのシステムを使用しようとしていなかった理由です」とカタンザーロ氏は説明します。 「オブジェクトがアーティファクトや歪みなく一貫した方法で動くことを確認する必要があります。ゲーム インターフェイスやシーンの変更に対処する必要があることを考慮せずに、これらすべてを真に無限小のレイテンシで計算する必要があります。フレームレートを高く保ちます。」

新しい ADA Lovelace アーキテクチャは、実際には、新しいオプティカル フロー プロセスを使用するために開発されました。
これは、あるフレームと次のフレームの間の画像の変化を認識し、プレイ中の要素の動きを特定して予測できるようにすることを目的とした研究プロセスです。これにより、人工知能が介入して次の画像を次の画像に修正できるようになります。ビュー。 DLSS 2 で導入されたモーション ベクトル システムとの違いは、レイ トレーシング エフェクトとのインターフェース方法にあります。

オプティカル フローを使用しないとシャドウが正しく計算されません。

実際、モーション ベクトルによって提供される情報のみからフレームを生成することにより、光のトレースによって直接影響を受ける、または生成される一部の要素 (特に 2 つの例: 影と反射) が最終的に完成します。迷惑なアーティファクトグラフが生成されます。これは、純粋に幾何学的な情報を伝達するモーション ベクトルが (低解像度であっても、それ自体では、従来のレンダリング画像のサポートなしでは) AI に管理される光の動きの詳細を提供できないために起こります。レイ トレーシングと画面上の要素との相互作用。

誤解のないように、走行中の車の影は、その下の道路に投影されますが、車が加速しても道路と一緒に動きません。これにより、AI によって完全に生成されたフレームでは、本来あるべき位置に比べて影がわずかにずれて表示され、超解像度によって生成された「ハイブリッド」フレームが散在し、断続的なちらつき効果が発生します。

超解像とフレーム生成の代替操作

ハードウェアとソフトウェアの組み合わせにより、GeForce RTX 4000 シリーズのパフォーマンスが大幅に向上します。

ただし、クラシック モーション ベクトルをオプティカル フローが提供するピクセル検索システムと組み合わせて使用​​すると、これらの状況を特定し、最も複雑なレイ トレーシング エフェクトも確実に再現することができます。
オプティカル フロー アクセラレータは、ADA Lovelace および RTX 4000 シリーズ用に特別に開発されたハードウェア コンポーネントであるため、フレーム生成プロセスで主要なツールを適切に使用できるようになります。

そして、まさにこの理由から、問題のプロセスは GeForce RTX 4000 の独占的な機能のままです。すでに述べたように、新しい機能は、新しい NVIDIA カード内にのみ存在する一連のテクノロジーとハードウェアに基づいています。フロー プロセスは、主に 4000 の専用ハードウェア コンポーネントであるオプティカル フロー アクセラレータによって管理され、AI によって完全に管理されるフレーム生成に関しては不可欠な要素です。 ADA Lovelace アーキテクチャのおかげで回復されたデータのサポートなしでフレーム生成を使用することは、レイ トレーシングの影響により不可能です。後者は依然として、画像をレンダリングするためのリソースの点で最も高価なコンポーネントであり、DLSS が最初に考案された主要な要素であるためです。

NVIDIA リフレックス

NVIDIA Reflex を使用した場合と使用しない場合のレンダリング パイプライン

試行錯誤された超解像度と新しいフレーム生成プロセスの後、ハットトリックは次のように完了します。NVIDIA リフレックス、CPU と GPU の間で交換される情報の流れを調整し、入力遅延を大幅に短縮できます。

これは、レンダリング パイプラインの最適化によって可能になります。通常、入力は周辺機器、マウス、キーボード、またはコントローラーから開始され、CPU によって処理されます。この時点で、プロセッサは入力をレンダリング キューに挿入し、ビデオ カードはそこから命令を引き出して画面上に画像をレンダリングできます。従来のシステムは、前の処理が終了した後に GPU が常に描画する命令のキューを保持できるようにするため、この方法で構築されており、速度が低下することなく継続的に動作することができます。しかし、この命令キューは、レンダーキュー、必然的に特定のことが含まれますレイテンシ入力の挿入と画面上での実際のレンダリングの間。

NVIDIA Reflex は、CPU と GPU を直接通信し、命令をプロセッサーからビデオ カードに直接送信できるようにするだけです。 2 つのコンポーネントが連携しているため、前の作業が終了するたびに常に GPU に供給できるように、適切なタイミングで命令が送信されます。そうすることで、ビデオ カードは (文字通り) 「キューをジャンプ」し、ボタンを押してから画面にアクションが表示されるまでの貴重なミリ秒を節約できます。

発売時に DLSS 3 をサポートするゲーム

この機能は DLSS 3 が正しく機能するための基礎となるため、タイトル内で更新されたテクノロジーを使用したい開発者は、ゲーム エンジンと Reflex の互換性を確保する必要があります。

10 月には、DLSS 3 を完全にサポートする最初のゲームが開始され、当初は 35 以上になる予定です。これにより、DLSS 3 は業界で最も急速に採用されるテクノロジ アップデートの 1 つとなります。

DLSS 3 をサポートするカードはどれですか?

DLSS 3 とさまざまな NVIDIA GeForce ビデオ カードとの互換性

これら 3 つのテクノロジーの結合により、新しい DLSS 3 が誕生します。DLSS 3 は 4000 シリーズに限定されたものではありませんが、すべての世代のグラフィックス カードで同じようにサポートされるわけではありません。そこには互換性実際には RTX シリーズ全体で保証されていますが、場合によっては 1 つ以上の機能が利用できない場合があります。

NVIDIA Reflex は、GeForce 900 シリーズ以降のすべてのビデオ カードを含む、RTX 革命以前のカードでも使用できます。

Super Resultion に関しては状況が異なり、動作するには必ず GeForce RTX、20、30、または 40 シリーズが必要です。

新しい GeForce RTX 4000 でのみ利用できる実際の唯一の独自機能は、フレーム生成プロセスです。これは、すでに述べたように、この新機能は、新しい NVIDIA カード内にのみ存在する一連のテクノロジーとハードウェア、つまりオプティカル フロー プロセスに基づいており、主に 4000 の専用ハードウェア コンポーネントであるオプティカル フロー アクセラレータによって管理されるためです。