W jaki sposób NVIDIA planuje generować klatki za pomocą definicji?

Kluczowe punkty

• NVIDIA i AMD ulepszają wrażenia z gry dzięki technologii generowania klatek, która generuje dodatkowe klatki dla płynniejszej rozgrywki. NVIDIA wykorzystuje złożone metody specyficzne dla sprzętu, podczas gdy prostsza technologia AFMF firmy AMD działa na poziomie sterownika, nie wymagając interwencji twórców gier.
• Nie jest jasne, czy NVIDIA wdroży technologię generowania klatek opartą na parametrach operacyjnych, takich jak AFMF firmy AMD. Jej obecna technologia w dużej mierze opiera się na nowszych procesorach graficznych i łączy kilka metod w celu uzyskania lepszej jakości, co sugeruje potencjalną niechęć do zmiany strategii.
• Obie metody poprawiają liczbę klatek na sekundę, ale mogą powodować błędy wizualne lub opóźnienia. Technologia AFMF firmy AMD jest bardziej elastyczna, ale może być mniej precyzyjna, podczas gdy podejście firmy NVIDIA stawia na jakość i może ewoluować wraz z nowymi wersjami procesorów graficznych.

Pewnie wszyscy słyszeliśmy już nowe hasło w świecie gier, wymyślone przez firmy NVIDIA i AMD: „ Generacja klatek ”. Technologia ta, okrzyknięta przez krytyków i zwolenników przyszłością gier, wymaga dopracowania, zanim stanie się „ idealnym ” rozwiązaniem zwiększającym wydajność.

Czy technologia AFMF firmy AMD wyznacza nowy standard dla prostego narzędzia do generowania klatek typu „ naciśnij i odtwórz ”, skoro NVIDIA pójdzie w ślady AMD i wdroży uniwersalne rozwiązanie do generowania klatek oparte na definicjach odtwarzania? Przekonajmy się.

Czy NVIDIA stworzy rozwiązanie do generowania klatek w oparciu o definicje operacyjne?

Zanim przejdziemy do głównego tematu, przypomnijmy sobie, jak działają techniki skalowania i generowania klatek, a także kilka ważnych pojęć, które należy zrozumieć.

DLSS to skrót od Deep Learning Super Sampling i został wprowadzony przez firmę NVIDIA w 2018 roku jako element serii procesorów graficznych (GPU) RTX . Mówiąc prościej, DLSS skanuje i zbiera dane z poprzednich klatek, a następnie wykorzystuje je do uzupełniania brakujących pikseli w nowej klatce. Dzięki zastosowaniu sztucznej inteligencji uzyskuje się ulepszony (przeskalowany) obraz o lepszej wydajności.

Z kolei technologia FSR , czyli Fidelity FX Super Resolution firmy AMD , działa praktycznie na każdym procesorze graficznym. Wykorzystuje ona opatentowany, otwarty algorytm skalowania przestrzennego , który pozwala na zwiększenie rozdzielczości gry z niższej do wyższej. Jest ona znacznie bardziej praktyczna niż DLSS, ponieważ nie jest zależna od sprzętu.

Kilka ważnych terminów i wprowadzenie do generowania ramek

Wraz z serią RTX 40 pojawiły się technologie DLSS 3.0 i NVIDIA Frame Generation . Co dokładnie oznacza „generowanie klatek”? Generowanie klatek, w najprostszej formie, polega na wstawieniu klatki pomiędzy dwie inne klatki. Proces ten nazywa się interpolacją . Była to powszechna technika w telewizorach, która pozwalała na zwiększenie liczby klatek na sekundę wyświetlanego obrazu, aby dopasować ją do częstotliwości odświeżania telewizora.

Skalowanie w górę po prostu poprawia jakość obrazu i zwiększa wydajność. Natomiast generowanie klatek (FG) tworzy zupełnie nową klatkę pomiędzy dwiema istniejącymi klatkami, renderuje je i odgaduje następną, zachowując jednocześnie akceptowalny czas reakcji.

Ta zaawansowana technika wymaga zrozumienia dwóch fundamentalnych pojęć w tej dziedzinie: optycznej analizy przepływu i wektorów ruchu . Przyjrzyjmy się im po kolei:

1) Analiza przepływu optycznego

Ta technika polega na wykonaniu serii zdjęć i oszacowaniu, jak będzie wyglądać kolejna wersja obrazu. Oszacowanie to odbywa się poprzez analizę prędkości, koloru i jasności obiektów na obrazie. Zamiast uzyskać jasny i precyzyjny wynik, otrzymujesz jedynie przybliżoną ocenę.

Wyobraź sobie piłkę toczącą się po ziemi w prawo. Piłka dociera do celu w pięciu oddzielnych krokach. Zakładając, że jej ruch jest quasi-liniowy i po linii prostej, możesz przewidzieć jej ostateczny cel. Jeśli studiowałeś geometrię analityczną , prawdopodobnie spotkałeś się ze wzorem dwupunktowym:

y - y1 = (x-x1)(y2-y1) / (x2-x1)

Na podstawie zaledwie dwóch punktów możemy wyznaczyć równanie danej linii. Ponieważ nachylenie jest stałe, przewidywanie następnej pozycji obrazu/punktu nie jest skomplikowane. Należy zauważyć, że sama technika jest znacznie bardziej złożona.

Co najważniejsze, analiza przepływu optycznego nie wymaga dostępu do danych silnika gry. Można ją zastosować na poziomie sterownika , który interpoluje (wstawia) klatki, przewidując ruch na ekranie. Mówiąc prościej, analiza przepływu optycznego nie wchodzi w interakcję z silnikiem gry.

Wadą jest to, że sterownik nie jest w stanie odróżnić interfejsu użytkownika (UI) od rzeczywistego środowiska 3D , co może prowadzić do nieoczekiwanych zniekształceń. Co więcej, dane wyjściowe nigdy nie zostaną dopracowane, ponieważ korzystają z surowych danych klatek.

2) Wektory ruchu w silniku gry

Wektory ruchu to wektory kierunkowe, które wskazują przemieszczenie obiektów między klatkami. Są fundamentalnym elementem silników gier i reprezentują transformację i ruch obiektów. To skuteczniejszy sposób reprezentacji ruchu niż proste „zgadywanie” położenia obiektu.

Jeśli się zastanawiasz, wektory ruchu są kluczowym elementem generowania klatek. Jednak te dane wymagają kompatybilności między sterownikiem a silnikiem gry. Osiągnięcie tej kompatybilności wymaga implementacji przez twórców gry.

Dlatego, mimo że wektory ruchu są lepsze od analizy przepływu optycznego (OPA), ich zakres i skalowalność są bardzo ograniczone, co oznacza, że ​​funkcja ta nie będzie dostępna w każdej grze. Jeśli grasz w starszy tytuł z lat 2010. , jest bardzo mało prawdopodobne, że rozwiązania generacji klatek (FG) obsługiwane przez wektory ruchu (takie jak DLSS FG i FSR3 FG) będą dostępne.

Porównanie generowania ramek DLSS i FSR

Przyjrzyjmy się teraz, jak wypadają w porównaniu obecne technologie generacji ramek obu drużyn: Zielonej i Czerwonej.

↪ NVIDIA:

Wersja generowania klatek firmy NVIDIA wykorzystuje połączenie wektorów ruchu i analizy przepływu optycznego. Akcelerator przepływu optycznego w procesorach graficznych z serii RTX 40 analizuje dwie klatki. Następnie identyfikuje informacje nieuwzględnione w wektorach ruchu gry, takie jak cząsteczki, odbicia, cienie itp. W poniższym przykładzie analiza przepływu optycznego umożliwia precyzyjne śledzenie cieni.

Natomiast składowa wektora ruchu śledzi trójwymiarowe środowisko i geometrię sceny. W przykładzie z rowerem wektory ruchu mogą matematycznie określić dokładną przyszłą pozycję rowerzysty lub drogi. Nie mogą jednak określić cienia, który jest przedmiotem analizy przepływu optycznego. Dlatego oba te elementy muszą współdziałać, aby uzyskać dokładny obraz.

• Wymaga Wsparcie dla programistów Hazard
• م Mieszanka من Analiza przepływu optycznego وWektory ruchu
• ograniczony ze sprzętem Na jednostkach przetwarzania grafiki RTX 40
• Niemożliwe Wdrażanie tego na Poziom programu kierowcy

↪ AMD:

Technologia generowania klatek FSR 3 jest bardzo podobna do technologii generowania klatek DLSS firmy NVIDIA. Poza kilkoma zmianami nazw, technologia ta integruje również połączenie analizy przepływu obrazu i wektorów ruchu . Z oczywistych względów obie technologie wymagają wsparcia ze strony twórców gier.

• Wymaga Wsparcie dla programistów Hazard
• م Mieszanka من Analiza przepływu optycznego وWektory ruchu
• Można go włączyć w jednostkach przetwarzania grafiki z serii RX 5000/6000 وRTX 20/30/40
• Niemożliwe Wdrażanie tego na Poziom programu kierowcy

Anomalia: AMD Fluid Motion Frames (AFMF)

Najbliższym narzędziem do generowania klatek przez gracza jest AMD Fluid Motion Frames . AFMF nie oddziałuje w żaden sposób na grę. Opiera się wyłącznie na analizie przepływu obrazu lub przewidywaniu następnej klatki.

Dzięki temu działa z niemal wszystkimi tytułami DirectX 11/12 , ponieważ nie wymaga żadnego oprogramowania. AFMF nie zwiększa liczby klatek na sekundę, ale sprawia, że ​​gra wygląda płynniej, ponieważ na ekranie widać „plus ” klatek.

A więc, jakie są wady? Cóż, AFMF nawet nie zbliża się do DLSS FG ani FSR FG. Co więcej, użytkownicy będą musieli radzić sobie z usterkami interfejsu. Ponieważ jednak działa na poziomie sprzętowym, jest to bardzo dobra opcja, jeśli jesteś przygotowany na radzenie sobie z ewentualnymi błędami.

• Nie wymaga Wspieranie twórców gier
• م Tylko analiza przepływu optycznego
• Obsługuje wyłącznie jednostki przetwarzania grafiki. RDNA2 lub najnowsze
• Pracuje czysto على Poziom definicji operatora

Czy NVIDIA odpowie na AFMF?

Oczywista odpowiedź brzmi: „ nie wiemy ”, ponieważ NVIDIA nie wydała jeszcze żadnego oświadczenia w sprawie takiej opcji. Aaron Steinman z AMD potwierdza, że ​​ten krok zmusi NVIDIĘ do szybkiego opracowania czegoś podobnego do AFMF.

„Ciekawi mnie, czy NVIDIA uważa teraz, że powinna pójść w ślady nas, tworząc rozwiązania oparte na sterownikach”.

Aaron Steinman , dla PC Gamer

Co ciekawe, nie widzieliśmy wersji AFMF firmy NVIDIA, zwłaszcza po tym, jak dumnie ogłoszono, że seria RTX 40 ma lepszy akcelerator przepływu optycznego w porównaniu z Ampere (RTX 30). To był główny powód, dla którego NVIDIA FG (wykorzystująca przepływ optyczny i wektory ruchu) można było włączyć tylko na Ada Lovelace.

Z drugiej strony, NVIDIA może być zmuszona do wyszkolenia zupełnie nowego modelu na potrzeby tego projektu, co wiązałoby się ze znacznymi dodatkowymi kosztami.

↪ Czy to naprawdę warte zachodu?

Generowanie klatek z wykorzystaniem zarówno optycznej analizy przepływu, jak i wektorów ruchu, nie jest pozbawione wad. Opóźnienie sygnału wejściowego generowane przez te funkcje sprawia, że ​​są one mało atrakcyjne dla graczy. Z drugiej strony, AFMF oparty na sterownikach nie jest lepszy, ponieważ zużywa liczbę klatek na sekundę (FPS) z powodu interpolacji, a jednocześnie jest niespójny i podatny na zakłócenia i błędy wizualne.

Lepsze pytanie brzmi: „ Czy NVIDIA nie powinna najpierw udoskonalić generowania klatek DLSS ?”. Biorąc pod uwagę, że sztuczna inteligencja z czasem się rozwija, problem opóźnień powinien zostać w dużej mierze rozwiązany. O ile NVIDIA nie jest ściśle ograniczona przez swoje modele danych, stworzenie rozwiązania do generowania klatek na poziomie sterownika (FG) nie powinno być trudne, ale czy warto?

↪ Czy to będzie bezcelowe?

Gdzie domyślnie korzystałbyś z wersji AFMF firmy NVIDIA? NVIDIA prawdopodobnie ograniczy tę funkcję do układów GPU z serii RTX 40 lub nowszych, które są już wystarczająco wydajne, aby uruchamiać starsze gry z doskonałą liczbą klatek na sekundę. Nowsze gry często obsługują DLSS 3 FG/FSR 3 FG.

Mobilne procesory graficzne to inny przypadek, ale podejście na poziomie sterownika byłoby bardzo przydatne w przypadku starszych architektur, takich jak Pascal , Maxwell , Kepler i Fermi . Niestety, ze względów technicznych rozszerzenie tej funkcji na te jednostki byłoby praktycznie niemożliwe. Brakuje im rdzeni Tensor , a CUDA niewiele z nimi potrafi. Nawet AFMF działa tylko z architekturami RDNA2 i nowszymi.

Nadzieje na RTX 50 „Blackwell”

Według plotek, seria RTX 50 zadebiutuje w czwartym kwartale 2024 roku. Spodziewajcie się lawiny zapowiedzi, które mogą, ale nie muszą, obejmować uniwersalne rozwiązanie do generowania klatek. Pomimo spodziewanego utknięcia w sprzęcie serii RTX 40/50, NVIDIA nie jest znana z pozostawania w tyle w żadnej dziedzinie. To jednak czyste spekulacje i nie ma żadnych plotek wskazujących na takie plany ze strony NVIDIA.

Wniosek

Chociaż sztuczna inteligencja (AI) odnotowała bezprecedensowy rozwój, potrzeba wystarczającej ilości sprzętu, aby wnioskować i przyspieszać AI. Jeśli rdzenie GPU nie są wystarczająco szybkie, interpolacja klatek w czasie rzeczywistym jest po prostu niemożliwa. Można przenieść to przetwarzanie na serwer, ale wymagałoby to subskrypcji i skutkowałoby bardzo niskimi opóźnieniami. Dla producentów GPU ważne jest znalezienie równowagi. Co o tym sądzisz? Daj nam znać w komentarzach.

często zadawane pytania

Czym w skrócie jest generowanie ramek oparte na sterownikach?

Mówiąc najprościej, generowanie klatek na poziomie definicji to uniwersalne rozwiązanie umożliwiające generowanie klatek w klatkach bez konieczności korzystania ze wsparcia twórców gier.

Czy jeśli kiedykolwiek zostanie wydane, NVIDIA ograniczy swoje rozwiązanie generowania ramek na poziomie sterownika (FG) do procesorów graficznych z serii RTX 40 i wyższych?

Najprawdopodobniej tak. Ponieważ DLSS 3 FG wymaga układów GPU serii RTX 40 ze względu na nowy „Optical Flow Accelerator”, można się spodziewać, że oficjalne rozwiązania oparte na sterownikach będą miały podobne wymagania.

Czy seria RTX 50 zrewolucjonizuje technologię generowania klatek, jaką znamy?

Nie ma potwierdzonych plotek na ten temat. Czas pokaże, zwłaszcza że większość z nas nie znała technologii generowania klatek, zanim NVIDIA ogłosiła ją dwa lata temu.