Сглаживание в играх: как разработчики делают картинку приятнее и какой тип сглаживания выбрать?
Чтобы убрать пиксельные лесенки в кадре, разрабочтики используют технологию сглаживания в играх. Рассказываем, что это и как работает.
Если вы когда-нибудь заглядывали в настройки графики в играх, то, вероятнее всего, замечали параметр сглаживания. И если другие настройки, такие как дальность прорисовки или качество теней, достаточно интуитивны, то с пониманием сглаживания могут возникнуть проблемы.
Зачем нужно сглаживание в играх?
Строение экрана монитора представляет из себя матрицу квадратных пикселей. Несложно догадаться, что в таком случае идеально правильными будут отрисовываться только горизонтальные и вертикальные линии. Как только компьютер попытается отрисовать наклонную линию — появляется зубчатость пикселей.
Лесенка пикселей при отрисовке наклонных линий
Эту проблему можно решить приобретением монитора с бОльшим разрешением. Скорее всего, если у вас не современная видеокарта, то придётся обновить и её. Но такой вариант устроит далеко не каждого.
По этой причине разработчики добавляют в свои игры технологию сглаживания. Она была придумана ещё в 1972 году, но популярность в игровой индустрии начала набирать только спустя несколько десятков лет. Суть сглаживания заключается в том, чтобы закрасить соседние от зазубренности пиксели в промежуточный цвет (или градиент цветов). В таком случае переход будет казаться не таким резким, тем самым сглаживая границу.
Пример сглаживания наклонной линии
Примечание Сглаживание применяется не только в играх, но и в интерфейсах программ и даже просто в операционных системах. Помимо изображений, алгоритм обрабатывает и текст, делая маленький шрифт более читаемым.
Добиться сглаживания можно разными способами. Ниже перечислены 8 основных и популярных алгоритмов сглаживания, однако в играх могут попасться и другие типы.
SSAA (SuperSample Anti-Aliasing)
Самый простой, но в то же время самый эффективный тип сглаживания, который в играх даёт самую приятную картинку. К сожалению, он сильно снижает производительность. Видеокарта виртуально увеличивает разрешение экрана в несколько раз. После отрисовки кадра изображение сжимается обратно до оригинальных размеров, усредняя цвета виртуальных пикселей в соответствующие им реальные пиксели. Если разрешение экрана Full HD (1920×1080), а сглаживание работает в четырёхкратном режиме, то кадр будет отрисовываться в разрешении 4K (3840×2160).
Примечание Усреднение пикселей — это просто нахождение среднего цвета от нескольких виртуальных пикселей. Например, в SSAA x 4 разрешение увеличивается в два раза. Тогда каждому реальному пикселю будут соответствовать 4 виртуальных. Вот примеры того, как будет происходить усреднение:
Примеры усреднения цветов
Такой тип сглаживания убирает лесенку, делает мелкие объекты вдали более различимыми, а саму картинку просто более приятной для глаз.
К сожалению, далеко не во всех играх реализован такой тип сглаживания. Алгоритм SSAA лучше всего подойдёт для несовременных игр, где ресурсозатратность такого сглаживания будет компенсироваться большой производительностью самой игры.
Однако иногда в настройках может попасться сглаживание SSAA x 0,5. При его использовании разрешение изображения виртуально уменьшается в два раза, а при отрисовке на экран обратно растягивается. Качество картинки в таком случае ухудшается, а вот производительность игры наоборот увеличивается.
MSAA (MultiSample Anti-Aliasing)
На практике, сглаживание не нужно применять абсолютно ко всему кадру. Оно уместно там, где есть наклонные линии, контрастные границы полигонов или мелкие объекты на дальнем расстоянии. Поэтому на замену ресурсоёмкому SSAA пришёл более лёгкий MSAA.
Этот тип сглаживания работает по схожему алгоритму: увеличивает виртуальное разрешение определённого участка кадра, прорисовывает его, а затем уменьшает разрешение до оригинала.
Результат четырёхкратного сглаживания MSAA
Но такое сглаживание неэффективно в играх, где нужно отрисовывать много мелких объектов: траву, листву или волосы — всё то, что разработчики так яростно пытаются детализировать. В таких случаях этот тип сглаживания становится идентичным своему предшественнику, а значит — таким же ресурсозатратным.
FXAA (Fast approXimate Anti-Aliasing)
Суть этого алгоритма заключается в усреднении цветов соседних реальных (не виртуальных) пикселей.
Результат сглаживания FXAA
FXAA сильно мылит изображение, зато требует минимум ресурсов. Не самый лучший вариант, однако один из самых популярных. При его использовании стоит понимать, что любые чёткие элементы или контрастные границы размываются, что в некоторых случаях делает картинку не сильно приятной для глаз. Поэтому вам предстоит сделать выбор между замыленным изображением и лесенками пикселей.
MLAA (MorphoLogical Anti-Aliasing)
Этот тип сглаживания является аналогом FXAA от Intel. Алгоритм работает после финальной отрисовки кадра, поэтому может выполняться уже не на видеокарте, а на центральном процессоре. Это позволяет существенно снизить нагрузку на видеокарту.
Принцип разбиения изображения на структуры.
MLAA определяет места с резким переходом цветов по 3 разным паттернам: Z, U и L. Потом участок градуируется по цветам по заранее заданным алгоритмам, свойственным каждому из паттернов.
SMAA (Subpixel Morphological Anti-Aliasing)
Это сглаживание, созданное на основе FXAA и MLAA. Является улучшенной версией MLAA, но работает уже не на ЦП, а на видеокарте, а значит, тратит её ресурсы.
Теперь для определения контуров алгоритм использует не только разность цветов, но и яркость пикселей. Паттерны Z, U и L остаются, а вдобавок к ним появляются диагональные паттерны. Это помогает точнее отрисовывать острые грани объектов.
Результат сглаживания SMAA. Обратите внимание на дерево и листья у здания
К сожалению, как и два предшественника, этот тип сглаживания в играх тоже замыливает картинку, поэтому некоторые отдельные мелкие объекты (такие как частички грязи или царапины) размываются.
TXAA/TAA (Temporal Anti-Aliasing)
Этот тип сглаживания, разработанный Nvidia, не только борется с зазубринами пикселей, но и устраняет ненужное дрожание объектов.
Первая проблема решается соединением и оптимизацией двух типов сглаживаний: MSAA и SMAA. С дрожанием алгоритм борется с помощью анализа нескольких предыдущих кадров. Поэтому этот тип ещё называют временным сглаживанием (так как он анализируют кадры, которые были некоторое время назад).
Результат работы сглаживания TAA
Такое сглаживание отлично работает при статичном или почти статичном изображении. Как только сцена становится динамичной, алгоритм начинает потреблять много ресурсов. К тому же, могут начать появляться артефакты, вызванные остаточным изображением прошлых кадров.
DSR (Dynamic Super Resolution)
Сглаживание тоже прямиком от Nvidia. Алгоритм похож на SSAA. Разница в том, что DSR просто запускает игру в бОльшем разрешении экрана. После этого, как и SSAA, он отрисовывает кадр, а затем уменьшает картинку до оригинального разрешения.
Из вытекающих преимуществ: вы сможете делать 4К скриншоты на Full HD мониторе, например. Однако, если игра не до конца оптимизирована под этот тип сглаживания, то интерфейс игры и чувствительность мыши могут уменьшиться, так как по сути вы играете на разрешении большем, чем у вашего монитора.
CSAA/CFAA (Coverage Sampling Anti-Aliasing/Custom-Filter Anti-Aliasing)
Улучшенная версия MSAA. Даёт качество картинки на уровне MSAA x 8, но при этом потребляет ресурсов, как MSAA x 4. Замыливания почти нет.
Улучшение алгоритма достигнуто тем, что в расчёт берутся также данные о соседних пикселях. Это позволяет более точно провести сглаживание, не затрагивая мелкие объекты, которые не должны размываться.
Результат восьмикратного сглаживания CSAA
Примечание Многие алгоритмы сглаживания во время обработки изображения учитывают не только соседние пиксели, но и отдельно их субпиксели (да-да, те самые R, G и B каналы) — всё зависит от строения и особенностей матрицы вашего монитора.
На изображении ниже видно, что при сглаживании текста участвуют не полноценные пиксели, а только некоторые их каналы: красный, синий и жёлтый (смесь красного и зелёного).
Технология субпиксельного рендеринга Clear Type
Какое сглаживание выбрать в игре?
Если вы — владелец мощного игрового компьютера, а в настройках графики видите SSAA-сглаживание — без раздумий выбирайте его. Но если вы переоценили силы вашего ПК, и такое решение сильно ударило по частоте кадров, то попробуйте найти SMAA или TXAA (TAA).
Если ваш компьютер более бюджетный, всегда есть варианты использования FXAA, MLAA или MSAA.
К тому же, кроме экспериментов с типом сглаживания, можно пробовать изменять степень сглаживания (если такое предусмотрено разработчиком).
Итак, из этой статьи вы узнали много разных наборов букв. Проверьте, получилось ли у вас что-то запомнить. ?
Что такое антиалиасинг: Digital Foundry о технологиях «сглаживания»
Digital Foundry, техническое подразделение Eurogamer, выпустило видео о технологиях «сглаживания» (anti-aliasing). Эксперты рассказали о преимуществах и недостатках различных видов антиалиасинга, а мы выбрали из видео главное.
Что такое антиалиасинг
Большинство игроков имеет представление о том, что такое «сглаживание» (anti-aliasing) — это технология, устраняющая «зазубрины». Однако сейчас этим словом обозначают сразу несколько совершенно разных технологий — графические движки становятся всё более сложными, а вслед за ними становятся более сложными и разнообразными методы борьбы с «зазубринами».
Чтобы понять, что такое «антиалиасинг», сначала нужно разобраться, что такое «алиасинг» — именно типами «алиасинга» определяются методы борьбы с ним. Алиасинг — это резкое изменение в визуальной информации, мешающее игроку воспринимать её как нечто непрерывное. Это может быть резкий переход между пикселями, между группами пикселей или между кадрами.
Менее требователен к системе метод под названием MSAA (Multisample Anti-aliasing), увеличивающий плотность пикселей выборочно, на границах определённых полигональных объектов. Конечно же, такой метод гораздо менее требователен к производительности, чем SSAA, увеличивающий количество всех пикселей в четыре раза.
Эти методы позволяют решить проблемы со статичным изображением, но к ситуациям, в которых алиасинг возникает в результате движения, нужен другой подход. В качестве примера эксперт Digital Foundry использует соломенную крышу из третьего «Ведьмака» — на статичных скриншотах она выглядит потрясающе, но на видео начинает «рябить». В этом случае проблема возникает внутри текстуры, а не по её краям. MSAA тут делу не поможет, а SSAA будет слишком сильно нагружать систему.
От ряби можно избавиться, просто снизив уровень детализации конкретного объекта — этот метод носит название Mip Map. Снижение количества пикселей в текстуре, находящейся на расстоянии, может не только повысить производительность, но и избавить её от ряби и прочих неприятных визуальных эффектов.
Ещё один вид алиасинга связан с переходом между кадрами. Предыдущий кадр может оставлять визуальный след в текущем — объекты будто бы оказываются в двух местах одновременно. Эта проблема не исчезает полностью ни при тридцати, ни при шестидесяти кадрах в секунду — чтобы избавиться от неё, необходима частота в несколько тысяч кадров в секунду и дисплей, способный работать на такой частоте.
Что популярно сейчас
На всё многообразие проявлений алиасинга у разработчиков неизменно находятся эффективные ответы — методы борьбы постоянно совершенствуются. Например, в последнее время MSAA встречается в играх всё реже, а популярность приобретает метод PPAA (Post Process Anti-Aliasing), в частности FXAA и SMAA. Его суть заключается в том, что «сглаживание» производится постфактум — уже после того, как изображение было создано. У этого метода есть и недостатки — например, нестабильность изображения, вызванная разницей между двумя следующими друг за другом кадрами после обработки. К тому же при использовании PPAA часть изображения может стать чересчур «сглаженной», или, наоборот, остаться «острой».
Эти проблемы можно решить, если предоставить алгоритму постобработки больше информации. Существуют методы «сглаживания», способные обрабатывать каждый новый кадр на основе предыдущего. Это позволяет добиться эффекта, не уступающего в «гладкости» требовательному SSAA, задействовав гораздо меньше ресурсов.
Здесь тоже есть свои проблемы — изображение, созданное на основе предыдущих кадров, может «сгладиться» слишком сильно. Сейчас с этим тоже научились бороться: теперь один алгоритм занимается сглаживанием, а другой, сразу же вслед за ним, «заострением».
Однако технология TAA (Temporal Anti-aliasing) обостряет проблему перехода между кадрами, о которой было сказано ранее. С ней разработчики борются при помощи старого доброго «размытия» (blur), столь нелюбимого многими игроками. По мнению эксперта Digital Foundry, от «блюра» нам никуда не деться — по крайней мере, пока мы не сможем позволить себе несколько тысяч кадров в секунду.
В финале видео эксперт составляет краткую памятку для тех, у кого возникают проблемы с выбором метода «сглаживания».
SSAA — отличное качество, но очень требователен.
MSAA — полезен лишь в отдельных случаях, сейчас встречается редко.
TAA — отличное качество, не так требователен, как SSAA, но знаменит «блюром» и проблемами при переходе между кадрами.
PPAA — нормальное качество, не требователен, рекомендуется использовать в сочетании с каким-либо другим методом.
Основы 3D графики: Сглаживание
Antialiasing (Сглаживание) — это технология, используемая для устранения эффектов «зубчатости» и мерцания, возникающего на границах выводимых на экран отдельных изображений. По сути она похожа на фильтрацию, ибо добавляет промежуточные цвета для создания более плавных переходов между объектами.
Aliasing — нежелательный эффект «зубчатости», проявляющийся на краях изображений. Может возникать по различным причинам, таким как: недостаточное разрешение устройства вывода, разница между исходным и проецируемым разрешением объекта/текстуры и т.д.
Temporal aliasing — Нежелательный эффект мерцания, проявляющийся у движущихся объектов, вызванный, как правило, недостаточной скоростью смены кадров (fps) сцены в сравнении со скоростью движущихся на ней объектов.
Выделяют две группы сглаживания:
1. Основанные на мультисэмплинге — расчете изображения в многократном разрешении и приведению его к разрешению экрана с использованием усреднения цветов пикселей.
Наиболее известные методы этой группы:
- FSAA (Full-scene anti-aliasing) — Полноэкранное сглаживание. Данный термин может применяться к любому типу сглаживания, обрабатывающему экранное изображение целиком, но нередко его используют как синоним суперсэмплинга.
- SSAA — (Supersample anti-aliasing) — один из старейших и при этом наиболее качественный тип сглаживания. Остальные методы были придуманы по причине того, что просчет данного метода является очень ресурсоемким. SSAA оперирует несколькими (2, 4, 8, . ) образцами каждого экранного пикселя. Данная операция является ресурсоемкой из-за необходимости рендеринга изображения огромных размеров (например для обработки изображения для экрана 1920×1080 с 8xSSAA, необходимо проделать такую же работу, как для просчета изображения в разрешении 7680×2160 без сглаживания.
- MSAA (Multisample anti-aliasing) — более быстрый, но менее качественный вариант. Скорость работы достигается благодаря обработке только одного экземпляра параметров шейдера и текстуры.
- CSAA (Coverage Sampling anti-aliasing) — дополнение MSAA. Добавляет образцы охвата (Coverage samples). Сетка образца охвата имеет большее разрешение, нежели сетка образцов MSAA и содержит информацию логического типа о том, покрыта ли часть заданного пикселя полигоном.
2. Основанные на постобработке — обрабатывают отрендеренное изображение и добавляет пиксели исходя из заданного алгоритма. При использовании методов данного типа, расчета дополнительных образцов не производится, однако их можно рассчитывать поверх любого мультисэмплингового метода.
- MLAA (Morphological anti-aliasing) — ищет разрывы/неровности между пикселями изображения, сверяет с предопределенным образцом и смешивает соседние цвета фрагментов.
- FXAA (Fast Approximate anti-aliasing) — облегченная версия MLAA, дающая ~5% прироста производительности, но обладающая меньшим качеством.
- TXAA (Temporal Approximate anti-aliasing) технология компании NVIDIA. Использует комбинацию традиционного мультисэмплинга и постобработки. 2xTXAA качественно равна 8xMSAA и при этом потребляет ресурсы в том же размере, что 2xMSAA. 4xTXAA качественно лучше чем 8xMSAA и потребляет ресурсы в том же размере, что 4xMSAA.
- SMAA (Enhanced Subpixel Morphological anti-aliasing) — открытый проект, совмещающий в себе MLAA и MSAA/SSAA.
А здесь вы можете посмотреть очень интересную таблицу использования ресурсов для различных методов сглаживания и ознакомиться с менее известными методами.
Читайте другие лекции курса «Основы 3D графики»:
Виды сглаживания и их особенности
Что такое сглаживание? Какие виды существуют? Начнём немного разбираться в рамках данной статьи. Постараемся охватить все, которые существуют, но некоторые всё равно останутся за «кадром» в связи с их большим количеством, а также текущей неактуальностью. Да, некоторые методы активно используются разработчиками тех же игр, другие же — достаточно редкие гости в тех или иных приложениях. Про каждый из методов сглаживания вы сможете более подробно ознакомиться в интернете, т. к. в рамках одной статьи это слишком объёмный материал и по большинству из сглаживаний можно писать по отдельной статье. А пока мы с вами приступим к рассмотрению некоторой терминологии.
Сглаживание (Anti-aliasing) — это метод компьютерной графики, который пытается минимизировать нежелательные «лесенки» или неровные контуры объектов, которые возникают из-за ограниченного разрешения в 3D-рендерерах, по сути путём «сглаживания» этих линий.
Необходимо ещё затронуть несколько терминов, среди которых выборка, репрезентативность выборки и генеральная совокупность, а также шейдеры.
«Генеральная совокупность — это совокупность всех объектов или наблюдений, относительно которых исследователь намерен делать выводы при решении конкретной задачи».
Выборка — это ограниченная по численности группа объектов, отбираемая из определённого множества или совокупности для изучения их свойств. Тем самым изучение с помощью выборки свойств определённой совокупности называется выборочным исследованием.
Выборка должна соответствовать определённым критериям, чтобы была возможность обобщить и распространить её на генеральную совокупность. Основные критерии — это репрезентативность выборки и статистическая достоверность результатов.
Репрезентативность выборки, если говорить более простым языком — это её представительность, т. е. способность выборки представить явления или объекты достаточно полно с точки зрения их изменчивости в генеральной совокупности.
«Шейдер — это программа для графического процессора, которая используется в трёхмерной графике для определения окончательных параметров объекта или изображения. Кроме этого она может включать в себя описание поглощения и рассеяния света, наложения текстуры, отражения и преломление, затенение, смещение поверхности и множество других параметров».
Ниже мы перейдём к оглавлению. Материала достаточно много — вы можете выбрать только тот пункт, который вас интересует, либо ознакомиться со всей статьёй целиком.
Оглавление
- Пример сглаживания
- Виды сглаживания
- Традиционные методы
- Избыточная выборка сглаживания — Super-Sampling Anti-Aliasing (SSAA)
- Множественная выборка сглаживания — Multi-Sample Anti-Aliasing (MSAA)
- Мультикадровое сглаживание — Multi-Frame Anti-Aliasing (MFAA)
- Сглаживание повышенного качества — Enhanced Quality Anti-Aliasing (EQAA)
- Выборка сглаживания с перекрытием — Coverage Sampling Anti-Aliasing (CSAA)
- Избыточное шахматное сглаживание — Quincunx Super Anti-Aliasing (QSAA)
- Избыточная выборка сглаживания с разряженной решёткой — Sparse Grid Super-Sampling Anti-Aliasing (SGSSAA)
- Сглаживание гибридной выборки — Hybrid-Sampling Anti-Aliasing (HSAA)
- Быстрое приблизительное сглаживание — Fast Approximate Anti-Aliasing (FXAA)
- Морфологическое сглаживание — Morphological Anti-Aliasing (MLAA)
- Субпиксельное морфологическое сглаживание — Subpixel Morphological Anti-Aliasing (SMAA)
- Субпиксельное восстанавливаемое сглаживание — Subpixel Reconstruction Anti-Aliasing (SRAA)
- Консервативное морфологическое сглаживание — Conservative Morphological Anti-Aliasing (CMAA)
- Направленно локализованное сглаживание — Directionally Localized Anti-Aliasing (DLAA)
- Динамическое супер разрешение — Dynamic Super Resolution (DSR)
- Виртуальное супер разрешение — Virtual Super Resolution (VSR)
- Временное сглаживание — Temporal Anti-Aliasing (TAA)
- Временное приблизительное сглаживание — Temporal approXimate Anti-Aliasing (TXAA)
- Временная избыточная выборка сглаживания — Temporal Super-Sampling Anti-Aliasing (TSSAA)
- Сглаживание гибридной реконструкции — Hybrid Reconstruction Anti-Aliasing (HRAA)
- Избыточная выборка при помощи глубокого обучения — Deep Learning Super-Sampling (DLSS)
- FidelityFX супер разрешение — FidelityFX Super Resolution (FSR)
Пример сглаживания
Слева изображен куб без сглаживания, справа же — со сглаживанием 16x. Как вы видите, слева те самые «лесенки», справа, конечно, тоже «лесенки», но их края «смазаны» и без приближения стороны куба смотрятся более гладкими.
Виды сглаживания
На сегодняшний день существует большое количество методов сглаживания, но все они основываются на одном принципе. Они отрисовывают несколько пикселей для одного исходного пикселя в финальном изображении.
Фактически методы различаются только двумя пунктами:
- Как они определяют пиксели, которые могут быть наложены друг на друга.
- Как они «смешивают» несколько отрисованных пикселей для получения необходимого нам конечного пикселя.
Кроме этого данные алгоритмы используют разное количество пикселей для получения финального пикселя. В видеоиграх данное количество представлено достаточно просто с помощью использования числа 2 в какой-либо степени, т. е. 2x, 4x, 8x и т.д..
Существует несколько терминов, которые ассоциируются со сглаживанием, большинство из них исходит от стандартной формулы сглаживания.
Кроме этого следует отметить, что некоторые методы сглаживания могут использовать видеокарты как Nvidia, так и Radeon, другие же — только Nvidia или только Radeon.
Традиционные методы
Результат более чёткий и чистый, чем методы постобработки.
Форсирование данных методов не гарантирует, что они будут работать в играх с отложенной отрисовкой. Данное ограничение можно обойти с помощью пониженной дискретизации, но данный способ будет сильно влиять на производительность.
Данные методы в большинстве случаев довольно затратны по используемым ресурсам. Методы постобработки могут использоваться, как альтернатива для снижения влияние сглаживания на производительность.
Традиционные методы не конфликтуют с большинством типов временного сглаживания.
Избыточная выборка сглаживания — Super-Sampling Anti-Aliasing (SSAA)
Данный метод также известен как Полноэкранное сглаживание Full Scene Anti-Aliasing (FSAA) от AMD и зачастую заменяется термином снижение масштабирования.
Технически при корректном использовании снижения масштабирования разница с SSAA/MSAA будет заключаться в том, что снижение масштабирования применяется как к 2D, так и 3D объектам, в то время как SSAA/MSAA только к 3D объектам. В некоторых реализациях это может привести к меньшему снижению производительности и лучшей совместимости.
Искажения изображения появляются потому, что в отличии от реальных объектов, которые имеют непрерывные плавные кривые и линии, монитор отображает человеку большое количество маленьких квадратов. Все эти пиксели имеют одинаковый размер и у каждого свой цвет. Линия отображается только как набор пикселей и поэтому выглядит неровной, если она не располагается идеально горизонтально или вертикально. Образцы цвета берутся с нескольких выборок внутри пикселя (а не только в его центре) и вычисляется среднее значение цвета. С помощью отрисовки в более высоком разрешении, чем отображаемое, а затем сжатием до необходимого размера с использованием дополнительных пикселей для расчёта получает субдискретизированное изображение с более плавными переходам от одной строки пикселей к другой по краям объектов.
Данные методы используют общую формулу сглаживания к полноэкранным изображениям, уменьшая «эффект лестницы». По сравнению с отрисованным изображением, которое прошло через MSAA, изображение SSAA/FSAA будет выглядеть более гладким. На 2D текст также могут повлиять большинство из реализации снижения масштабирования, в то время как SSAA/MSAA не должны влиять на текст при их правильной реализации.
Реализованная на системах Nvidia Избыточная выборка сглаживания с упорядоченной решёткой — Ordered Grid Supersample Anti-Aliasing (OGSSAA). Может быть включена с помощью использования Nvidia Profile Inspector в следующих режимах: 2×1, 1×2, 2×2, 3×3, 4×4.
В настоящее время данный метод был заменён менее ресурсоёмкими методами из-за огромной нагрузки на графический процессор, но по причине получения наилучшего результата некоторые игры всё ещё используют его в качестве одного из вариантов сглаживания в настройках.
Ниже визуализирован принцип работы данного метода.
Множественная выборка сглаживания — Multi-Sample Anti-Aliasing (MSAA)
MSAA по своей сути — это «бюджетная» версия SSAA.
Для уменьшения нагрузки, которая создаётся SSAA/FSAA на системы, множественная выборка оптимизирует процесс, оценивая каждый пиксель только один раз, при этом настоящая избыточная выборка происходит только на краях отрисованного объекта и до значений глубины. Это приводит к аналогичному (но менее радикальному) улучшению качества изображения при одновременном снижении нагрузки на систему при отрисовке и снижению масштабирования в высоких разрешениях изображения.
В первую очередь данный метод убирает искажения геометрии, т. е. временное искажение и искажение шейдерных эффектов, текстур и прозрачностей не будут затронуты.
У данного метода также присутствуют как плюсы, так и минусы. Он решает проблемы с субпикселями, а также не искажает основной объект большим количеством выборок. Однако потребление памяти увеличивается линейно с ростом количества выборок, время отрисовки зависит от количества выборок, а также существуют проблемы комплексной интеграции при работе с отложенной отрисовкой.
Мультикадровое сглаживание — Multi-Frame Anti-Aliasing (MFAA)
Данный метод используется на видеокартах серии Nvidia GeForce GTX 900 или выше (в свою очередь метод является преемником выборки сглаживания с перекрытием CSAA).
Метод предназначен для использования с MSAA для уменьшения негативного эффекта в виде снижения производительности за счёт чередования шаблонов выборок, используемых для каждого пикселя, как пространственно в одном кадре (например, каждый последующий пиксель использует один из четырёх разных образцов шаблонов — 2x сглаживание) и чередуются по нескольким кадрам во времени. Конечным результатом является то, что MFAA может обеспечивать качество изображения, приближающееся к 4x MSAA по производительности, сопоставимой с 2x MSAA, или 8x MFAA по производительности, сопоставимой с 4x MSAA.
Однако стоит отметить важный момент: MFAA не работает должным образом при отрисовке ниже 40 FPS (кадров в секунду). При достижении данного порога изображение размазывается и появляется размытие в движении.
Также возможно отключение некоторого списка команд драйвера D3D11, тем самым убивается многопоточная отрисовка. В следствии этого падает производительность, особенно когда центральный процессор работает на пределе своих возможностей.
Сглаживание повышенного качества — Enhanced Quality Anti-Aliasing (EQAA)
Метод используется для видеокарт серии AMD Radeon HD 6900 и выше.
AMD утверждает, что предлагает улучшенное качество сглаживания по сравнению со стандартными режимами MSAA, добавляя большее количество выборок для перекрытия на единицу пикселя, но сохраняя такое же количество выборок цвета/глубины/образцов для достижения лучшего качества сглаживания, чем стандартные режимы MSAA.
Тестовая выборка проверяет, есть ли полигон в определённой точке выборки и возможно ли использовать их вес для вычисления окончательного цвета пикселя. Поскольку такие выборки достаточно просто получать, то мы имеем конечный результат в виде повышенного качества, которое в меньшей степени воздействует на производительность по сравнению с выборками MSAA. К сожалению, значения данных выборок зависит от определённого пикселя, поэтому мы можем получить как улучшение качества, так и отсутствие каких-либо видимых изменений.
Выборка сглаживания с перекрытием — Coverage Sampling Anti-Aliasing (CSAA)
Кроме данного метода существует и Выборка сглаживания с перекрытием с упором на качество — Quality Coverage Sampling Anti-Aliasing (QCSAA), которая направлена на ещё большее увеличение качества путём использования вдвое большего количества выборок для анализа.
Для метода необходимы видеокарты серии Nvidia GeForce 8000 и выше. Да, именно тех самых старых видеокарт.
В графических процессорах, которые базируются на архитектуре Maxwell, в таких как GTX 750 Ti и серия GTX 800M/900, поддержка данного сглаживания удалена.
Метод нацелен на снижение дополнительной нагрузки, которую создаёт MSAA на систему, при этом Nvidia утверждает, что отрисовка с помощью CSAA конкурирует по качеству с 8x-16x MSAA, при этом нагрузка на систему сравнима с 4x MSAA. Данное качество достигается за счёт уменьшения количества настроек, определяемых каждой выборкой (с помощью создания новой выборки для перекрытия) при одновременном увеличении общего количества выборок.
Данный метод аналогичен EQAA от AMD, поэтому если вы хотите узнать принцип работы сглаживания, то изучите метод EQAA.
Избыточное шахматное сглаживание — Quincunx Super Anti-Aliasing (QSAA)
Данный метод — это эксклюзив от Nvidia.
Немного улучшает стандартный MSAA. Для примера: 2x QSAA примерно соответствует 3x MSAA с точки зрения качества. Данный метод по своей сути — фильтр размытия, который сдвигает отрисованное изображение вверх на половину пикселя и влево на половину пикселя для создания субпикселей. Данная технология убирает большинство неровных краёв, при этом общая детализация изображения также растёт.
Избыточная выборка сглаживания с разряженной решёткой — Sparse Grid Super-Sampling Anti-Aliasing (SGSSAA)
Метод — эксклюзив от Nvidia.
Современная версия SSAA, обладающая превосходным качеством по сравнению с другими методами сглаживания при сохранении высокой производительности.
Существует две разновидности метода: FSSGSSAA (Полноэкранная избыточная выборка сглаживания с разряженной решеткой — Full Scene Sparse Grid Supersampling Anti-Aliasing, чаще всего называемая SGSSAA) и TrSGSSAA (Прозрачная полноэкранная выборка сглаживания — Transparency Sparse Grid Supersampling Anti-Aliasing, чаще всего называемая TrSSAA).
Прозрачная версия включается с помощью настройки в панели Nvidia. Полноэкранная версия требует установить настройки сглаживания — Режим переопределения настроек приложения, Сглаживание — Настройки для 2x 4x или 8x избыточной выборки и Сглаживание — Прозрачность на аналогичное значение в тех же настройках. Обратите внимание, что со стороны игр требуется поддержка данных видов сглаживания, небольшой список вы можете просмотреть по ссылке: NVidia Profile Inspector — AA Flags — Google Диск или воспользоваться Nvidia Profile Inspector.
Если вспомнить немного истории, то Nvidia внедрила поддержку TRSSAA в одном из своих альфа тестов. Однако в одном из драйверов присутствовала ошибка и метод SGSSAA применялся ко всем пикселям. Они исправили ошибку в следующем релизе, но многие пользователи начали жаловаться, что с SGSSAA изображение было лучше. Это заставило Nvidia заново включить данную ошибку в свой драйвер. На текущий момент данный вид сглаживания не поддерживается и Nvidia предупреждает, что данный метод вы используете на свой страх и риск, но другой разработчик включил данную ошибку в другой инструмент nvidia inspector, если данной настройки у вас нет.
SGSSAA может оказаться лучше или хуже OGSSAA в nvidia inspector в зависимости от игры. В некоторых играх один из методов может сделать картинку размытой, а другой — нет, и наоборот. Метод работает практически на любом API. Он работает путём многократной отрисовки в нескольких промежуточных выборках вне экрана, каждый раз применяя смещение к выборкам в разных направлениях. После этого он смешивает постобработку буферов. В настоящее время никто, кроме nvidia не знает наверняка, является ли данная реализация аппаратной или основана на драйверах (шейдерах).
Сглаживание гибридной выборки — Hybrid-Sampling Anti-Aliasing (HSAA)
Данный метод использует комбинацию SSAA и MSAA.
Пользователи Nvidia могут использовать Nvidia Profile Inspector для принудительной установки необходимой версии, которая использует SSAA с упорядоченной сеткой вместе с обычным MSAA в некоторых играх (режимы с расширением xS).
Иногда работает в тех случаях, когда SGSSAA не работает или работает с слишком высоким размытием из-за ошибки в драйвере.
Методы постобработки
Данные методы используют меньше ресурсов по сравнению с традиционными методами.
Данные методы используются после отрисовки изображения, в отличии от традиционных методов. Это означает, что они совместимы практически с каждой игрой, видео или даже фотографиями.
При использовании данных методов изображения (в частности текстуры) иногда могут становиться размытыми, так что общее качество может стать даже хуже оригинала, если метод реализован некачественно. Размытие в некоторой степени можно уменьшить с применение технологий повышения резкости.
Данные методы должны применяться перед отрисовкой элементов интерфейса в игре для исключения воздействия на них.
Быстрое приблизительное сглаживание — Fast Approximate Anti-Aliasing (FXAA)
Метод не требует больших вычислительных мощностей. Это достигается за счёт сглаживания неровных краёв («неровностей») исходя из того, как они изображаются на экране в виде пикселей, вместо того, чтобы анализировать сами 3D — модели, как при обычном сглаживании. Кроме этого метод достаточно быстрый, он выполняется за 1,3 миллисекунды на 1 кадр.
Однако улучшение качества изображение, которое достигается данным методом по качеству несколько хуже, чем традиционные методы сглаживания, такие как MSAA. Данный метод может быть применён дважды с использованием двух отдельным инструментов (например, внутриигровые настройки и панелью управления видеодрайвера и т. д.) или же поверх SMAA или TAA для дальнейшего удаления неровностей, но с большой долей вероятности данный метод ухудшит размытие наравне с увеличением производительности.
Немного подробнее рассмотрим данный метод. Для этого воспользуемся изображением:
FXAA принимает на вход нелинейные цветовые данные RGB, которые он преобразует в скалярную оценку яркости для шейдерной логики. FXAA проверяет локальный контраст, чтобы не обрабатывать края изображения. Обнаруженные края отмечены красным, со смешиванием в сторону жёлтого для представления обнаруженного наложения субпикселей. Пиксели, прошедшие тест на локальный контраст, затем классифицируются как горизонтальные (золотые) или вертикальные (синие). При заданной ориентации края самая контрастная пара пикселей, которая расположена под углом 90 градусов к выбранному краю (синее и зелёное). Алгоритм ищет конец ребра как в отрицательном, так и в положительном аспекте (красное и синее), в направлении длинного края. После этого происходит проверка на существенное изменение средней яркости пары высококонтрастных пикселей по краю изображения. Учитывая концы краёв, положение пикселя на краях преобразуются в субпиксельный сдвиг на 90 градусов перпендикулярно краю для уменьшения искажения (красный и синий для отрицательного и положительного горизонтального сдвига и золотой и небесный для отрицательного и положительного вертикального сдвига). Для входной текстуры делается повторная выборка с учётом данного субпиксельного смещения. В конечном итоге добавляется низкочастотный фильтр в зависимости от количества обнаруженных субпиксельных искажений.
Слева направо: без сглаживания, 4x MSAA и FXAA preset 3.
В ответ на данный метод от Nvidia существует MLAA метод от AMD.
Морфологическое сглаживание — Morphological Anti-Aliasing (MLAA)
Доступно на картах AMD на Windows и может быть принудительно запущено для всех игр через панель управления драйвером видеокарты независимо от используемого графического API, а также для игр OpenGL под Linux с драйверами Mesa.
Данный метод больше воздействует на производительность, чем FXAA, хотя и позволяет получить более чёткое изображение.
MLAA предназначен для уменьшения артефактов искажения в отображаемом изображении без использования дополнительных лучей или спектров. Он содержит 3 основных этапа:
1. Находим разрывы между пикселями на изображении.
2. Определяем переопределённые выборки.
3. Смешиваем цвета по соседству с данными шаблонами.
Слева вы можете видеть изображение без сглаживания, а справа с применением MLAA.
Субпиксельное морфологическое сглаживание — Subpixel Morphological Anti-Aliasing (SMAA)
Данный метод может быть добавлен в большинство игр через ReShade (даже в игры с определение глубины границ)
В своей основе используется метод MLAA. Качество изображения меняется от игры к игре в связи с разной реализацией, но в большинстве случаев данный метод бывает лучше чем FXAA или MLAA.
Метод использует функции локального контраста для определения краёв, а также ускоренный и более точный поиск по расстоянию между пикселями, что позволяет лучше распознавать шаблоны для сглаживания. Это позволяет восстанавливать субпиксели, сопоставимо с сглаживанием 4x MSAA, кроме этого данное сглаживание гибко настраивается под конкретные нужды разработчиков.
Субпиксельное восстанавливаемое сглаживание — Subpixel Reconstruction Anti-Aliasing (SRAA)
В настоящее время используется только в Unigine 2.13.
Метод сочетает в себе однопиксельное затенение с субпиксельной видимостью для создания сглаженных изображений без значительного уменьшения производительности. SRAA направлено на отрисовку с отложенным затенением, которую не может использовать MSAA. SRAA работает как постобработка на отрисованном изображении с глубиной сверхвысокого разрешения и нормальными буферами, поэтому его возможно включить в существующий метод отрисовки без изменения шейдеров. SRAA по своему принципу действия похож на Морфологическое сглаживание (MLAA), но новый метод лучше учитывает геометрические границы и имеет фиксированное время выполнения, независимо от сцен и сложности изображения. SRAA приносит пользу приложениям, привязанных к затенению. SRAA обеспечивает ускорение по сравнению с SSAA, которые тратят больше 1 мс на затенение, для понимания — в большинстве современных игр на этот процесс уделяется от 5 до 10 мс.
Слева изображено сглаживание 16x SSAA, справа 4x SRAA.
Консервативное морфологическое сглаживание — Conservative Morphological Anti-Aliasing (CMAA)
Метод CMAA находится между FXAA и SMAA 1x по необходимой вычислительной мощности (требует в 1.0-1.2 больше чем FXAA 3.8 и в 0.55-0.75 раза больше чем SMAA 1x).
По сравнению с FXAA, CMAA обеспечивает значительно лучшее качество изображения и стабильность времени кадра, поскольку метод правильно обрабатывает линии краёв длиной до 64 пикселей и основан на алгоритме, который работает только с симметричными неоднородностями, чтобы избегать нежелательного размытия.
У CMAA четыре основных логических шага (шаги не всегда связаны с порядком при реализации):
Анализ изображения на предмет неоднородности цвета (впоследствии сохраняется в локальном сжатом «рёберном» буфере). Используемый метод не является уникальным для CMAA.
Извлечение доминирующих рёбер с небольшим ядром (уникальная особенность среди существующих методов).
Обработка симметричных длинных ребер (уникальный подход к оригинальному алгоритму обработки форм в MLAA).
Ниже вы можете увидеть примеры работы данного метода в сравнении с другими.
Направленно локализованное сглаживание — Directionally Localized Anti-Aliasing (DLAA)
Метод используется в Star Wars: The Force Unleashed II, но вы можете его найти в некоторых других играх, особенно на движке Unity.
Согласно информации от автора, данный метод сопоставим с MLAA, но с лучшей стабильностью по времени кадра.
Динамическое сверхвысокое разрешение — Dynamic Super Resolution (DSR)
Метод, представленный Nvidia.
В данном методе происходит отрисовка игры в высоком разрешении (до формата 4K), после этого изображение масштабируется до разрешения дисплея. Это позволяет повысить качество изображения, но производительность в таком режиме снижается, т. к. отрисовка происходит в более высоком разрешении.
Виртуальное сверхвысокое разрешение — Virtual Super Resolution (VSR)
Метод, представленный AMD.
Технология аналогична Dynamic Super Resolution от Nvidia, поэтому если вы хотите более подробно ознакомиться с данным методом, то посмотрите немного выше в статье.
Временные методы
Методы стараются смягчить эффекты временного искажения.
Большинство методов вызывают значительное размытие во время движения.
Временное сглаживание — Temporal Anti-Aliasing (TAA)
Временное сглаживание — общий термин для различных временных методов. Не ограничен конкретным производителем.
Метод включает в себя алгоритм на основе шейдера, который объединяет два кадра с использованием векторов движения для определения места выборки предыдущего кадра, является одним из наиболее распространённых алгоритмов улучшения изображения, используемых сегодня.
Временное приблизительное сглаживание — Temporal approXimate Anti-Aliasing (TXAA)
Метод предназначен для видеокарт серии Nvidia GeForce GTX 600 и выше.
Техника в стиле кино предназначена для уменьшения временного искажения (ползание и мерцание, наблюдаемые в движении во время игры).
Метод сочетает в себе грубую мощь MSAA со сложными фильтрами, аналогичными тем, которые используются в фильмах с использованием компьютерной графики для получения гладкого изображения.
Временное искажение вызвано тем, что частота дискретизации (число кадров в секунду) сцены слишком мала по сравнению с скоростью преобразования объектов внутри сцены. Из-за этого объекты кажутся прыгающими или появляются в каком-то месте вместо того, чтобы создавать впечатление плавного движения к ним. Во избежание артефактов искажения частота дискретизации сцены должна быть как минимум в два раза выше, чем у самого быстро движущегося объекта. Поведение затвора в испытательной выборке (обычно камеры) сильно влияет на наложение, поскольку общая форма экспозиции с течением времени определяет систему с ограниченной полосой перед дискретизацией, что является важным фактором при сглаживании. Типичный пример временного сглаживания в кино — это появление колес транспортного средства, движущихся назад, так называемый эффект вагонных колёс.
Ниже вы можете увидеть сравнение нескольких режимов: без сглаживания, FXAA, SMAA и TXAA
Временная избыточная выборка сглаживания — Temporal Super-Sampling Anti-Aliasing (TSSAA)
Данный метод также известен как TMAA.
В данном случае сглаживание применяется не только к текущему кадру, но и к некоторым кадрам, которые были отрисованы ранее, восстанавливая старые положения пикселей и используя их скорость. Это создаёт более плавные и кинематографические сцены в игре, лишь немного увеличивая нагрузку на видеокарту.
В отличии от TXAA, TSSAA не привязан к конкретному производителю и работает для всех видеокарт. Данный метод сглаживания был применён в World of Tanks с версии 9.9. В данной игре он поделился на две версии:
TSSAA-LQ — это более лёгкий вариант нового метода сглаживания, использующий меньшее количество предыдущих кадров во время обработки изображения.
TSSAA-HQ — метод сглаживания высочайшего качества. Даже если у вашего компьютера недостаточно производительный процессор, вы можете не заметить разницы в производительности между HQ и LQ, т. к. основная нагрузка ложится на видеокарту.
Ниже вы можете увидеть сравнение изображения: без сглаживания, FXAA, TSSAA-LQ и TSSAA-HQ.
Методы реконструкции
Сглаживание с использованием методов реконструкции — попытка снизить нагрузку на графический процессор за счёт рендеринга с более низким разрешением, затем масштабирования до выходного разрешения с одновременным сглаживанием.
Сглаживание гибридной реконструкции — Hybrid Reconstruction Anti-Aliasing (HRAA)
Данный метод — гибридное решение аппаратной выборки, постобработки, временной обработки и анализа. Сглаживание было разработано Ubisoft Montreal и применено в Far Cry 4. Метод основан на лучших элементах постобработки, равен SMAA с точки зрения четкости изображения в статических моментах при попытке устранить мерцание, которое вызвано отсутствием временной выборки.
На практике на PS4 HRAA достаточно успешно обрабатывает неровности, избегая остаточного размытия текстуры. Данная проблема присутствует при использовании популярного метода FXAA. С геометрическими искажениями трудно справиться и при работе с конечной целью растеризации субпиксельные элементы тщательно очищаются. В неподвижных изображениях игра сохраняет резкость во всех нужных местах. Вторая же цель метода — улучшить работу сглаживания в движении. Высококонтрастные элементы, такие как промежутки между листвой деревьев (типичная жертва временного мерцания), выигрывают от смешивания текущего и предыдущего кадров, чтобы уменьшить визуальные помехи. Конечным результатом является очень небольшое мерцание, напоминающее метод TXAA, используемый на ПК.
Ниже вы можете увидеть пример работы метода: без сглаживания, со сглаживанием, со сглаживанием и увеличением резкости.
Избыточная выборка при помощи глубокого обучения — Deep Learning Super-Sampling (DLSS)
Метод — эксклюзив видеокарт Nvidia RTX.
DLSS эмулирует избыточную выборку с использованием нейронной сети для вывода дополнительных деталей поверх внутриигровой отрисовки, сопоставляя его с эталонным изображением, которое было отрисовано с использованием избыточной выборки 64x (64xSS).
В то время, как TAA выполняет отрисовку с конечным целевым разрешением, затем объединяет кадры и вычитает детали, DLSS снижает количество ресурсов необходимых для отрисовки, используя меньшее количество выборок, тем самым практически не влияя на конечную производительность, т. к. для сглаживания используются тензорные ядра.
DLSS использует 2/3 от окончательного разрешения для отрисовки, а затем масштабирует его до полного разрешения.
DLSS 2X — единственный метод, который может отрисовать разрешение игры таким же, как выходное разрешение.
Ниже вы можете рассмотреть примеры работы метода.
Ниже один из примеров различия в качестве DLSS, кроме этого вы можете посмотреть подробное видео по DLSS у нас на Youtube – канале.
FidelityFX супер разрешение — FidelityFX Super Resolution (FSR)
FidelityFX супер разрешение — это пространственное масштабирование, которое берёт текущий сглаженный кадр и масштабирует его до разрешения дисплея, не учитывая другие данные, как например история кадров или векторы движения. Логичным вопросом будет, а почему данный метод находится в методах реконструкции, хотя это масштабирование? Ответ на данный вопрос рассмотрим немного ниже.
В основе FSR лежит передовой алгоритм, который обнаруживает и воссоздаёт края с высоким разрешением из исходного изображения. Эти края с высоким разрешением являются критическим элементом, необходимым для превращения текущего кадра в изображение «супер разрешения».
FSR обеспечивает постоянное качество масштабирования независимо от того, находится ли кадр в движении или нет, что может обеспечить качественные преимущества по сравнению с другими типами масштабирования.
FSR состоит из двух основных этапов:
- Этап масштабирования называется гранично-адаптивной пространственной повышающей дискретизации (EASU — Edge-Adaptive Spatial Upsampling), который выполняет реконструкцию краёв. На этом этапе входной кадр анализируется, и основная часть алгоритма обнаруживает изменение градиента смотря на отличия соседних градиентов из набора входных пикселей. Интенсивность изменения градиента определяет веса, применяемые к реконструированным пикселям на конечном разрешении экрана.
- Этап повышения резкости называется активной контрастно-адаптивной резкостью (RCAS — Robust Contrast-Adaptive Sharpening), который извлекает детали пикселя из масштабированного изображения.
У FSR также есть вспомогательные функции для преобразования цветового пространства, шумов и сопоставления тонов, помогающие интегрировать его в общие конвейеры отрисовки, которые используются в современных играх.
FSR FidelityFX супер разрешение ищет изменение градиента в исходном изображении для восстановления краев высокой четкости при повышении разрешения.
Сравнение качества сглаживания в разных сценах
Теперь рассмотрим несколько примеров разных видов сглаживания для сравнения.
Выводы
Подводя итоги, обращаем ваше внимание на то, что некоторые методы остались за кадром, некоторые со временем улучшаются. Как вы могли видеть, все методы преследуют одинаковые цели. Зачастую это избавление от «неровностей» и «лесенок» на изображении. Кто-то скажет, да я ничего подобного не вижу и зачем мне нужно сглаживание, и он будет по-своему прав. Также необходимо отметить, что практически все методы снижают итоговую производительность и требуют некоторых ресурсов для их реализации. Конечно, некоторые используют малое количество, другие и вовсе показывают нам производительность выше, чем оригинальная игра (методы реконструкции), и такие методы всё чаще появляются в играх. Также производители игры не всегда включают разные виды сглаживания в игры и хорошо, если будет добавлен хотя бы 1 вид, который хоть как-то улучшает изображение.
Пользоваться сглаживанием или нет? Решать только вам!