Оборудование СХД: основные компоненты и их назначение
Система хранения данных (СХД) представляет собой комплекс аппаратного и программного обеспечения, который обеспечивает хранение данных на физических носителях и предоставляет доступ к этим данным на установленных условиях.
При построении СХД инженеры стараются подбирать компоненты решения таким образом, чтобы получить необходимый объем хранения, обеспечить высокую скорость обработки данных на чтение и на запись, а также их максимальную сохранность и доступность.
В этом материале мы представили справочную информацию о том, из чего состоят современные СХД, какие базовые характеристики существуют у их функциональных частей, и на что следует смотреть в первую очередь, если вы не так давно в этой отрасли.
Аппаратные компоненты СХД
С аппаратной точки зрения, система хранения данных выглядит как цепочка компонентов, включающая уровень физического размещения данных (например, жесткие диски), уровни их подключения и обработки (дисковый контроллер и контроллер СХД) и уровень передачи (сетевые адаптеры), на котором будут подключаться клиенты (серверы и компьютеры пользователей).
Рисунок 1. Цепочка оборудования в системе хранения данных.
Все эти компоненты имеют свои особенности и характеристики, которые следует учитывать при построении СХД или модернизации уже существующих систем. Понимание роли и места каждого уровня этой цепочки помогает понять, как образуется производительность системы, из чего складывается ее стоимость и на какие аспекты следует обратить внимание при эксплуатации.
Накопители в СХД
СХД может работать с разными носителями данных: магнитная лента, оптические диски, жесткие диски (HDD) и твердотельные накопители (SSD/NVMe). Мы рассмотрим только два последних типа, так как именно они распространены в качестве универсальных носителей в большинстве систем.
Надо понимать, что накопители в СХД задают аппаратный предел производительности: система не может работать быстрее, чем сумма производительности ее накопителей. Медленнее — может.
Накопители имеют много важных параметров и характеристик, которые следует учитывать при построении СХД, но базовыми атрибутами, пожалуй, можно назвать тип интерфейса и форм-фактор.
Интерфейсы современных HDD и SSD
Интерфейс представляет собой протокол взаимодействия накопителя и вычислительных ресурсов системы. Интерфейс является важным фактором, влияющим на параметры накопителя: от него зависит пропускная способность, время задержки, расширяемость, возможность горячей замены и, конечно же, стоимость.
Интерфейсы SATA и SAS изначально появились на HDD-дисках, но затем стали стандартом и для SSD. Однако SATA и SAS не могут раскрыть весь потенциал производительности SSD, поэтому для подключения твердотельных накопителей все чаще используется интерфейс PCIe и протокол NVMe. Также стоит отметить NL-SAS диски, которые по сути являются гибридом SAS-интерфейса и SATA накопителя.
Таблица 1. Общее сравнение характеристик HDD и SSD накопителей
| Класс | HDD | SSD | ||||
| Интерфейс | SATA | SAS | SATA | SAS | PCIe | |
| Накопитель | SATA | NL-SAS | SAS | SATA | SAS | NVMe |
| Надежность | Низкая | Средняя | Высокая | Средняя | Высокая | Высокая |
| Производительность | Низкая | Низкая | Средняя | Высокая | Высокая | Очень высокая |
| Стоимость | Низкая | Низкая | Средняя | Средняя | Высокая | Очень высокая |
Форм-фактор
Все HDD имеют схожую конструкцию подвижных элементов, поэтому их внешний корпус — это прямоугольный кейс типа SFF (Small Form Factor, 2.5″) или LFF (Large Form Factor, 3.5″). Каждый из этих типов корпуса может иметь различные разъемы интерфейса.
Рисунок 2. Western Digital Ultrastar SN640 в форм-факторе SFF 2.5″ (слева) и Seagate Exos X12 в форм-факторе LFF 3.5″ (справа).
Flash-накопители не имеют движущихся деталей и поэтому реализованы в более разнообразных формах. Дополнительным импульсом для разнообразия форм-факторов SSD стало развитие PCIe-интерфейса, который добавил варианты прямого размещения накопителей на серверной платформе.
Таблица 2. Форм-факторы HDD и SSD накопителей
| Форм-фактор | HDD | SSD |
| 3.5″ (LFF) | SATA, NL-SAS, SAS | — |
| 2.5″ (SFF) | SATA, NL-SAS, SAS | SATA, SAS, NVMe |
| M.2* | — | SATA, NVMe |
| Add-In Card (AIC) | — | NVMe |
| EDSFF | — | NVMe |
*используются в качестве системных дисков
Рисунок 3. Intel Optane SSD в форм-факторе Add-In-Card HHHL (Half-Height Half-Length).
Форм-фактор является достаточно динамичным параметром, который постоянно меняется и совершенствуется в зависимости как от изменения интерфейсов, так и от изменения подходов к построению СХД. Более подробно про актуальные форм-факторы можно прочитать на сайте SNIA.
JBOD
В современных СХД накопители могут размещаться как в основном корпусе СХД, так и в дисковых корзинах — JBOD (Just a Bunch Of Drives). Физически такие корзины представляют собой корпус для монтажа в стойку, заполненный накопителями. Для NVMe накопителей сейчас активно используются JBOF (Just a Bunch Of Flash), специализированные дисковые корзины для флеш-накопителей. Например, OpenFlex Data24 от компании Western Digital.
Рисунок 4. Дисковая корзина WD Ultrastar Data102.
Дисковый контроллер и бэкплейн
Дисковый контроллер (HBA)
В системах хранения данных дисковый контроллер является устройством, через которое подключенные накопители передаются вычислительным ресурсам системы. Физически дисковый контроллер обычно представлен отдельной картой расширения, но также может быть в виде чипа, интегрированного в непосредственно в материнскую плату. Если говорить простым языком, то дисковый контроллер позволяет видеть и работать с дисками всем следующим уровням СХД.
HBA (Host Bus Adapter, адаптер главной шины) — разновидность дискового контроллера, которая позволяет системе видеть подключенные накопители по отдельности.
Рисунок 5. Дисковый контроллер от Broadcom (9400-8i Tri-Mode Storage Adapter).
Triple-mode
Существуют дисковые контроллеры, которые совмещают в себе возможность одновременной работы сразу с тремя протоколами (SATA, SAS, NVMe). Этот подход удобен и обеспечивает гибкость при проектировании системы хранения, так как позволяет подключать как традиционные SATA-диски, так и сверхбыстрые NVMe накопители.
Бэкплейн и экспандер
В большинстве случаев накопители в СХД подключаются непосредственно через бэкплейн (backplane) — специальную плату в дисковой полке или сервере с разъемами для SAS, SATA, NVMe накопителей, которая соединяется с дисковым контроллером. Сам дисковый контроллер, как правило, поддерживает прямое подключение ограниченного числа накопителей. Для увеличения числа подключаемых дисков используют экспандер. В большинстве случаев он представляет собой чип, который устанавливается на бэкплейн.
Рисунок 6. Бэкплейн Supermicro BPN-SAS-826TQ.
Рисунок 7. SAS-экспандер Broadcom в виде чипа.
Контроллер СХД
Контроллер системы (storage controller, он же управляющий узел или node) является главным управляющим компонентом СХД. Он представляет уровень обработки данных, который отвечает за создание дисковых массивов, расчет контрольных сумм, управление доступом и выполнение других служебных операций.
Контроллер СХД — это функциональный блок, поэтому физически он может быть представлен совершенно разным набором оборудования.
RAID-контроллер
В теории, понятие RAID-контроллера и контроллера СХД часто представляются как тождественные. Это связано с тем, что они оба выполняют свою основную функцию — создают и управляют дисковым массивом. На практике же под RAID-контроллером часто подразумевают адаптер, который вставляется в сервер и создает массив из подключенных накопителей. В таком случае RAID-контроллер создает подсистему хранения данных для конкретного локального клиента (инициатора), но не является СХД в ее устоявшемся значении.
Рисунок 8. RAID-контроллер от Microchip.
Контроллер СХД как специализированный компьютер
Если мы говорим о системе хранения данных как о самостоятельной единице инфраструктуры с подключаемыми по сети клиентами, то в этом случае контроллер СХД — это специализированный компьютер с управляющим ПО. Он оснащен материнской платой, центральным процессором и модулями оперативной памяти. Физически такой контроллер может размещаться как в специализированном корпусе, так и в обычном корпусе для монтажа в стойку.
В некоторых решениях управляющее ПО может брать на себя функцию создания RAID-массива из накопителей, что освобождает от необходимости использовать аппаратный RAID-контроллер. Такой механизм часто применяется в программно-определяемых СХД (software-defined storage), у которых контроллер системы может быть реализован на базе стандартных серверных платформ.
Рисунок 9. Supermicro 2029P-E1CR24H — пример стандартной серверной платформы для программно-определяемых СХД.
Двухконтроллерный режим
Системы хранения данных могут быть одноконтроллерные, двухконтроллерные и многоконтроллерные. Последние два варианта используются для повышения производительности, а также повышенной отказоустойчивости: при аппаратном сбое активного контроллера, второй узел «подхватывает» его работу без остановки всей системы.
Рисунок 10. Схема двухконтроллерной СХД на базе RAIDIX.
В двух- и многоконтроллерных конфигурациях узлы соединены каналами связи. Эти каналы могут отличаться в зависимости от архитектуры и функциональных особенностей системы. Например, в классической двухконтроллерной системе на базе RAIDIX это:
- Интерконнект между узлами (Heartbeat) — Ethernet-соединение между узлами для проверки работоспособности контроллеров.
- Синхронизация кэша (Cache sync) — соединение для синхронизации кэша на основе протоколов IB-SRP, iSCSI или SAS.
Стоит отметить, что наличие двух контроллеров не означает использование двух отдельных физических корпусов. Нередко дублирующие материнские платы контроллеров размещаются в разных отсеках внутри одной платформы (рисунок 11).
Рисунок 11. Два контроллера внутри одного серверного корпуса.
Вычислительные ресурсы
С увеличением количества выполняемых функций и используемых накопителей, системе требуется больше вычислительных ресурсов. Например в одноконтроллерной СХД RAIDIX на 60 накопителей для оптимальной производительности требуется 2 восьмиядерных процессора с частотой не ниже 2.1 ГГц и 48 ГБ оперативной памяти, а для системы на 600 дисков требуется 2 восьмиядерных процессора с частотой уже от 3.5 ГГц и более 256 ГБ оперативной памяти.
В качестве процессоров для СХД сейчас в основном используются x86 чипы Intel Xeon и, чуть реже, AMD EPYC. Существуют решения собранные на других процессорах (например, на отечественном Эльбрусе), но они менее популярны на рынке.
Таблица 3. Базовые характеристики серверных процессоров Intel и AMD
| Intel Xeon Scalable | AMD EPYC | |||||
| Bronze | Silver | Gold | Platinum | 1-Socket | 2-Socket | |
| Кол-во сокетов | 1-2 | 1-2 | 2-4 | 2-8 | 1 | 2 |
| Кол-во ядер | 6-8 | 4-12 | 4-22 | 4-28 | 16-32 | 16-32 |
| Базовая частота | 1.7 ГГц | 1.8-2.6 ГГц | 1.9-3.5 ГГц | 2.0-3.6 ГГц | 2.0-2.4 ГГц | 2.0-2.4 ГГц |
| Тип поддерживаемой памяти | DDR4-2133 | DDR4-2400 | DDR4-2666 | DDR4-2666 | DDR4-2666 | DDR4-2666 |
| Кол-во линий PCIe | 48 | 128 | ||||
На объем вычислительных ресурсов в значительной мере влияют установленные бизнес-требования к инфраструктуре хранения, характер и интенсивность нагрузок, а также существующее сетевое окружение.
Сетевые адаптеры
Сетевые адаптеры (хост-адаптеры) являются финальным звеном цепочки обмена данными с клиентом. Именно при помощи этого устройства система хранения данных соединяется с «внешним миром»: серверами, рабочими станциями и другими компонентами сетевой инфраструктуры. Сетевой адаптер представляет собой плату с портами интерфейсов (Ethernet, FC, IB, SAS), которая использует разъем на материнской плате или впаивается в нее напрямую.
Рисунок 12. Сетевой адаптер Mellanox ConnectX-6.
Некоторые хост-адаптеры могут иметь одновременно несколько интерфейсов. Например, у Mellanox есть адаптер, работающий с интерфейсами Infiniband и Ethernet.
Таблица 4. Характеристики современных хост-адаптеров в СХД
| Тип интерфейса | Блочные протоколы | Файловые протоколы | Скорость | Популярные бренды |
| FC | Fibre Channel FC-NVMe |
— | 8Gb/16Gb/32Gb | Marvell QLogic Broadcom ATTO |
| Ethernet | iSCSI, iSER, FCoE, NVMe-oF | SMB, NFS, AFP, FTP | 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb | Broadcom Mellanox |
| Infiniband | IB-SRP | — | 20Gb/40Gb/56Gb/100Gb | Mellanox |
| SAS | SAS | — | 12Gb | Broadcom Adaptec |
Выбор сетевого адаптера зависит от существующей сетевой инфраструктуры, планируемых задач и аппаратной конфигурации системы хранения данных.
Заключение
Оборудование современной СХД можно представить как цепочку уровней, по которым происходит передача и обработка данных между местом их хранения и клиентом. Такое представление процесса дает хорошее понимание того, что может стать «бутылочным горлышком» производительности, какой компонент оборудования несет избыточные характеристики и за счет чего можно сократить общую стоимость решения.
Использование этих знаний поможет сориентироваться при выборе оборудования для СХД, а также позволит упростить процесс подбора компонентов при обновлении и модернизации существующих систем.
Raid card что это
Дорогие читатели! Редакция сайта iXBT.com обращается к вам с просьбой отключить блокировку рекламы на нашем сайте.
Редакция сайта iXBT.com обращается к вам с просьбой отключить блокировку рекламы на нашем сайте.
Дело в том, что деньги, которые мы получаем от показа рекламных баннеров, позволяют нам писать статьи и новости, проводить тестирования, разрабатывать методики, закупать специализированное оборудование и поддерживать в рабочем состоянии серверы, чтобы форум и другие проекты работали быстро и без сбоев.
Мы никогда не размещали навязчивую рекламу и не просили вас кликать по баннерам. Вашей посильной помощью сайту может быть отсутствие блокировки рекламы.
Спасибо вам за поддержку!
Обзор RAID контроллеров Adaptec
RAID-контроллер является важным элементом в системе хранения данных.
На сегодняшний день большая часть важной информации хранится в виде электронных данных и компьютеры выполняют столько задач, что встроенные диски уже с ними не справляются. Вот тут и приходит на помощь raid controller.
Корректная работа дисковых массивов и надежное хранение информации на сервере – это все является главной задачей RAID-контроллера.
Рассмотрим поближе модельный ряд контроллеров 6, 7 и 8-го поколения, который предлагает компания Adaptec.
Начнем с 6-поколения raid controller.
Контроллеры 6 серии поддерживают: JBOD, Simple Volume, Hybrid RAID 1, 10 и RAID 0, 1, 10, 1E, 5, 6, 50, 60.
Основные характеристики RAIDконтроллеров 6-ой линейки:
• Максимальное количество портов – 8 х SAS 2.0 (6 Гб/с);
• Слоты: 8 x PCI-express Gen2.0;
• Максимальная кэш-память — 512 Мб DDR2-667 DRAM;
• Возможна установка защиты для кэша AFM-600 Kit — Adaptec Flash Module;
• Поддерживаемые ОС: Windows, Linux, VMware и FreeBSD.
Разъемы и порты
RAID контроллеры 6-го семейства поддерживают только Mini-SAS порты.
Разъем SFF-8087 (mini-SAS internal), предназначенный для внутренних портов
SFF-8088 разъем (mini-SAS external) — для внешних портов
Управление питанием
Технология IPM, Intelligent Power Management, помогает сэкономить расходы на электроэнергию до 70%, которая требуется для питания и охлаждения серверов.
Intelligent Power Management технология обеспечивает работу дисков в одном из трех режимов:
1) Normal operation – режим полного питания, скорость вращения полная;
2) Standby – диски могут вращаться с пониженной скоростью и энергопотреблением;
3) Power-off – режим, в котором диски вовсе не вращаются.
Унифицированное управление хранением
6-е семейство контроллеров работает под управлением Adaptec Storage Manager ПО – это унифицированный инструмент централизованного управления устройствами Adaptec.
Совместимость и поддержка
Контроллеры прошли тестирование с устройствами других производителей и доказали их совместимость.
Семейство 6T
Основной задачей данного семейства является исключить ситуацию, при которой негибкая сторона кабеля упирается в сервер (радиатор, корпус и др.). Для этого порты должны располагаться так, чтобы та негибкая часть кабеля не вышла за границы самого контроллера.
Семейство 6E
Бюджетные версии контроллеров данной серии.
Модель 6405E имеет поддержку до 4 дисков, 6805E – 8 дисков. 6405E оснащена слотом PCI-E 1x, а 6805E – слотом PCI-E 4x ver. 2.
Сводная таблица моделей:
Всё, что вы хотели узнать о RAID-контроллерах, но лень было искать
На плечах RAID-контроллеров лежит ответственная задача — управление дисковой подсистемой, то есть всей информацией, хранимой на сервере. Именно они отвечают за работу дисковых массивов, позволяя повысить производительность сервера или надёжность хранения данных. Поэтому давайте поговорим о RAID-контроллерах, установленных в серверы вендоров «большой тройки», об их возможностях и особенностях.
Что такое RAID-контроллер?
Чаще всего задачи, выполняемые серверами, требуют высокой скорости чтения/записи данных и/или необходимость сохранить данные при выходе из строя самих накопителей. Поэтому установка в сервер единственного диска редко имеет смысл. Этот вариант можно рассматривать, если нагрузка будет совсем небольшой, а сохранность данных не волнует вовсе. Да и объёмы информации, которыми оперируют серверы, часто требуют куда больше пространства для хранения, чем может дать один диск. А чем больше накопителей, тем выше вероятность выхода из строя, особенно при высокой нагрузке.
Проблемы производительности и отказоустойчивости дисковой подсистемы решаются с помощью создания массивов: логических структур, в которые с помощью RAID-контроллера объединяется несколько накопителей — жёстких дисков и SSD. При этом массив выглядит для системы единым пространством для хранения данных.
Существует много видов массивов, отличающихся производительностью, надёжностью хранения данных и минимально необходимым количеством дисков. Выбор конкретного вида зависит от ваших задач и потребностей, а также от возможностей самого RAID-контроллера.
RAID-контроллеры делятся на:
- Программные. Вся нагрузка по управлению массивом ложится на центральный процессор. Наименее производительное и отказоустойчивое решение.
- Интегрированные. Встроены в материнскую плату. Отдельный чип выполняет часть задач по управлению, но всё же тоже задействует центральный процессор. Интегрированные контроллеры могут иметь собственную кэш-память. По сравнению с программными, поддерживают больше видов массивов, работают куда быстрее и надёжнее.
- Аппаратные. Выполнены в виде плат расширения или отдельных устройств, размещаемых вне сервера (внешние, или мостовые контроллеры). Оснащены собственным процессором, выполняющим все необходимые вычисления, и, как правило, кэш-памятью. Модульные контроллеры могут иметь внешние и внутренние порты:
- Внутренние — предназначены для подключения накопителей, установленных в сам сервер.
- Внешние — используются для подключения внешних дисковых хранилищ.
Если на борту RAID-контроллера есть кэш-память, то она может использоваться для промежуточного хранения записываемых или считываемых данных. Это позволяет эффективнее управлять операциями ввода/вывода.
Чтобы при сбое питания не потерять данные, находящиеся в кэше, используется два разных подхода:
- контроллер оснащается собственной батарейкой (BBU — Battery Backup Unit), позволяющей хранить данные в памяти до 3 суток,
- либо дополнительной флэш-памятью, питаемой от ёмкого конденсатора. При сбое питания в неё выгружает содержимое кэша. А поскольку флэш-память потребляет очень мало энергии, то и данные в ней сохраняются месяцами. Обратите внимание, что флэш-память используется только при сбое питания.
Некоторые RAID-контроллеры позволяют увеличить объём кэш-памяти и установить батарейку, если они её не имеют. Чем больше размер кэша контроллера, тем выше производительность RAID-массивов.
RAID-контроллеры в серверах «большой тройки»
Чтобы не превращать статью в археологическое исследование, ограничимся только теми контроллерами, что используются в поколениях серверов начиная с 2009-2010:
HP: Gen7, Gen8, Gen9
Dell: Gen11, Gen12, Gen13
IBM: M3, M4, M5Дальше идут громоздкие и скучные таблицы.
Большинство RAID-контроллеров HP и Dell изначально поддерживают все основные виды массивов. У IBM таких моделей — по пальцам пересчитать, почти в каждом случае придётся устанавливать на контроллер 1-2 дополнительных модуля апгрейда, что не слишком удобно.
Другая интересная особенность RAID-контроллеров IBM — большинство из них применяются в серверах нескольких поколений. У HP и Dell другая склонность — с выпуском нового поколения серверов они обычно выпускают и новое поколение контроллеров.
Как выбрать подходящий контроллер?
Если вы решили апгрейдить сервер и озаботились выбором RAID-контроллера, то в первую очередь исходите из ваших потребностей.
Вам нужна хорошая производительность, но не волнует сохранность данных? Или хочется с небольшими усилиями повысить отказоустойчивость, поступившись скоростью? Понадобился простенький веб-сервер для нужд разработки? Достаточно выбрать недорогой контроллер и создать RAID 0 или 1. Можно даже без кэш-памяти.
При желании сэкономить на накопителях или выжать всю возможную ёмкость из имеющихся, рассмотрите вариант с RAID 5 или 50. Это вполне годное решение для создания архивов. Для таких задач достаточно взять контроллер с поддержкой нужного вида RAID и кэш-памятью среднего объёма.
При создании высокоскоростных и надёжных массивов под базы данных, или больших хранилищ под файловые серверы, нужны производительные контроллеры с большим объёмом кэш-памяти и высокой пропускной способностью. Это тот случай, когда экономия на одном устройстве может свести на нет все ваши усилия.