Высокопроизводительная система хранения данных для крупного коммерческого заказчика

СХД для высоконагруженных баз данных

Главная
→
Проекты
→
Высокопроизводительная СХД для коммерческого заказчика

О проекте

Задача: увеличение доступной емкости и производительности блочной системы хранения данных

Срок реализации: декабрь 2021 год

Введение

Объемы данных, хранящиеся сегодня в корпоративных средах, стремительно растут. Рост объема данных влечет за собой увеличение требований к системам хранения данных (СХД). Они должны позволять хранить большие объемы информации, быть быстрее и надежнее.

Описание

Чтобы правильно выбрать новую СХД или спланировать модернизацию существующей, необходимо выяснить требования, предъявляемые ИТ-системой к хранению данных. Для работы с высоконагруженными базами данных заказчику требовалась высокопроизводительная блочная система хранения производительностью более 300 тысяч IOPS и доступной емкостью более 250 ТБ.

Решение
Поставка высокопроизводительной системы хранения данных Huawei Dorado 6000 v6 с 38 NVMe дисками по 7,68 ТБ.

Huawei OceanStor Dorado 6000 V6 NVMe

Выполнена в корпусе высотой 2U, предназначенном для установки в стандартные серверные стойки. Спереди размещается корзина на 36 слотов NVMe SSDs собственного формата - palm size, сзади — контроллеры и блоки электропитания. В случае пропадания электричества для сохранности данных используется BBU (Battery Backup Unit), резервирование 1+1.

Накопители формата Palm size более узкие по сравнению с обычным SFF форматом, в результате чего возможно более компактное размещение носителей в том же самом конструктиве корпуса.

Сравнение размеров твердотельных накопителей формата 2,5" и palm size

Вычислительные ресурсы

В системе два контроллера, каждый из которых имеет 512 GB кэша и 96 ядер Kunpeng 920 ARM архитектуры частотой 2.6 GHz. Зеркалирование данных между контроллерами осуществляется через 100 Gbit/s RDMA.

Для повышения производительности чтения данных с массива в каждом контроллере используются сопроцессоры AI Accelerator Card, предназначенные для определения правил доступа к данным и предварительной выборки связанных данных в разных местах массива.

Масштабируемость

Максимальное количество дисков без добавления контроллерных полок - 300. При добавлении контроллерных полок максимальное количество дисков может достигать 4800 штук. Для вертикального масштабирования используются “умные” дисковые полки (Smart NVMe Disk Enclosure) подключаемые через 100 Gbit/s RDMA. Каждый модуль ввода/вывода оснащен собственным 24-ядерным процессором Kunpeng 920 2.6 GHz и оперативной памятью объемом 8 GB для разгрузки процессоров контроллерной пары.

Дисковая подсистема

Huawei использует проприетарный Erasure Coding (EC) алгоритм, реализуя RAID 5, 6, TP (тройная четность). Система при использовании RAID-TP способна перенести потерю 3-х дисков без потери данных.

Ввод/вывод

В качестве опции расширения имеется 6 слотов на контроллер. Для Front-end подключений используются модули 4-port 32 Gbit/s Fibre Channel SmartIO interface module полностью готовые для End-to-End NVMe подключений, используя NVMe over FC.

Показатели производительности СХД и полезный объем при заданных условиях нагрузки

Показатель производительности продуктивных LUN для всего полезного объема данных на массиве составил более 370 000 IOPS (Input/Output Operations Per Second). При этом использовался следующий профиль нагрузки:

RAID-6 (двойная четность);
Включенные функции дедупликации и компрессии;
Коэффициент сжатия данных – 2.7;
Чтение:запись = 70:30;
Попадание в кэш при чтении 0%;
Размер операций 8KB;
Вид доступа — OLTP;
Время отклика - 1 ms.

Результат

В результате заказчик получил высокопроизводительную, отказоустойчивую систему хранению данных с отличным запасом производительности. При этом полезный объем хранения может быть увеличен до 590 ТБ за счет использования компрессии и дедупликации без увеличения числа дисков.