Низкая производительность массива SSD.

[77Dragon]

Добрый день.

Приобрели у Вас по Вашим рекомендациям сторадж: корпус CSE-846BE1C-R1K28B (стоит экспандер 12G 4 линии), контроллер LSI MegaRAID SAS 9361-4i (1Gb), и 2 набора дисков:
1) 3 шт. Intel S3610 Series, 800GB, 2.5in SATA 6Gb/s, MLC (SSDSC2BX800G401)
2) 9 шт. Hitachi Ultrastar 7K6000, 6000GB, 7.2K RPM, SAS 3.0, 3.5'', 128MB (HUS726060AL5214/0F22811)

На первом средствами контроллера сделали RAID5, второй отдали ОС под ZFS (zraid2).

И обнаружилась странная проблема. Второй (софтовый) RAID работает нормально, - на запись в зависимости от размера блока 250-550 Мб/с.
А первый - 100-120 Мб/с - это, как бы, - "неожиданная производительность". Проверка осуществлялась из-под BSD банальным dd.

В чем может быть причина столь низкой производительности аппаратного RAID5 на SSD?..

[gs]

Не понял.
Зачем под ZFS аппаратный контроллер?

У рэйд5 какие параметры, кэши?

[77Dragon]

Контроллер не под ZFS, а как раз под SSD-RAID5.

Raid5 - все по умолчанию, кеш на контроллере - 1 Гб.

[gs]

Лучше бы пару штук побольше емкостью в софтовое зеркало и все диски на ХБА.
Ну и пробрасывать магнитные диски через мегарэйд для ZFS - довольно странное занятие.

Ну а так - попробуйте кэш контроллера выкл, кэш дисков вкл.

[77Dragon]

Ну я могу и SSD отдать под ZFS, но RAID5 был куплен по рекомендациям вашего сотрудника... Я специально переспрашивал про RAID5 на SSD, мне сказали "все ок".
Иначе я бы взял, конечно, совсем другой ХБА.

[gs]

Сам по себе рэйд5 на ССД ничем не плох. Просто в случае ZFS аппаратный контроллер просто без надобности.
Честно говоря, я не очень понимаю конфигурацию и задачу машины. Под ZFS обычно ССДшки используются для ZFSсных же нужд, а не как отдельный массив.

В общем, поиграйтесь кэшированием, скорее всего там собака зарылась. Диски имеют собственную защиту питания, так что их кэш можно спокойно включить. А кэш контроллера в таком случае может только тормозить.

[77Dragon]

Поскольку на беклейне экспандер, поэтому контроллер как бы один. SSD часть планировалась как раз под аппаратный RAID. Поэтому такой мегарейд.
Если б знал, что так будет "работать", - купил бы ХБА.

Чисто в теории, как RAM-кеш может тормозить SSD-RAID?... Латентность кеша все равно на порядки меньше времени доступа к SSD?...

При этом на чтение оба массива на 50Гб файле показывают 6,6Гб/с... Правда, там памяти 64 Гб, может все и торчит в кеше (ОЗУ).
Но в любом случае, вот она, - реальная скорость работы кеша. И никак не 100 Мб/с... Я ожидал цифру, близкую к 1Гб/с...

[77Dragon]

Ну, в общем, никакого смысла в этом контроллере я не вижу, зачем его было покупать?...
Как его ни крути, включай кеши, - не включай, что хочешь делай с настройками - максимальная скорость RAID5 на SSD - 120 Мб/с. (при выключенном кеше - 65 Мб/с).

Отдаю напрямую в ОС под ZFS raidz1 - на 10 Гб файле скорость записи блоком 1М - 1,3 Гб/с, на 100 Гб файле - 0,9 Гб/с.
Как я и ожидал.

Только я ожидал эту скорость от контроллера RAID5. Результаты мне совершенно непонятны. Посмотрел HCL - SSD Интела серии 3500 есть, 3700 есть, а купленные 3600 - нет.
Но не думаю, что дело в этом.

[77Dragon]

В общем, у нас аппаратный RAID на LSI MegaRAID SAS 9361-4i с экспандером (LSI SAS3X24?) почему-то нормально не работает. На всякий случай, - прошивка от января 2017 года, вроде последняя доступная.

Создал RAID5 на 3 SATA, - те же 80-100 Мб/с.
Создал три (!) RAID5, каждый на трех SATA, и сделал на них stripe (!) средствами ZFS. Скорость - 150 Мб/с. Страйп на трех RAID, Карл! На NL-SAS.

Откуда такая "производительность"?! Причем именно, и только RAID, - выше написал, как SAS-HBA, - скорости адекватные.

Ощущение, что где-то есть "bottle neck"... Сколько ни работали ни с Adaptec'ами, ни с LSI, - никогда такого "поведения" не видел.

[77Dragon]

"Дело было не в бобине...."

BSD, по крайней мере используемая мною версия 11.1, по умолчанию для новых SAS3 контроллеров почему-то поднимает старый драйвер mfi. Он SAS3 поддерживает, но "постольку-поскольку". Для новых контроллеров в дистрибутив включен драйвер mrsas, и надо заставить систему использовать именно его.

Подробности: https://www.freebsd.org/cgi/man.cgi?que ... &sektion=4

Проверка используемого драйвера: # pciconf -lv
Включение загрузки драйвера mrsas - добавить в loader.conf опцию hw.mfi.mrsas_enable=1.

Теперь скорости стали ожидаемые, - на трех SSD RAID5 - в зависимости от размера блока 700-1500 мб/с.