Выбор RAID контроллера для работы в RAID1 c SSD под 1С

[amiton]

Добрый день
Имеем в хозяйстве терминальный самосборный сервер:
Тип ЦП HexaCore Intel Xeon E5-2620, 2300 MHz (23 x 100)
Системная плата Intel Canoe Pass S2600CP (5 PCI-E x8, 1 PCI-E x16, 16 DDR3 DIMM, Video, Dual Gigabit LAN)
Чипсет системной платы Intel Patsburg C600, Intel Sandy Bridge-EP
Системная память 65457 МБ (ECC DDR3 SDRAM)
Операционная система Microsoft Windows Server 2012 R2 Standard

На сервере собрано 3 рейда на встроенном в мать контроллере, один из которых, это два Intel SSD DC S3500 300gb в RAID1.
Этот RAID используются для файловых баз данных 1С. Нагрузка достаточно сильная, работает человек 60-70.
Судя по тестам, которые я сделал, рейд контроллера очень сильно зарезает скорость этих и так не очень быстрых SSD, особенно на запись.
Скорее всего дело в отключенным кэше на запись, которого по понятным причинам на встроенном в мать контроллере нет.

У нас появилась мысль присмотреться к RAID контроллеру с батарейкой, который можно запустить на нашем железе, а так же возможно сменить эти SSD на что-то более быстрое.
Посоветуйте пожалуйста актуальные RAID контроллеры и если мы решимся, то и актуальные серверные SSD. Объема 300 гб пока хватает с запасом.
Использовать планируем только в режиме зеркало.

[Umlyaut]

что-нибудь из линейки lsi/broadcom 93xx (исключая 934х, если вам кеш бортовой нужен)

ну и интеловые серверные ssd любой продаваемой сейчас серии, по вкусу и кошельку

[amiton]

Спасибо за консультацию
хотел у вас уточнить несколько моментов
в данный момент корзина с 8 винтами горячей замены подключена 8 шлейфами к плате (у нас родная корзина на 8 дисков серверной платформы Intel P4308CP4MHGC)
фотографии прилагаю
если предположим я буду брать контроллер LSI 9361-4i SGL (https://www.regard.ru/catalog/tovar144418.htm)
чтобы подключить часть корзины к новому контроллеру (4 порта), а оставшиеся 4 порта оставить на встроенном (так же можно?)
или контроллер RAID контроллер LSI 9361-8i SGL (LSI00417) (https://www.regard.ru/catalog/tovar144420.htm)
чтобы подключить всю корзину
я правильно понимаю, что мне нужно будет докупить к контроллеру провода, что-то типа вот этого?
https://www.regard.ru/catalog/tovar110481.htm

и батарейку:
https://www.regard.ru/catalog/tovar241532.htm
меня смущает, что в названии MegaRAID SAS 9361-16i/9380-8i8e (получается 4х и 8 портовые она не поддерживает)?
или туда можно поставить что-то такое?
https://www.regard.ru/catalog/tovar110184.htm

спецификации ещё не читал, понятно, что там наверное ответу найду. Но у вас большой опыт, может быть помните на память.
спасибо заранее.

[Umlyaut]

Так, давайте по пунктам...

в данный момент корзина с 8 винтами горячей замены подключена 8 шлейфами к плате (у нас родная корзина на 8 дисков серверной платформы Intel P4308CP4MHGC)
фотографии прилагаю
если предположим я буду брать контроллер LSI 9361-4i SGL
чтобы подключить часть корзины к новому контроллеру (4 порта), а оставшиеся 4 порта оставить на встроенном (так же можно?)

Можно.

или контроллер RAID контроллер LSI 9361-8i SGL (LSI00417)
чтобы подключить всю корзину
я правильно понимаю, что мне нужно будет докупить к контроллеру провода, что-то типа вот этого?
https://www.regard.ru/catalog/tovar110481.htm

Не совсем так. Пара замечаний:

- на контролерах 93хх серии стоЯт гнёзда под разъёмы SFF8643 (Mini-SAS HD), а на Вашем фото от Регарда у кабеля разъёмы SFF8087 (Mini-SAS)

- "типа вот этот провод" заканчивается разъёмами на 4-lane с обеих сторон и используется для подключения контроллера с гнездом под этот разъём к корзине с таким же гнездом
в Вашем же случае нужен провод c разъёмом SFF8643 со стороны контроллера и с четырьмя отдельными разъёмами SAS/SATA со стороны корзины.
например, этот - https://www.regard.ru/catalog/tovar137523.htm

не берите "Mini-SAS HD -> 4xSAS" - https://www.regard.ru/catalog/tovar137525.htm - он не подойдёт к разъёмам на Вашей корзине (если я правильно понял вышеупомянутый факт подключения корзины 8-ю шлейфами к бортовым выходам SAS - там оба конца шлейфа должны быть в конструктиве SATA, т.е. без "пристыкованного" сбоку разъёма питания SATA, как у SAS-коннектора data+power SFF8482).

и батарейку:
https://www.regard.ru/catalog/tovar241532.htm
меня смущает, что в названии MegaRAID SAS 9361-16i/9380-8i8e (получается 4х и 8 портовые она не поддерживает)?
или туда можно поставить что-то такое?
https://www.regard.ru/catalog/tovar110184.htm

ну, во-первых, не буду комментировать корректность названий (пусть у их товароведов голова болит ), хотя обычно "батарейки" совместимы по всей линейке (по к-ву портов, их число не роялит) одной модели контроллера... да и между моделями там совместимость есть как правило

для гарантии просто действительно гляньте в спеку выбранного Вами контроллера - там чётко указан партнамбер совместимой "батарейки"

а во-вторых хотел бы предостеречь от путаницы - вы дали ссылки не на две "батарейки", а на BBU (батарейку) и на CacheVault-модуль (суперконденсаторы)

а они не взаимозаменяемы - CV-модули используются на контроллерах, тоже имеющих в обозначении аббревиатуру CV (в Вашем случае, кстати, сам CV-модуль в описании имеет некорректную отсылку к MegaRAID SAS 9361-16i/9380-8i8e, тогда как правильно было бы указать MegaRAID SAS 9361CV-16i/9380CV-8i8e)

забегая вперед - прошивки для -CV моделей и для "обычных" тоже отличаются, учтите это на будущее и шейте внимательно

вот вкратце как-то так...

[turboprop]

для зеркала я бы посоветовал просто современный HBA и пару серверных SSD (с защитой кэша,ессно), если старые уже поизносились.
не понятно о каком отключенном кэше на запись идёт речь. в 3500 серии есть встроенная защита кэша на суперкапах. если вы кэш отключили, то просто его включите. или речь идёт о кэше ОС? опять же, скорость линейной записи у этих дисков средненькая, но для баз данных важнее IOPSы, с которыми там более-менее.

[amiton]

не понятно о каком отключенном кэше на запись идёт речь

речь идёт о включении Write-Back кэша, который Intel Raid Web Console 2 не даёт включить без батарейки (BBU).

[turboprop]

если это интегрированный контроллер, то там нет кэша, т.е. включать нечего.
для зеркала из серверных SSD покупать полноценный контроллер с кэшом - по-моему смысла нет.

[Umlyaut]

для зеркала я бы посоветовал просто современный HBA

А зачем?

Ну т.е. я понимаю плюшки от честного рейд-контролера:

- бортовое кеширование (с BBU), помогает смягчать бурстовую запись
- хот-плаг дисков (у HBA с эти никак, увы)
- наличие HSD, CheckConsistency, PatroReading и прочих вкусностей

Если без этого можно/согласны перебиться, то ни по скорости, ни по функционалу фейк-рейд на HBA ничем не лучше софт-рейда силами ОС (напоминаю, мы сейчас остаёмся в рамках "ТЗ" ТС`а и речь идёт о "зеркале").

[turboprop]

коллега, вот, например, Broadcom 9300-4i готов переварить 1 млн. IOPSов и передать это всё по PCIeX8. конечно, для 2-х SSD это мегаизбыточно. но стоит он недорого, а при необходимости на него ещё можно повесить хоть 10 SSD - производительности хватит. интегрированный, чипсетный, висящий на Х1, ну никак ему не конкурент.
насчёт хотплаг не понял. какие там могут быть проблемы на SATA и SAS интерфейсах? это было когда-то давно на SCSI ...
насчёт остального просто не присматривался, но для всего этого 4-х ядерный проц по-моему точно не нужен. да и на зеркале из 2- винтов это можно и по другому решить.

[amiton]

вот вкратце как-то так...

Большое спасибо за подробное описание, единственное я хотел бы внести ясность с корзиной
в данный момент у меня установлена вот эта корзина, если я ничего не путаю - Spare 8x3.5 Hot-Swap Drive Cage Kit FUP8X35HSDK
в неё воткнуто 2 кабеля, на одном из которых я вижу часть маркировки Mini...HSBP
больше увидеть не получается, сервер постоянно в работе
как не искал, так и не понял, что это за тип кабеля
как я понимаю ваш вариант кабеля не подходит для моей корзины. Можете мне помочь с определением типа кабельного разъема?

для зеркала я бы посоветовал просто современный HBA

Если буду брать HBA, порекомендуйте пожалуйста 8 портовый.
Но в будущем я планирую взять 2 INTEL SSD уровня Optane, ну и повесить на него остальные 6 винтов.
Хватит ли его мощности для таких задач?
Достаточно ли HBA надежны?

[turboprop]

надо смотреть в доке. либо это SGPIO для корзины, тогда надо будет отключить. либо IPMB для прошивки корзины, тогда оставить.
оптан в 2" это уже nvme, тогда это HBA 9400-8i Tri-Mode Storage Adapter. но это пока вещь редкая и недешёвая.
ну и оптан nvme в эту корзину будет не воткнуть.
т.к. вещь серверная, то и надёжность соответствующая.

[amiton]

ну и оптан nvme в эту корзину будет не воткнуть.

совсем забыл, что на быстрых SSD уже идёт nmve. а корзин с поддержкой nmve я пока вообще не видел, и наверняка в мой старый сервер она не встанет.
выходит по SSD у меня потолок из интела - Intel D3-S4610 Series
но как я понимаю, они гораздо шустрее того, что у меня сейчас

[Umlyaut]

коллега, вот, например, Broadcom 9300-4i готов переварить 1 млн. IOPSов и передать это всё по PCIeX8. конечно, для 2-х SSD это мегаизбыточно. но стоит он недорого, а при необходимости на него ещё можно повесить хоть 10 SSD - производительности хватит. интегрированный, чипсетный, висящий на Х1, ну никак ему не конкурент.

Коллега, вот Вы ща мне шаблон порвали!
Ну зачем Вы в одном абзаце как-то очень решительно свалили в одну кучу и коня, и трепетную лань, и лебедя с раком и щукой?

Давайте разберёмся...

"Переварить иопсы" и "передать их по PCIe8X" - это я называю "где имение, а где наводнение?".
Как Вы, наверное, помните, иопсы с трансфером (в данном случае по шине PCIe) соотносятся через величину блока данных - иными словами 1М иопсов на блоке в 512B (совпадение со стандартным размером блока носителя считать случайным ) дадут нам ~500МБайт/сек. трансфера.
Это раз.

Даже если брать упомянутый Вами x1 (если Вы имели в виду PCIex1, то есть одну линию (lane)), то его версия на имеющейся у ТС`а материнке Intel Canoe Pass S2600CP - 3.0. И его номинальная пропускная способность - 984МБайт/сек - кроет этот Ваш 1М иопсов, как бык овцу (да-да, Вы можете начать в дискуссии "задирать" размер блока, но это уже будет неспортивно, сами понимаете ).
Это два.

Но с чего Вы взяли, что SATA или SAS порты будут гнать этот трафик через х1???
Если мы обратимся к Intel Server Board S2600CP2/S2600CP4 Chipset Functional Block Diagram, то увидим, что порты SATA и SAS подключены напрямую к чипу C600 - к встроенным в него двум SATA и одному SAS контроллерам.

Цитирую этот же источник:

The C600 chipset has two integrated SATA host controllers that support independent DMA
operation on up to six ports and supports data transfer rates of up to 6.0 Gb/s (600 MB/s) on up
to two ports (Port 0 and 1 Only) while all ports support rates up to 3.0 Gb/s (300 MB/s) and up to
1.5 Gb/s (150 MB/s).


и

On Intel® Server Board S2600CP2/S2600CP4, the C600 chipset supports up to eight SAS ports
support rates up to 3.0 Gb/s.

То есть не "х1 на всё про всё", а от 300 до 600 МБайт/сек на каждый диск.

А х1 там используется для связи чипа C600 с чипом BMC, "рулящим" всякими низкоскоростными портами.
Это три.

По совокупности вышесказанного я делаю вывод, что тратиться на упомянутый Вами Broadcom именно из соображений якобы технического преимущества последнего над бесплатными и уже имеющимися возможностями материнской платы нет никакой необходимости.

Ах да, Ваша реплика о том, что этот Бродком, есличо , переварит и 10 SSD... в общем-то да... но ценой доп.затрат на докупку платы экспандера или на замену имеющихся корзин на корзины с встроенными же экспандерами (т.к. имеющиеся экспандеров не имеют и подключены по "колёсной формуле" "8 х 8" - на 8 дисков работают 8 SAS-портов материнки).
Так что скорее уж именно текущую конфигурацию прямо сейчас сейчас можно обвешивать SSD`шками без SMS и регистрации... тьху! сорри, без доп.покупок.
Это, кстати, четыре.

насчёт хотплаг не понял. какие там могут быть проблемы на SATA и SAS интерфейсах? это было когда-то давно на SCSI ...

Это Вам только так кажется... и насчёт "давно на SCSI", и на счёт "SATA и SAS".

Тут дело в конкретной реализации.
Рейд-контроллер - и SATA, и SAS, и ранее SCSI - очень жёстко обрабатывает временную (или постоянную) недоступность носителей на своих каналах. Чуть их "задумчивость" вылезает за таймаут - всё, носитель объявляется "в нетях", а рейд-группа переходит в degraded-mode (с автоматическим ребилдом... при наличии HSD и включенном триггере на авторебилд).
При этом "наверх", операционке, никто про потерю диска ничего особо не докладывает (мониторинг "сверху" или алерты "снизу не в счёт - я о том, что как ОС видела рейд-группу, как один "диск", так и продолжает видеть).

А вот на HBA это уже не проходит так мягко гладко - адаптер делится с ОС печалью от потери диска и ОС автоматом "залипает" в попытке осознать несовершенство новой картины мира.
Конечно, фейк-рейд на HBA тоже представляет для ОС зеркало из двух дисков как один "диск", но вот почему-то по бОльшей части случаев (говорю за себя и свою практику) вылет или вынимание диска из такого вот фейк-зеркала HBA всё равно вызывает локальный "фриз" сервера.

насчёт остального просто не присматривался, но для всего этого 4-х ядерный проц по-моему точно не нужен. да и на зеркале из 2- винтов это можно и по другому решить.

Вот этот кусок вообще не понял... то есть догадаться-то могу попробовать, но ощущаю какое-то рассогласование между частями - "остального", "всего этого"+"4-х ядерный проц", "по-другому".
Простите коллега, просто лень в воскресенье вечером шарады разгадывать!

И эт-та... ничего личного!

[Umlyaut]

вот вкратце как-то так...

единственное я хотел бы внести ясность с корзиной
в данный момент у меня установлена вот эта корзина, если я ничего не путаю - Spare 8x3.5 Hot-Swap Drive Cage Kit FUP8X35HSDK
в неё воткнуто 2 кабеля, на одном из которых я вижу часть маркировки Mini...HSBP
больше увидеть не получается, сервер постоянно в работе
как не искал, так и не понял, что это за тип кабеля

Ну вот я глянул фото бэкплейна Вашей корзины - там стоЯт два гнезда под разъём 8087 (Mini-SAS) 6Гбит/с. Начало маркировки Вашего кабеля - Mini... - тоже как бы указывает на это.
А окончание - HSBP - на наличие у кабеля sideband-мониторинга (до соответствующего разъёма мат.платы).

К слову, даже с т.з. "направления движения" кабели эти представляют собою определённую редкость - скажем, вот такой "MiniSAS->4xSATA" (https://www.regard.ru/catalog/tovar103115.htm) по разъёмам и спецификациям протокола может быть подключен к корзине (MiniSAS) и SAS-каналам на материнке (SATA), но работать не будет, нужен такой-же, но "реверсный".
Как раз в прошлом месяце с коллегой наткнулись на этот интересный нюанс (и даже заказали пару таких "реверс"-кабелей себе в загашник : ).

как я понимаю ваш вариант кабеля не подходит для моей корзины. Можете мне помочь с определением типа кабельного разъема?

Ну да, сходу по Вашему фото подумалось вообще про восемь "SATA"-разъёмов на корзине (из начального описания "8 на 8" - оттого и советовал "Горыныч".

А так - от навесного контроллера до корзины - надо использовать кабели на 4lane.
Если брать, как тут любят советовать , 12Гбит-ный контроллер, то используйте кабель "8643 - 8087" ("MiniSAS HD (контроллер) -to- MiniSAS (корзина)").

Если же брать 6Гигабитный контроллер (который подешевле, да и с 6Гбит-корзиной "совместимее"), то будет кабель "8087 - 8087" ("MiniSAS-to-MiniSAS").

Отдельный вопрос в этом случае про sideband на корзину.
Мне не попадались 4lane-шные кабели с sideband-ом - точнее, их варианты с 8087/8643 с обоих концов - хотя, наверное, они должны где-то встречаться.
Вот "горынычи" - "8087/8643->4xSATA/SAS" с sideband-проводом имел неоднократно, но там был не HSBP-вариант, за него ничего не скажу.

В "худшем" случае можно и без sideband, это не криминал.

для зеркала я бы посоветовал просто современный HBA

Если буду брать HBA, порекомендуйте пожалуйста 8 портовый.
Но в будущем я планирую взять 2 INTEL SSD уровня Optane, ну и повесить на него остальные 6 винтов.
Хватит ли его мощности для таких задач?
Достаточно ли HBA надежны?[/quote]

Для начала - Вы не тому ответили, это не я советовал взять навесной HBA, напротив, я был склонен ограничиться HBA встроенным в MB, к которому у Вас сейчас подключены корзины (резоны см. в моей дискуссии с ув.turboprop тут же рядом )

Но по сути могу ответить - 93хх (HBA или RAID) прокачает транфер с Ваших носителей спокойно.
И да, если там будет микс из SSD и хардов, то RAID-контроллер видится мне уместнее просто по факту возможности закешировать в его бортовой памяти запись на LUN (VD) из хардов.

Как-то так...

[amiton]

Добрый день
Задался я тут вопросом определить прошивку корзины и что-то нигде не могу найти место, где посмотреть версию прошивки.
Подскажите пожалуйста, какой утилитой и в каком месте это можно увидеть?