Вопрос по хранилищу данных на базе корзин Supermicro.

[Вениамин]

Добрый день!

Планируется масштабируемое расширяемое параллельное хранилище (под управлением Lustre).
В качестве базового модуля рассматриваем связку из двух серверов Supermicro типа E220R-M4
и четырех 45-дисковых корзин SC847E26-R1K28JBOD.
В каждом сервере хотим поставить два четырехпортовых контролера SAS, чтобы обеспечить двойной линк с каждой корзиной.
Сервера будут работать в отказоустойчивом кластере active-active.
Получается, что учетом "multipath" на каждом сервере будет видно около 400 дисков.

Смотрел по ограничениям, вроде бы Centos 6 поддреживает до 512 sas устройств,
также как и контролер LSI SAS 9201-16e.

Подскажите, пожалуйста, насколько вменяемо это решение?
Есть ли какие-то подводные подводные камни или недостатки?
Насчет корзины SC847E26-R1K28JBOD - подразумевает ли заявленный двойной экспандер отказоустойчивость?

[gs]

Двойной экспандер подразумевает только возможность подключения ящиков/дисков по двум путям. Отказоустойчивость должна организовываться на уровне выше. Причем и диски для этого должны быть двухпортовые SAS.

[Вениамин]

Спасибо за ответ, хотя вопросов меньше не стало

Двойной экспандер подразумевает только возможность подключения ящиков/дисков по двум путям.
Отказоустойчивость должна организовываться на уровне выше.

Предположим, что на серверах настроен стандартный Linux multipath в режиме active-passive (как предполагалось).
Разумеется, что также работает кластерное ПО, которое управляет доступом к лунам.
Требуется что-то еще?

Причем и диски для этого должны быть двухпортовые SAS.

Я правильно понимаю, что каждый экспандер в корзине "рулит" своим портом диска.
При этом если диски однопортовые, то один из экспандеров оказывается к ним не подключенным.
И если откажет именно "рабочий" экспандер - все, туши свет?

[gs]

Я, честно говоря, не силен в линуксе. Просто не знаю.

Насчет дисков все верно - с саташниками номер не пройдет.

[Вениамин]

Насчет дисков все верно - с саташниками номер не пройдет.

Благодарю, что просветили.

Получается что если дисковая полка набита SATA SSD то о полном резервировании тоже можно забыть

И еще странно. Вроде бы СХД с двумя контроллерами успешно разруливает доступ к однопортовым саташникам (это конечно не простой экспандер,
но логика доступа к дискам вроде должна быть такая же). Как это у нее получается?

[diz]

SATA`шники в таком случае устанавливаются через мультиплексоры.

[kim_aa]

Насчет дисков все верно - с саташниками номер не пройдет.

...
Вроде бы СХД с двумя контроллерами успешно разруливает доступ к однопортовым саташникам
(это конечно не простой экспандер, но логика доступа к дискам вроде должна быть такая же).
Как это у нее получается?

Нужно отличать логику работы массива (СХД) от дисковой полки.
В случае с дисковой полкой, инициатор напрямую видит SAS-диски (таргеты). Собственно, двухпортовость SAS-дисков ради "multipath" уже заложена уже в стандарте
(Serial Attached SCSI.
General overview by Rob Elliott. HP Industry Standard Servers Server Storage Advanced Technology elliott@hp.com http://www.hp.com 30 September 2003)

В случае с СХД, инициатор напрямую диски не видит, а видит LUNs отображаемые (мapping) на него контролером.

[gs]

У микры мультиплексоров нету, там все просто, как грабли.
Но вообще-то есть диски 7200 с SAS интерфейсом.

[Вениамин]

Я уже осознал, что "правильное" решение в данном случае поставить SAS NL, которые стоят не сильно дороже SATA.

Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?
Где в этом случае стоит мультиплексор? В контролере ему вроде делать нечего.
Тогда получается что либо бэкплейн не совсем пассивный либо диск не совсем однопортовый

[gs]

Мультиплексоры ставятся на дисковых салазках.

[Вениамин]

Воистину, все гениальное просто.

[kim_aa]

...
Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?
Где в этом случае стоит мультиплексор? В контролере ему вроде делать нечего.
Тогда получается что либо бэкплейн не совсем пассивный либо диск не совсем однопортовый

1) А кто вам сказал, что они получают доступ одновременно?
Собственно, по-этому в чесных Active/Active двухконтроллерных схемах (или кластерах) SATA не используется.

2) Более подробно режим работы SAS-контролера с SATA дисками приведен в указанном мною документе.
Если в двух словах, то SAS-контроллер работает в режиме прокси, который отображает SATA-диски для других SAS-устройств как виртуальное SAS-устройство. Естественно это задержки и неполнота функций.

[Вениамин]

Все же хочется понять как два контролера в СХД получают доступ к однопортовому диску через пассивный бэкплейн?

1) А кто вам сказал, что они получают доступ одновременно?

Я и не говорил, что они получают доступ одновременно, режим аctive-active меня в данном случае не интересует,
интересует полноценное резервирование, то есть отсутствие единой точки отказа.

Просто в некоторых случаях надо ставить SSD, а на SSD с интерфейсом SAS цены пока совсем не гуманные.

Кстати, в Infortende, который я здесь подразумевал действительно в этих случаях используются салазки с мультиплексорами.

2) Более подробно режим работы SAS-контролера с SATA дисками приведен в указанном мною документе.

Да спасибо, я его читал, правда про SATA мультипрексоры там ни слова. HP их не использует?

[kim_aa]

...

Да спасибо, я его читал, правда про SATA мультипрексоры там ни слова. HP их не использует?

А мультиплексор, это вырожденный случай SAS-контроллера/бриджа с двумя логическими портами.
Т.е. SATA-диск с мультиплексором это, для внешнего наблюдателя NL-SAS
(Забавная сложилась терминология: двухпортовое устройство называется мультиплексором, а многопортовый концентратор в бакплейне - бриджем)

Вобще, говорить, что у SAS-диска два порта - несколько неверно.
Согласно стандарту у SAS-диска два Phy.
Phy - это физический линк, или порт. Концептуально очень похоже на каналы (линии) PCIe, т.к. предусматривается возможность суммирования полосы.
А вот логических соединений (с точки зрения SCSI) - одно.
Собственно, основная проблема SATA это неполнота поддержки SCSI (например отсутсвуют SCSI-reservation, Extended-copy).

А SCSI-reservation это и есть механизм позволяющий поочередно работать нескольким иниициаторам с одним таргетом (инициатор объявляет остальным о начале и прекращении резервирования таргета для доступа).
Т. е. даже в актив-актив схемах контроллеры по очереди работают одним и тем же таргетом.

А если данного механизма нет, то все строится на таймаутах, и все равно полной гарантии, что не будет конфликтов нет.