Необходимо собрать пару хранилищ в кластер

[Valmon]

Добрый день.
Необходимо собрать пару хранилищ в кластер, кузовах супермикро 16 и более дисков в страйпе.
Собственно вопрос, какой лучше контроллер присмотреть, обязательно ли ROC должен присутствовать на борту?
Или можно поставить HBA с поддержкой страйпа?

[gs]

Не понял, о каком кластере идет речь.

[Valmon]

Пара СХД в зеркале по сети, DRBD

[Valmon]

И еще, тринити тестировал maxceche 3 от адаптека, как производительность?
Помню гонял первый кешкод от LSI, был не впечатлен.

[Umlyaut]

2 Valmon

Подобностями не поделитесь? Какой контроллер, какая рейд-группа, какой ssd-кеш, как тестировали?

За себя могу сказать следующее:

- LSI 9265-8i + expander (модель щщас не вспомню, Ченбро какое-то) + BBU (WB ON),
DirectIO, Adaptive Read Ahead.
- R-10 на восьми SAS 73GB 15k
- CacheCade v1 на трёх Corsair P64

Тестировалось IOMeter`om, паттерн 100% Random Read с QD=32, блок 4к

Без CC ~2000 IOPS
C CC (после нескольких десятков тысяч циклов прогона файла IOMeter на чтение архиватором без сжатия) ~20000 IOPS.

Вот как-то так...

[Valmon]

2 Valmon

Подобностями не поделитесь? Какой контроллер, какая рейд-группа, какой ssd-кеш, как тестировали?

За себя могу сказать следующее:

- LSI 9265-8i + expander (модель щщас не вспомню, Ченбро какое-то) + BBU (WB ON),
DirectIO, Adaptive Read Ahead.
- R-10 на восьми SAS 73GB 15k
- CacheCade v1 на трёх Corsair P64

Тестировалось IOMeter`om, паттерн 100% Random Read с QD=32, блок 4к

Без CC ~2000 IOPS
C CC (после нескольких десятков тысяч циклов прогона файла IOMeter на чтение архиватором без сжатия) ~20000 IOPS.

Вот как-то так...

Точных данных не осталось.
Тестировали на 12 SATA ultrastar 1Tb, 2 SSD Intel, какие не помню, стаяла пара.
Контролер LSI 9260 16 портовый, ключик для активации кеша, BBU, 10 уровень, SSD в зеркале если не ошибаюсь.
Прогоняли fio, без SSD порядка 1500 IOPS, с SSD 2500-3500 на чтения, запись не тестировали, так как кеша там нет, а интересовал в первую очередь он.
Сейчас же цель, выжать максимальные IOPS из полок на САТА, при максимальном объеме.
Поэтому и присмотрелся сейчас к продукту адаптека 7 серии, везде страип, как на SSD так и HDD, избыточность будет обеспечиваться на близнеце, DRBD с прямым подключением между серверами 2мя гигабитными интерфейсами. При текушей производительности (1500-2000iops), DRBD справляется.

[gs]

Все эти кэширования (как и вообще любое кэширование) эффективны далеко не на всех задачах. Нужно, чтобы горячие данные соответствовали размеру кэша, иначе все равно будут молотить диски. Эффект не совсем прямолинейный, но надо иметь в виду.

[gs]

Ну и при записи винты все равно должны успевать - данным из кэша ведь надо куда-то деваться.

[gs]

Зачем страйп? Все равно в сетку упретесь, а лишний риск никому еще не радости не приносил.

[Valmon]

Зачем страйп? Все равно в сетку упретесь, а лишний риск никому еще не радости не приносил.

Не думаю что в сетку, линейная скорость важна, но не настолько.

[Umlyaut]

Точных данных не осталось.
Тестировали на 12 SATA ultrastar 1Tb, 2 SSD Intel, какие не помню, стаяла пара.
Контролер LSI 9260 16 портовый, ключик для активации кеша, BBU, 10 уровень, SSD в зеркале если не ошибаюсь.

Боюсь, что ошибаетесь.
У CacheCade v1 (вы же его тестили, так?) любое к-во ssd-приводов кеша автоматом конфигурится в R0 (страйп).

Прогоняли fio, без SSD порядка 1500 IOPS, с SSD 2500-3500 на чтения, запись не тестировали, так как кеша там нет, а интересовал в первую очередь он.

Как-то совсем негусто даже для рэндома... (

Сейчас же цель, выжать максимальные IOPS из полок на САТА, при максимальном объеме.
Поэтому и присмотрелся сейчас к продукту адаптека 7 серии, везде страип, как на SSD так и HDD, избыточность будет обеспечиваться на близнеце, DRBD с прямым подключением между серверами 2мя гигабитными интерфейсами. При текушей производительности (1500-2000iops), DRBD справляется.

По поводу страйпа на кеш-ssd я уже сказал выше - он и там, и там.
Кстати, вторая версия CC, которая с записью, как раз в режиме записи-то и работает с R1 или R10 - страхуются, берегут кеш записи.

Насчёт страйпа из HDD... ну-у-ууу... я согласен с ув.gs - не дело это. Достаточно большой RAM-кеш контроллера при WB обязан нормально гасить пики записи при стандартном рэндоме (обычная OLTP-база, например). Не льёте же Вы секвентально на массив многопотоковое видео? ))
На крайняк возьмите побольше шпинделей в R10 - получите тот же страйп, только из зеркал, всё надёжнее (ну да, против R0 span`ов будет меньше вдвое у R10, но за всё приходится платить)...

[Valmon]

Точных данных не осталось.
Тестировали на 12 SATA ultrastar 1Tb, 2 SSD Intel, какие не помню, стаяла пара.
Контролер LSI 9260 16 портовый, ключик для активации кеша, BBU, 10 уровень, SSD в зеркале если не ошибаюсь.

Боюсь, что ошибаетесь.
У CacheCade v1 (вы же его тестили, так?) любое к-во ssd-приводов кеша автоматом конфигурится в R0 (страйп).

Прогоняли fio, без SSD порядка 1500 IOPS, с SSD 2500-3500 на чтения, запись не тестировали, так как кеша там нет, а интересовал в первую очередь он.

Как-то совсем негусто даже для рэндома... (

Сейчас же цель, выжать максимальные IOPS из полок на САТА, при максимальном объеме.
Поэтому и присмотрелся сейчас к продукту адаптека 7 серии, везде страип, как на SSD так и HDD, избыточность будет обеспечиваться на близнеце, DRBD с прямым подключением между серверами 2мя гигабитными интерфейсами. При текушей производительности (1500-2000iops), DRBD справляется.

По поводу страйпа на кеш-ssd я уже сказал выше - он и там, и там.
Кстати, вторая версия CC, которая с записью, как раз в режиме записи-то и работает с R1 или R10 - страхуются, берегут кеш записи.

Насчёт страйпа из HDD... ну-у-ууу... я согласен с ув.gs - не дело это. Достаточно большой RAM-кеш контроллера при WB обязан нормально гасить пики записи при стандартном рэндоме (обычная OLTP-база, например). Не льёте же Вы секвентально на массив многопотоковое видео? ))
На крайняк возьмите побольше шпинделей в R10 - получите тот же страйп, только из зеркал, всё надёжнее (ну да, против R0 span`ов будет меньше вдвое у R10, но за всё приходится платить)...

Возможно вы правы, так как я сам сомневался по поводу зеркало. В принципе логично, там только кеш чтения, так что отказ страипа из ссд, повлечет отказ кеша, без потери данных.
По поводу кешкод 2 и про, я так понимаю это разное, потестить нет возможности.
Срайп, почему бы и нет? То что подключается по iscsi умеет мультипач, на время тестирования всей связки под большой нагрузкой, подойдет, возможно после этого пересмотрим, по результату тестирования а там возможно и хорошем финансирование.
Побольше это сколько? 36 шпинделей, это побольше?
С узким местом на интерфейсах, тоже думал, под 36 шпинделей, уже надо посмотреть на 10Gb или infiniband. Это в планах, но не сейчас, в планах успешная обкатка.

[gs]

Я конечно понимаю, что если зрячий идет к пропасти, то слеп останавливающий его, но...
Обычно, когда речь идет про дублирование стораджей, это означает, что надежности одного девайса недостаточно. Т.е. бизнес-критикал по самые уши.
Вы же хотите сделать из дерьма конфету... оно конечно можно, но более чем странно. Если у Вас настолько критичные задачи, может быть уже о более серьезных вещах подумать? Если же они не настолько критичные, то может обычной IBM DS3500 хватит по самые уши?

[Umlyaut]

Возможно вы правы, так как я сам сомневался по поводу зеркало. В принципе логично, там только кеш чтения, так что отказ страипа из ссд, повлечет отказ кеша, без потери данных.

Там ещё интереснее... При отказе одного кеш-ssd из нескольких контроллер автоматом пересобирает кеш-страйп на оставшихся. С учётом накопления у контроллера статистики по hot data я подозреваю/надеюсь, что "горячие данные" должны после пересборки кеша автоматом же копироваться обатно на ssd-страйп. Да скорость чтения должна снизиться попорционально, но полного отказа кеша не будет.
Напоминаю, что я про LSI, как работает в этом месте адаптек - я не в курсе детально...

По поводу кешкод 2 и про, я так понимаю это разное, потестить нет возможности.

Что такое "про"? CC2 - это версия с кешированием записи.
ИМХО, при наличии большого RAM-кеша контроллера с WB (BBU) и большого к-ва шпинделей в R10 стандартная нагрузка на запись не нуждается в промежуточном кешировании на ssd (особенно если вспомнить, что на полном объёме ssd реальных иопсов на запись - кот наплакал).

Срайп, почему бы и нет? То что подключается по iscsi умеет мультипач, на время тестирования всей связки под большой нагрузкой, подойдет, возможно после этого пересмотрим, по результату тестирования а там возможно и хорошем финансирование.

Чтобы drbd-линк был адекватен Вашим страйпам (на нодах СХД), Вам может не хватить 1Gbit (даже и в транке - латентность из рук вон), а 10Gbit нифига не бюджетно. Т.е. страйпы на нодах могут молотить вхолостую, теряя в надёжности.
Плюс к этому переключение путей тоже бывает небеспроблемным.
Вылет харда может случиться по разным причинам - и вырубит целую ноду СХД (в случае страйпа). Оно Вам надо?

Побольше это сколько? 36 шпинделей, это побольше?
С узким местом на интерфейсах, тоже думал, под 36 шпинделей, уже надо посмотреть на 10Gb или infiniband. Это в планах, но не сейчас, в планах успешная обкатка.

R10 на 36 - это хорошо. Формально это как страйп на 18-ти. Если ещё взять хады не очень большого номинала, то и ребилд в случае чего побыстрее пройдёт.
Только сильно не обольщайтесь - у САТА иопсы всё равно не поражают воображение.

В принципе сейчас двухголовые 10Gb-сетевухи c SPF-гнёздами стОят в пределах пол-штуки бакинских. Ставите по такой карте в каждую из двух нод, соединяете twinaxial-кабелями - и получаете очень шустрый DRBD-линк.

[Valmon]

Верно, полагаться на надежность одного стора, не стоит, поэтому их два.
Да, можно все, за деньги, и интерпрайз оно так и есть. Есть задача, необходимо ее реализовать любыми силами и деньгами в разумных пределах, но тут речь идет о услугах, которые в плане, для реализации планов, и весь сырбор.
Сейчас задача, обкатать, выработать стратегию, как сделать недорого и в какой-то степени, надежно. Когда будут реальные цифры, можно уже судить, стоит так делать, или не стоит.
Можно конечно взять продукцию того же нетапп, но окупится ли это? А если окупится, то когда.

Это как в ISP с хомсетями, никто же не ставить на крыши каждого дома, коммутаторы доступа, с дублированием, всевозможными STP