ESXi. DAS или внешняя СХД?

Be_HaPPY · Сообщение **Be_HaPPY** » 26 мар 2012, 16:22

Имеется железо:
1. Отдельный мощный сервер БД.
2. ESXi хост: 2хХ5650, 72 ГБ, Adaptec 5805, 16хSAS300ГБх15к
3. ESXi хост: 2хЕ5620, 48 ГБ, Adaptec 5805, 12хSAS600ГБх15к

Софт: vSphere 4 + Veeam backup на все это хозяйство.

Нагрузка на №2: 21 ВМ. Нагрузка на №3: 18 ВМ. По процессору оба хоста вывозят, по диску и первый и второй в последнее время по мере увеличения нагрузки (которая продолжает расти) начали зашиваться: счетчик Datastore в ESX на сервере №3 показывает Average 2.7 мс на чтение (в пике - 32). На сервере №2 - 3,7 с пиком в 36. В принципе заметными тормоза на моих хостах становятся только по этим счетчикам (т.е. если зафиксировать проблему и посмотреть по времени на все счетчики, то как раз фиксируется всплеск на счетчике Datastore).

Так как память уже заканчивается, то для дальнейшего развития появились деньги на модернизацию.

Сейчас стою перед выбором: собрать еще один ESXi-хост вида сервера №2 с DAS только с количеством памяти гигов в 144 или собрать этот же хост только без DAS (5805+16SAS), а собрать все существующие винты (возможно, и контроллеры) и запихнуть все в новую СХД.
Возникли сомнения: 16 винтов в 10-м RAID с хорошей контролькой дают огромную производительность по IOPS в отличии от любых СХД начального уровня (недавно как раз попадался тест DAS vs IBM СХД от Тринити). Если считать в мегабайтах, то нагрузка маленькая, но из-за большого количества веб-серверов существует огромное количество чтения/записи мелких файлов. Стоит ли при моих нагрузках переходить на СХД? Именно функционал СХД мне не критичен, т.к. все, что мне нужно есть в текущей лицензии на vSphere. Вопрос только в производительности. Критично, чтобы мои 16х300 ГБ SAS Fujitsu и 12х600 ГБ SAS Seagate (в идеале и контроллеры) могли переехать в хранилище, т.к. в сумме этот комплект не такой и дешевый.

Посоветуйте, пожалуйста, производительное хранилище до 32 HDD SAS 3,5" или отговорите от идеи отдельного СХД. Бюджет чисто на СХД (+ контроллеры FC, если потребуются) без дисков - до 500-750 тыс рублей.
P.S. Нынешний размер блока VMFS - 2 Мегабайта (есть пару виртуальных дисков на 500 ГБ). Увеличит ли скорость чтения/записи мелких файлов уменьшение блока до 1 МБ?

LCF_R · Сообщение **LCF_R** » 26 мар 2012, 16:36

Если Вы собираетесь пересадить все винты в новоприобретенную СХД - то лучше сразу отказаться от идеи такой покупки: скорее всего Ваши диски в СХД работать не будут. К тому же, некоторые производители предлагают свои системы хранения только полностью заполненными дисками. Если же смотреть на приобретение СХД с дисками - то я бы советовал присмотреться к NetApp (дедубликация на блочном уровне хорошо сказывается на производительности и эффективности хранения для виртуальных машин). Только вот ценник на такие системы будет существенно выше.

Сообщение gs » 26 мар 2012, 16:36

СХД даст возможность перемещения ВМ между нодами и отказоустойчивость - вообще-то штука полезная.
Но переставить имеющиеся винты можно только в аппарат класса Infortrend, брэндовые комплектуются только родными винтами.

Ну можно конечно простой сервер раздавать по iSCSI, но тогда вопрос отказоустойчивости, т.к. все яйца в одной недублированной корзине.

Сообщение gs » 26 мар 2012, 16:37

Ну в принципе, для IBM DS3500 бюджет достаточно приличный, считать надо.

Be_HaPPY · Сообщение **Be_HaPPY** » 26 мар 2012, 16:51

gs писал(а):СХД даст возможность перемещения ВМ между нодами и отказоустойчивость - вообще-то штука полезная.

Полезная, но мне совершенно не нужная. Т.к. нет у меня таких ресурсов, которые не пережили бы пары часов в дауне на время переноса/восстановления ВМ.

gs писал(а):Но переставить имеющиеся винты можно только в аппарат класса Infortrend, брэндовые комплектуются только родными винтами.
Ну можно конечно простой сервер раздавать по iSCSI, но тогда вопрос отказоустойчивости, т.к. все яйца в одной недублированной корзине.

Какова производительность такого решения? Неужто 32 винта в СХД по iSCSI (не SAN) дадут производительность больше, чем DAS на 16 винтов?

А тестировали/продавали решение на Open-E? Что можете сказать про этого зверя?

Сообщение gs » 26 мар 2012, 16:55

Айскази на мелких блоках шустро бегает. Нетапп на этом вообще рулит. Опен-Е - не знаю.

Но если Вам не требуются фишки СХД, просто набейте еще сервак, да и все.

Be_HaPPY · Сообщение **Be_HaPPY** » 26 мар 2012, 17:17

Стоит ли при этом уменьшать размер блока в файловой системе?

Be_HaPPY · Сообщение **Be_HaPPY** » 01 май 2012, 07:26

Апну тему.
Нашел интересный тест производительности разных хранилищ и задумался о покупке хранилища NetAPP.
Например, изначально приобрести FAS2040HA (2 контроллера, 12 x 600GB- Base-NBD), затем - полку DS4243 и набить ее своими дисками (Seagate SAS на 600ГБ).
ВМ с высокой нагрузкой по дискам просто оставлю на одном из хостов на DAS.

Будет ли работать Netapp'овская полка с неродными дисками? Понимаю, что это не есть хорошо, интересно - заработает ли?

Какова стоимость указанной конфигурации (в личку)?

Сильно ли различается производительность FAS2040 и Infortrend EonStor DS с подключением по FC и двумя контроллерами, например, S24F-R1440?

KOOLER · Сообщение **KOOLER** » 05 май 2012, 00:10

У NetApp post-processing. Поэтому их дедупликация "жрет" IOPS - все пишется минимум два раза (реально - больше, если дедупликация работает). Посмотрите в сторону чего, у чего 1) дедупликация инлайн 2) есть автоматический тиринг.

Be_HaPPY · Сообщение **Be_HaPPY** » 05 май 2012, 04:14

KOOLER писал(а):У NetApp post-processing. Поэтому их дедупликация "жрет" IOPS - все пишется минимум два раза (реально - больше, если дедупликация работает). Посмотрите в сторону чего, у чего 1) дедупликация инлайн 2) есть автоматический тиринг.

Железки с дедупликацией инлайн и автоматическим tier'ингом находятся немного в другой ценовой категории. Сейчас же не планировали тратить на хранилище более 800 тыс.
Есть у кого-нибудь тесты FAS2040HA (2 контроллера, 12 x 600GB- Base-NBD) по IOPS на FC при 65% чтении и 60% random?

LCF_R · Сообщение **LCF_R** » 10 май 2012, 15:30

Вы упретесь в производительность самих дисков, а не железки. Соответственно, из этой системы с 12-ю дисками Вам удастся "выжать" немногим более 2000-3000 IOPS при самом благоприятном раскладе. Также производительность зависит от заполненности дисковой подсистемы: при занятом простарнстве более 75% производительность будет снижаться.

Be_HaPPY · Сообщение **Be_HaPPY** » 10 май 2012, 15:37

LCF_R писал(а):Вы упретесь в производительность самих дисков, а не железки. Соответственно, из этой системы с 12-ю дисками Вам удастся "выжать" немногим более 2000 IOPS.

Так мало? У меня сейчас по тестам столько показывает виртуальная машинка внутри esxi на сервере с 16-ю дисками. У NetAPP есть какие-либо технологии интеллектуального кеширования чтобы увеличить производительность?
На 24 диска будет 4k IOPS при тех же условиях или оно не будет пропорционально масштабироваться?

LCF_R · Сообщение **LCF_R** » 10 май 2012, 15:43

У NetApp есть дедупликация и компрессия которые влияют на производительность. Цифры "с потолка" в таком случае называть тяжело.

LCF_R · Сообщение **LCF_R** » 11 май 2012, 10:47

Померили терабайтный LUN (в RAID DP) из 7-и SATA дисков с указанными Вами параметрами (размер кластера - 2кб) и получили ~20.000 IOPS.

Be_HaPPY · Сообщение **Be_HaPPY** » 11 май 2012, 11:54

Проведите, пожалуйста, тест iometer'ом (во вложении):

iometer.zip: (1.69 МБ) 512 скачиваний

Там лежит файлик с тестом, его открыть, Access Specifications - RealLife-60%Rand-65%Read - Add и произвести тест.

Результат можете написать в личку. Если бы был поближе, попросил бы хранилище на тест перед покупкой, но нахожусь на Камчатке.

Заранее спасибо.

ESXi. DAS или внешняя СХД?

ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Re: ESXi. DAS или внешняя СХД?

Кто сейчас на конференции