Платформа под виртуализацию (Blade+Storage)

[stranger.rus]

Доброго времени суток.
Имеется задача "виртуализировать" ряд серверов компании,
а именно:
6 серверов на базе однопроцессорных Xeon'ов 1-2 годичной давности (2-4Gb Ram) средняя загрузка на всех 10-15(в пиках до 18-20)%
с SATA дисками.
3-4 сервера на P4 3Ghz c 1Gb Ram. загрузка 30-40%
штук 10 почтовых серверов уровня "Какой то там Целерон",512mb Ram.
По платформе виртуализации еще не определился как вариант рассматриваю либо VmWare Essential Plus либо на Xen'e.
Задача: добиться единобразия и хотябы "ручного" fault-tolerance на всем этом зоопарке.


Прошу прокомментировать жизнеспособность следующих вариантов:
1)Для подсоединения storage будем использовать iscsi
Express IBM System Storage DS3300 Single Controller
HDD SATA Seagate 1000Gb (1Tb), ST31000340NS. х 6 (в RAID6)
IBM BladeCenter E Chassis
IBM BladeCenter Copper Pass-thru Module (39Y9320)
2хIBM BladeCenter HS12 QC Intel Xeon X3353 8Gb RAM
2хIBM BladeCenter HS22 2xQC Intel Xeon 5540 16Gb RAM

2)Для подсоединения storage будем использовать SAS

Express IBM System Storage DS3200 Single Controller
HDD SATA Seagate 1000Gb (1Tb), ST31000340NS,

IBM BladeCenter E Chassis
IBM BladeCenter Copper Pass-thru Module (39Y9320)
IBM SAS Connectivity Module 14xInt, 4xExt (39Y9195)
4xIBM SAS Expansion Card (CFFv) for IBM BladeCenter (39Y9190)
2хIBM BladeCenter HS12 QC Intel Xeon X3353 8Gb RAM
2хIBM BladeCenter HS22 2xQC Intel Xeon 5540 16Gb RAM

Заранее благодарен.

[diz]

Я бы при таком раскладе рассмотрел BC S с 3мя hs22, hs12 брать не вижу смысла, они устарели.

Примерно так: BC S, два рейд-контроллера (один взять нельзя), 2 модуля хранения, 7x1000 GB 7.2 NL SAS (разница в цене с SATA по прайсу IBM смешная), один на hs. 3xhs22 (2x5540/24 GB RAM)

Плюсы такого решения: отказоустойчивая СХД, более низкая цена, меньшее энергопотребление и шум.
Минус: не более 6 лезвий (12 55х процессоров это очень серьезная мощь. Судя по существующей инфраструктуре, Вам хватит с запасом).

В качестве дешевого аналога можно рассмотреть Intel Modular Server, но с VMWare у него косячки:

# 1. No SCM firmware update possible during active host I/O.
# 2. SP failover for SCM failures, and SCM SAS port failures is not supported.

Я поднимал на нем VMWare HA - работает.

[stranger.rus]

Про hs12/hs22 понял.
Шум не важен т.к. рядом еще порядка 80 серверов находящихся на колокейшене и куча другого сетевого оборудования

По поводу более низкой цены на СХД, почему то когда считал BL S,
получалось что покупка

2 х IBM BladeCenter S SAS RAID Controller Module (43W3584)
2 х IBM BladeCenter S 6-Disk Storage Module(43W3581)

получается в 2.5 раза дороже полки DS3300/DS3200.

Поэтому собственно и начал смотреть на Е серию.

Про винты - не могли бы дать их PN ?

[diz]

Я посчитал, на самом деле, S`ка с двумя контроллерами выходит дороже, даже если сравнивать с двухконтроллерной ds3200+bc e бред какой-то.

p\n NL SAS дисков от BC S 42d0457, но, судя по матрице, они не подходят к ds3xxx.

[stranger.rus]

Да кстати пара попутных вопрос:
1)насколько я понял "обычные диски" HDD 1 Tb SATA-II 300 Seagate Barracuda ES.2 не подойдут.

Соответственно нужны какие либо из
IBM 500GB Hot Swap SATA Express (41Y8240)
IBM 1000GB Hot Swap SATA (43W7630)
IBM Hot Swap SATA Express 1 TB (41Y8248)

В чем кстати разница между "обычной" и express моделью ?

2)Нашел еще такой модуль как
QLogic iSCSI Expansion Card for IBM BladeCenter (32R1923) Х 1 [в BC]
IBM Qlogic iSCSI Expansion Card StFF (26K6487) X [в каждый BS]

Насколько имеет смысл ставить такой контроллер ? в чем кроме снижения загрузки процессора данное решение лучше софтварного ?

[Stranger03]

По платформе виртуализации еще не определился как вариант рассматриваю либо VmWare Essential Plus либо на Xen'e.

ИМХО надо сначала надо определиться с тем, какой функционал вы хотите получить от виртуализации и как вы всем этим барахлом будете управлять. А также какой уровень отказоустойчивости вам нужен (грубо будете ли переключать все руками на резервные ноды или пусть автоматом переезжает). Далее было бы неплохо посмотреть на все ваши сервисы на старых серверах, описать кратко. А уж потом кидаться в сторону проектирования серверной платформы.
В принципе если ваши 10-ть старых серверов сейчас работают, их производительность устраивает, то вполне вероятно, что пара серверов на 5520 процах могут справится с нагрузкой.
Ну а если вы все-таки хотите рассмотреть блейды с точки зрения роста (переноса туда функционала со старых серверов), то я бы посчитал на ДС3400 и блейд с 10-ти портовыми брокейдами. Много более выигрышный вариант с точки зрения роста.

[Stranger03]

В чем кстати разница между "обычной" и express моделью ?

На обычные модели нужно рассчитывать на скидки, которые предоставит продавец, на експресс модели скидки не предоставляются (или не более 5%)

2)Нашел еще такой модуль как
QLogic iSCSI Expansion Card for IBM BladeCenter (32R1923) Х 1 [в BC]
IBM Qlogic iSCSI Expansion Card StFF (26K6487) X [в каждый BS]

Насколько имеет смысл ставить такой контроллер ? в чем кроме снижения загрузки процессора данное решение лучше софтварного ?

В этом случае за функционирование доступа к жестким дискам вашей СХД отвечает железка, а не софт, написанный руками китайских программистов.

[VladimirR]

Вы можете подойти в наш офис и посмотреть как это выглядит в жизни. И на IBM Blade и на Intel Modular.

[diz]

1. Да
2. Кроме моментов, описанных Дмитрием, еще можно осуществлять загрузку с SAN по iSCSI (надо уточнять, в зависимости от OS). Однако лучше использовать DS3200 или DS3400 и SAS\FC модули соответственно. Есть модуль qlogic FC/ETH, который дает +2 доп. eth порта и 2 fc порта на лезвие, обратите внимание на него. Best practices VMWare рекомендуют выносить VMotion и управлялку на отдельные интерфейсы, т.е. пару в lacp/failover поставите для VM и пару на управлялку.

[gs]

Поройтесь еще тут: http://blog.trinitygroup.ru/
Да и поболтайте живьем с Володей Романовым - он доходчиво растолкует...

[stranger.rus]

ИМХО надо сначала надо определиться с тем, какой функционал вы хотите получить от виртуализации и как вы всем этим барахлом будете управлять. А также какой уровень отказоустойчивости вам нужен (грубо будете ли переключать все руками на резервные ноды или пусть автоматом переезжает). Далее было бы неплохо посмотреть на все ваши сервисы на старых серверах, описать кратко. А уж потом кидаться в сторону проектирования серверной платформы.

Насколько я понял мне будет достаточно HA(если я правильно понял его предназначение, умирает один сервер, все vm с него рестартуют автоматом на других серверах)

на базе Хеон
2 name server'a на базе pdns+mysql(в основном все берут из кэша)
2 сервера биллинга (собирают netflow) ~18Mbit/s
1 почтовый сервер(exim+dbmail+sql) c 4k ящиков, живых из них ~1k
1 сервер под офисный задачи (веб,почта,,файлопомойка)


на базе P4
из важного
Софтсвитч ip телефонии (порядка 80 одновременных звонков в g711)
Хостинг сервер
Сервер БД для хостинга
Терминальный Сервер 1С 7.7
почтовый релей (около 7 тысяч сообщений в день)

Соответственно везде стоят в зеркале SATA винты 500GB-1Tb

я бы посчитал на ДС3400 и блейд с 10-ти портовыми брокейдами. Много более выигрышный вариант с точки зрения роста.

Я бы тоже к сожалению, "комплект" на FC обходится на 50% дороже, чем iscsi (и это учетом аппаратных контроллеров iscsi).

[stranger.rus]

По варианту c SAS.

Насколько я понял мне для этого понадобятся следующие модули

IBM SAS Connectivity Module 14xInt, 4xExt (39Y9195) - 1 шт
IBM SAS Expansion Card (CFFv) for IBM BladeCenter (39Y9190) - по количеству серверов

Будут ли доступны все функции VmWare с этим хранилищем ?
(насколько помню когда в прошлый раз забирался с ESXi, в случае если у нас DAS, то доступны не все функции).
В принципе как вариант очень неплохо смотрится.
Кстати скорость\латентность сопоставима с FC будет ?

[VladimirR]

По варианту c SAS.
IBM SAS Connectivity Module 14xInt, 4xExt (39Y9195) - 1 шт
IBM SAS Expansion Card (CFFv) for IBM BladeCenter (39Y9190) - по количеству серверов
Кстати скорость\латентность сопоставима с FC будет ?

по модулям на блэйд - всё верно в случае установки в BladeCenter E, VMWare входит в лист совместимости с этим оборудование. Дополнительно можно взять IBM support for VMWare on Blade.
на разницу в дисках SAS/FC можно не обращать внимания, более правильно смотреть на производительность контроллера дисковой системы который с этими дисками работает.

[Stranger03]

Я бы тоже к сожалению, "комплект" на FC обходится на 50% дороже, чем iscsi (и это учетом аппаратных контроллеров iscsi).

На 50%?
ИМХО вы чего-то загнули со стоимостью. Попробую посчитать завтра конечно, но мне так кажется разницы в 50% не должно быть. Тем более что есть такое понятие, как запрос спеццен от ИБМ.
P.S. кстати возвращаясь к нашим баранам, комплект из 4-х 2-х процессорных супермикр + пары коммутаторов 1400 + заратекс 5412 получится более чем душевный по соотношению цена + качество.

[stranger.rus]

На 50%?
ИМХО вы чего-то загнули со стоимостью. Попробую посчитать завтра конечно, но мне так кажется разницы в 50% не должно быть. Тем более что есть такое понятие, как запрос спеццен от ИБМ.

Ну считал по доступным мне источникам.
Там у меня получился следующий конфиг
Express IBM System Storage DS3400 Single Controller - 1шт
Brocade 10-port SAN Switch Modules for IBM BladeCenter (32R1821) -1 шт
Emulex 4Gb SFF Fibre Channel Expansion Card for IBM BladeCenter (39Y9186) - по количеству серверов

P.S. кстати возвращаясь к нашим баранам, комплект из 4-х 2-х процессорных супермикр + пары коммутаторов 1400 + заратекс 5412 получится более чем душевный по соотношению цена + качество.

Не отрицаю что цена/качество будет лучше, но получится очередной зоопарк
Хочется получить все таки решение от единого вендора.