Вопросы по внедрению SAN
Модераторы: Trinity admin`s, Free-lance moderator`s
- alexey.bober
- member
- Сообщения: 27
- Зарегистрирован: 22 сен 2006, 14:02
- Откуда: Алма-Ата
Вопросы по внедрению SAN
Здравствуйте, уважаемые эксперты. Очень надеюсь на ваш совет!
Собираемся внедрять небольшую сеть хранения данных.
Будем покупать:
- Два сервера HP DL 360 G7 2xXeon quadcore. 579241-421. К каждому серверу по два адаптера HBA HP StorageWorks 81B или 81E.
- Две системы хранения данных HP 2324fc DC Modular Smart Array (AJ797A).
- Два 16ти портовых коммутатора StorageWorks Base SAN switch 8/24 (AM868A)
Что уже есть:
- Два сервера HP DL360 G5 2xXeon dualcore. К каждому серверу докупим по два адаптера HBA HP StorageWorks 81B или 81E.
- Два старых сервера Fujitsu-Siemens TX600. В каждом сервере стоят по два адаптера Emulex LP9802.
- Старая СХД Fujitsu-Siemens Fibrecat S80 с двумя raid контроллерами.
Появилось несколько вопросов.
1) Основной вопрос по схеме.
Вот что я нашел на просторах интернета:
"Отказоустойчивость доступа серверов к данным достигается дублированием путей доступа. Применительно к SAN дублирование заключается в следующем: сеть SAN строится как две физически независимые сети, идентичные по функциональности и конфигурации. В каждый из серверов, включенных в SAN, устанавливается как минимум по два FC-HBA. Первый из FC-HBA подключается к одной "половинке" SAN, а второй — к другой. Отказ оборудования, изменение конфигурации или регламентные работы на одной из частей SAN не влияют на работу другой. Пути доступа серверов к дисковому массиву тоже дублируются. Внешние интерфейсы дискового массива, включенного в SAN, подключаются к обоим ее "половинкам". Для переключения с вышедшего из строя пути доступа на резервный , а также для равномерного распределения нагрузки между всеми путями, на серверах устанавливается специальное программное обеспечение, поставляемое либо производителем массива (EMC CLARiiON — PowerPath, HP EVA — AutoPath, HDS — HDLM), либо третьим производителем (VERITAS Volume Manager)."
Вот еще "Using two fabrics will help load balance I/O traffic through two distinct paths. If one of the switches in any path gets over loaded, the path failover software on the host can redirect traffic to the faster path."
И теперь вопросы:
Смогу ли я имея всё вышеперечисленное оборудование сконфигурировать сеть хранения данных в виде двух фабрик (основной и резервной) для обеспечения отказоустойчивости (так как нарисовано во вложении и сказано в цитатах)? Хватит ли мне базовой конфигурации и ПО, идущего вместе с коммутатором? Смогут ли сервера переключаться на резервные пути автоматически?
Ну и мелкие вопросы:
2) Достаточно ли использовать в каждом сервере по два однопортовых адаптера для обеспечения отказоустойчивости и балансировки нагрузки? Какой лучше 81B или 81E? Или нужны двухпортовые?
3) Я так понял, что батарейки для памяти нету в комплектации 579241-421 (Smart Array P410i/256МБ SAS RAID). Нужно покупать BBWC или FBWC?
4) Какие рекомендации можете дать по этой схеме? Может что-то упустил?
Спасибо!
Собираемся внедрять небольшую сеть хранения данных.
Будем покупать:
- Два сервера HP DL 360 G7 2xXeon quadcore. 579241-421. К каждому серверу по два адаптера HBA HP StorageWorks 81B или 81E.
- Две системы хранения данных HP 2324fc DC Modular Smart Array (AJ797A).
- Два 16ти портовых коммутатора StorageWorks Base SAN switch 8/24 (AM868A)
Что уже есть:
- Два сервера HP DL360 G5 2xXeon dualcore. К каждому серверу докупим по два адаптера HBA HP StorageWorks 81B или 81E.
- Два старых сервера Fujitsu-Siemens TX600. В каждом сервере стоят по два адаптера Emulex LP9802.
- Старая СХД Fujitsu-Siemens Fibrecat S80 с двумя raid контроллерами.
Появилось несколько вопросов.
1) Основной вопрос по схеме.
Вот что я нашел на просторах интернета:
"Отказоустойчивость доступа серверов к данным достигается дублированием путей доступа. Применительно к SAN дублирование заключается в следующем: сеть SAN строится как две физически независимые сети, идентичные по функциональности и конфигурации. В каждый из серверов, включенных в SAN, устанавливается как минимум по два FC-HBA. Первый из FC-HBA подключается к одной "половинке" SAN, а второй — к другой. Отказ оборудования, изменение конфигурации или регламентные работы на одной из частей SAN не влияют на работу другой. Пути доступа серверов к дисковому массиву тоже дублируются. Внешние интерфейсы дискового массива, включенного в SAN, подключаются к обоим ее "половинкам". Для переключения с вышедшего из строя пути доступа на резервный , а также для равномерного распределения нагрузки между всеми путями, на серверах устанавливается специальное программное обеспечение, поставляемое либо производителем массива (EMC CLARiiON — PowerPath, HP EVA — AutoPath, HDS — HDLM), либо третьим производителем (VERITAS Volume Manager)."
Вот еще "Using two fabrics will help load balance I/O traffic through two distinct paths. If one of the switches in any path gets over loaded, the path failover software on the host can redirect traffic to the faster path."
И теперь вопросы:
Смогу ли я имея всё вышеперечисленное оборудование сконфигурировать сеть хранения данных в виде двух фабрик (основной и резервной) для обеспечения отказоустойчивости (так как нарисовано во вложении и сказано в цитатах)? Хватит ли мне базовой конфигурации и ПО, идущего вместе с коммутатором? Смогут ли сервера переключаться на резервные пути автоматически?
Ну и мелкие вопросы:
2) Достаточно ли использовать в каждом сервере по два однопортовых адаптера для обеспечения отказоустойчивости и балансировки нагрузки? Какой лучше 81B или 81E? Или нужны двухпортовые?
3) Я так понял, что батарейки для памяти нету в комплектации 579241-421 (Smart Array P410i/256МБ SAS RAID). Нужно покупать BBWC или FBWC?
4) Какие рекомендации можете дать по этой схеме? Может что-то упустил?
Спасибо!
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
достаточно пары однопортовыхalexey.bober писал(а):2) Достаточно ли использовать в каждом сервере по два однопортовых адаптера для обеспечения отказоустойчивости и балансировки нагрузки? Какой лучше 81B или 81E? Или нужны двухпортовые?
если сервера подключаются к СХД и на них не предполагается держать диски под нагрузкой, то достаточно пары САТА дисков в сервере с простым контроллером, поддерживающим РАИД 1. Батарейка в таком случае излишняя роскошь.3) Я так понял, что батарейки для памяти нету в комплектации 579241-421 (Smart Array P410i/256МБ SAS RAID). Нужно покупать BBWC или FBWC?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
при наличии всего двух коммутаторов фабрики вам не нужны.alexey.bober писал(а):Смогу ли я имея всё вышеперечисленное оборудование сконфигурировать сеть хранения данных в виде двух фабрик (основной и резервной)
- alexey.bober
- member
- Сообщения: 27
- Зарегистрирован: 22 сен 2006, 14:02
- Откуда: Алма-Ата
Re: Вопросы по внедрению SAN
т.е тогда не нужно два коммутатора? всё подключить через один? И каким образом тогда должна измениться схема?Stranger03 писал(а):при наличии всего двух коммутаторов фабрики вам не нужны.
И еще хотел спросить, сейчас два сервера работают на встроенном HBA SCSI Adaptec AIC-7902, а третий на встроенном LSI 53C1030 и соответственно базы ms sql располагаются на каждом сервера на одном отдельном винте (без рэйда), т.е. производительность базы равна производительности одного винта. Если перейдем на san, то возрастет ли производительность дисковой при использовании этими тремя серверами одной СХД с 8 HDD SAS 300Gb RAID10 + 1 Hot spare при прочих равных условиях.
Или может стОит взять другую по мощнее СХД вместо HP MSA2324fc? главное чтоб была совместима с другим оборудованием HP.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
нет, два коммутатора нужны, чтобы обеспечить отказоустойчивость. а фабрики нужны, когда этих коммутаторов 4-е штуки и больше.alexey.bober писал(а):т.е тогда не нужно два коммутатора? всё подключить через один? И каким образом тогда должна измениться схема?
этими вопросами стоит озадачиваться перед выбором решения, а не тогда, когда вы уже приняли решение купить две СХД. если же вы хотите совета, то может поподробнее опишите задачу?Или может стОит взять другую по мощнее СХД вместо HP MSA2324fc? главное чтоб была совместима с другим оборудованием HP.
- alexey.bober
- member
- Сообщения: 27
- Зарегистрирован: 22 сен 2006, 14:02
- Откуда: Алма-Ата
Re: Вопросы по внедрению SAN
Отказоустойчивость будет достигнута за счет альтернативных путей? Также как у меня на схеме?Stranger03 писал(а):два коммутатора нужны, чтобы обеспечить отказоустойчивость. а фабрики нужны, когда этих коммутаторов 4-е штуки и больше.
Поясните, пожалуйста, как возможно будет настроить свитчи на отказоустойчивость всей сети.
Имеем три основных сервера MS SQL 2000 + 1C 7.7 (возможно в будущем sql2008 + 1C v.Stranger03 писал(а):этими вопросами стоит озадачиваться перед выбором решения, а не тогда, когда вы уже приняли решение купить две СХД. если же вы хотите совета, то может поподробнее опишите задачу?

1. Fujitsu TX600 4x2,2GHz Xeon на встроенном HBA SCSI Adaptec AIC-7902 - планируется заменить на новый сервер dl360 g7,
2) Fujitsu TX200S2 2x2,8GHz Xeon на встроенном HBA SCSI Adaptec AIC-7902 - планируется заменить на уже имеющийся сервер dl360 g5 2x 5150 Xeon dual core, Smart Array P400i/256MB,
3) Fujitsu BX620S2 2x3GHz Xeon на встроенном HBA SCSI LSI 53C1030 - планируется заменить на уже имеющийся сервер dl360 g5 2x 5150 Xeon dual core, Smart Array P400i/256MB,
Нагрузка на этих трех серверах на дисковую не очень большая (средняя дисковая очередь до 2). На данный момент главное узкое место во всех этих серверах это процессорная очередь (в среднем 4, максимум 23), а на dl360 g5 уже никаких проблем нету (средняя 0, максимум 1). Поэтому и решено было обновить эти три сервера.
4) Основной сервера OLAP HP ML350 G3 2x2,8GHz Xeon Adaptec 29320A встроенный - будем покупать dl360 g7,
5) Еще один дополнительный сервер OLAP. Fujitsu TX600 4x2,2GHz Xeon на встроенном HBA SCSI Adaptec AIC-7902.
6) Еще один сервер будет файловый - нагрузка совсем небольшая.
Теперь о СХД. СХД1 планируется под OLTP, т.е. для первых трех серверов. Это основная нагрузка.
На СХД2 будут храниться базы предыдущих годов (обращение редкое со стороны серверов 1,2,3), также будут храниться базы для OLAP, которые в основном работают на чтение. Скорее всего raid5 или 6.
На третьем СХД (старом) будет раздел для файлового сервера.
Таким образом к СХД1 будут обращаться интенсивно маленькими порциями чтение-запись три сервера. К СХД2 будут обращаться 1 сервер OLAP (№4) в интенсивном режиме и 4 сервера (№1,2,3,5) очень редко и только на чтение.
Ну а СХД3 только один сервер чтение-запись 50/50.
Если необходимы данные производительности, то могу собрать, только скажите какие нужно собирать.
Буду рад услышать рекомендации и советы!!!! Спасибо!!!
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
берете двухконтроллерную СХД, 2-а свича, от каждого контроллера по одному линку к каждому свичу (всего 4-е кабеля). ХБА подключаем к разным коммутаторам. на серверах настраиваем мультипасalexey.bober писал(а):Отказоустойчивость будет достигнута за счет альтернативных путей? Также как у меня на схеме?
в худшем случае можно будет настроить зоны на каждом свиче либо совсем не настраивать, открыть все ко всем.Поясните, пожалуйста, как возможно будет настроить свитчи на отказоустойчивость всей сети.
берем например ЕМС СХ4-120, IBM DS5020 или нечто похожее, включаем в поставку iSCSI порты. в итоге имеем 4-е FC + 2-a iSCSI порта. для быстрого доступа используем FC подключение, для медленного подключаем тома по ISCSI.Имеем три основных сервера MS SQL 2000 + 1C 7.7 (возможно в будущем sql2008 + 1C v.
- alexey.bober
- member
- Сообщения: 27
- Зарегистрирован: 22 сен 2006, 14:02
- Откуда: Алма-Ата
Re: Вопросы по внедрению SAN
ну у меня такая схема и есть. Вопрос только состоит в том, смогу ли я в базовой конфигурации (без дополнительных лицензий на ПО, на опции какие-либо) настроить этот самый мультипас причем автоматический???Stranger03 писал(а):берете двухконтроллерную СХД, 2-а свича, от каждого контроллера по одному линку к каждому свичу (всего 4-е кабеля). ХБА подключаем к разным коммутаторам. на серверах настраиваем мультипас
не хотелось бы всю информацию и всю нагрузку класть на плечи всего лишь двух контроллеров в СХД. Мне кажется, что это просто заткнется при первом же пике нагрузки. Из этих соображений было принято решение разделить транзакционную нагрузку от аналитическо-архивной.alexey.bober писал(а):берем например ЕМС СХ4-120, IBM DS5020 или нечто похожее, включаем в поставку iSCSI порты. в итоге имеем 4-е FC + 2-a iSCSI порта. для быстрого доступа используем FC подключение, для медленного подключаем тома по ISCSI.
И еще хотелось бы получить решение от одного вендора, а то потом неизвестно к кому обращаться

Спасибо.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
я не великий специалист по ХП, но там точно должен быть мультипас. А вот платный он или нет, лучше спросить у ваших поставщиков.alexey.bober писал(а):ну у меня такая схема и есть. Вопрос только состоит в том, смогу ли я в базовой конфигурации (без дополнительных лицензий на ПО, на опции какие-либо) настроить этот самый мультипас причем автоматический???
это крайне филосовский вопрос. поясню почему. сейчас у вас худо бедно все работает на стареньких серверах. причем судя по вашим высказываниям, затыки в процах, а не в дисковой. Та же ЕМС СХ4-120 по мощи, по управляемости, по удобству, по разным фичам будет смотрется как бронтозавр против моськи и по сравнению с вашими серверам, и по сравнению с МСА-йками. по стоимости же будет не сильно много отличаться от пары выбранных вами СХД.не хотелось бы всю информацию и всю нагрузку класть на плечи всего лишь двух контроллеров в СХД. Мне кажется, что это просто заткнется при первом же пике нагрузки.
контроллеры в ЕМС СХ4 способны прокачать столько данных, сколько не успеют отдать диски. Кроме того, нагрузку на таких СХД можно разносить по разным дисковым группам.Из этих соображений было принято решение разделить транзакционную нагрузку от аналитическо-архивной.
СХД для маленьких групп серверов со своими фичами.Что скажите о MSA2324fc и свитчах storageworks 8/24 ?
голова продукт темный и обследованию не подлежитКак думаете справятся с нагрузкой?
ваши МСА-йки - продукт нижней категории, я предложил продукт средней категории. по удобству, управляемости, возможности роста решение от ЕМС выглядит лучше.И как отличаются вами предложенные СХД от моей?
- alexey.bober
- member
- Сообщения: 27
- Зарегистрирован: 22 сен 2006, 14:02
- Откуда: Алма-Ата
Re: Вопросы по внедрению SAN
Спасибо за ответы и советы. Будем интересоваться про EMC. Правда у нас кажется с этим производителем напряг...
Re: Вопросы по внедрению SAN
А имеет ли смысл и если имеет то в каких случаях еще соединять коммутаторы транком друг с другом.Stranger03 писал(а): берете двухконтроллерную СХД, 2-а свича, от каждого контроллера по одному линку к каждому свичу (всего 4-е кабеля). ХБА подключаем к разным коммутаторам. на серверах настраиваем мультипас
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Вопросы по внедрению SAN
нетValery12 писал(а):А имеет ли смысл и если имеет то в каких случаях еще соединять коммутаторы транком друг с другом.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 13 гостей