Пара вопросов об СХД

[Black-Dragon]

Почитал вашу статью о внешних дисковых хранилищах и возникла пара вопросов. (Знания по СХД довольно скудные, потому не удивляйтесь вопросам)

0. СХД - это NAS или SAN?

1. Какой бюджет надо иметь (только под СХД), чтобы начать думать об СХД и бездисковых серверах (конкретно, если надо 30 и более SAS 15krpm дисков)? Приведите пару примеров "оптимальных" СХД с 30-ю дисками (модели и примерные цены), пожалуйста.

2. Насколько важно, чтобы СХД и сервера были от одного производителя?

3. Правильно ли я понимаю, что любые мало-мальски серьезные СХД имеют два рейд контроллера в режиме горячей замены и при выходе из строя "основного" переключение осуществляется автоматически и полностью прозрачно для ОС серверов?
Если да, то каким образом, ведь в кеше усопшего могли быть незаписанные данные? Неужто резервный "вхолостую" делает всё то же самое?

4. У нас есть куча мелких серверов (2х DC, 2х Firewall, 1x AV Server и др.) и несколько средних (2x MS Exchange, 2x Lotus Domino, 1x Archive, 1x File server), которые скоро можно\пора заменять. Положим возьму кучу рэковых серверов без дисков и общий СХД дисков на 20-30. Это не слишком рискованно? Ведь получаем single point of failure, пускай и с redundant БП, дисками, контроллером, соединениями.
И что самое страшное, он ведь будет служить и для резервных серверов. Или в таком случае надо брать и отдельный резервный СХД?

5. Если брать резервный СХД с FC (и основной с FC), то можно ли установить его в филиале (служит backup site-ом), а данные с основного реплицировать на него в реальном времени "низкоуровневыми" средствами самих СХД, а не ОС одного из серверов?

6. Положим, есть n серверов и СХД с дисковой, поделенной на n LUN. Если добавить сервер, то как под него выделить место? Всё сбекапить и заново разбивать? Или планировать заранее и оставлять кучу "неразмеченного места"?

7. Если ящик СХД заполняется дисками, к нему можно прикупить дополнительную корзину, по сути просто коробку без RAID контроллера, который соединяется к основному СХД по SAS или FC. Я правильно понимаю?
И возникают ли дополнительные задержки при работе с дисками в дополнительной корзине или производительность при работе с дисками в ней идентична оной в основной СХД?

8. Куда ставят СХД? Они тоже рэковые или их надо "на пол бросать"?


Спасибо.


Поправил название темы.

[and3008]

0 СХД - Система хранения данных. Общий термин.

NAS и SAN - разные вещи. NAS - спец.сервер для работы с данными. SAN - это сеть хранения данных. В нее входит комплекс оборудования, включающий диски, контроллеры дисков, сетевое оборудование и специальная сеть, которая их объединяет. Сеть эта предназначена для передачи данных, а не обслуживания сетевого трафика приложений. NAS и SAN ну это как... автомобиль и автомобильный парк. Понятно о чем я?

1. Бюджет? Без внятного расчета потребностей, прицела роста вряд ли что-то можно конкретное сказать. Стоить это может от десятков, до миллионов долларов.

2. На сколько для вас важно иметь серверы от разных вендоров? Примерно такие же категории. Особенности глюков одного вендора проще учитывать при эксплуатации, чем помнить особенности двух и более. Не обязательно, но крайне желательно иметь все одинаковое. Проблем потом меньше.

3. Понимаете правильно. Почитайте литературу про работу устройств в синхронном режиме, тогда поймете чем это достигается.

4. Риски оценивать только вам. Да, есть точка отказа. Хотите ее устранить? Купите вторую СХД, настройте зеркалирование. Дорого? Ну посчитайте что дороже, ваши данные, простой в случае аварии в СХД или комбинация этих факторов. Помните, что любая СХД не отменяет резервного копирования и хранения резервных копий за пределами СХД. Почему-то для некоторых это откровение...

5. Да, можно. Но зависит от модели. Не всякие СХД такое умеют сами.

6. Бывают разные варианты. Можно и так и эдак и вот так.

7. Зависит от модели. СХД состоит из элементов и расширяется все до определенных пределов. Падение производительности при расширении СХД, как правило не происходит. Бывают клинические случаи с неверным проектированием размещения данных, но это частные случаи, которые могут возникнуть при стечении определенных факторов. Сама СХД обычно тут мало при чем.

8. Они бывают разные. От полки в 1U на 4-6 дисков, до полноценного шкафа 19'' в котором сотни дисков, а то и нескольких таких шкафов.

[Black-Dragon]

and3008
Спасибо большое за ответы!
Я ещё посмотрел в разделе FAQ соответствующий топик (правда в голове каши больше стало).

4. Риски оценивать только вам. Да, есть точка отказа. Хотите ее устранить? Купите вторую СХД, настройте зеркалирование. Дорого? Ну посчитайте что дороже, ваши данные, простой в случае аварии в СХД или комбинация этих факторов. Помните, что любая СХД не отменяет резервного копирования и хранения резервных копий за пределами СХД. Почему-то для некоторых это откровение...

Для меня вопрос резервного копирования очевиден.
Насчет второго СХД и зеркалирования интересно. Как оно происходит, переход на резервный СХД? Тоже автоматически прозрачно для серверов?


9. Из FAQ-а я понял, что не всегда правильно (оптимально по скорости) все диски объединять в одну группу, например, RAID10 и далее нарезать её на LUN-ы для каждого сервера. Как же так? Ведь всегда говорилось, что на одном сервере практически всегда лучше все диски объединять в один массив, а не делать отдельные массивы под ОС, под СУБД и т.п. А здесь имеем нечто аналогичное.
Да и смысл СХД как-то теряется, если будем делать массивы на независимых группах дисков, тем больше, чем больше групп. Или я что-то не так понял!?


Почему я заинтересовался данной темой - недавно заказали 5 Dell PE 2900 III:
2x E5420\ 32gb\ 10x 146gb SAS 15krpm\ LSI 1078 256mb BBU\ Rack mountable.
Один для филиала, забудем про него, остальные в центр - 2 основных плюс два резервных. Бюджет составил примерно 27k$ за 4-е.

Кроме того, в течение года мне придется заменить\добавить: 2х DC, 2х Firewall, 1x AV Server, 2x MS Exchange, 2x Lotus Domino, 1x File server.
Тоже возьму рэковые. Причем я решил объединить file server с DC, итого надо будет брать: 2х DC, 2x MS Exchange, 2x Lotus Domino, 2х Firewall, 1x AV Server.

Первые 6 взял бы примерно в таком варианте (дело будет через 6-12 месяцев):
1x 4-6 Core Nehalem 3.0ghz with HT (8-12 logical cores)\ 8gb\ 4x RAID10 + 1x HS SAS 15 krpm 146gb
Вторые 3 - в таком:
1x 4 Core Nehalem 3.0ghz with HT\ 4gb\ 2x RAID1 SATA.

Если пересчитать, то получается всего 30 SAS HDD, а добавив ещё 40 из заказанных серверов вообще 70!
Вот и терзает меня мысль, не поговорить ли мне через годик с поставщиком Dell о поставке двух (основная и резервная) СХД по 24-30 дисков в каждой (причем, с условием изъятия этих 40 дисков из уже заказанных серверов и использования в СХД. Конечно контроллеры в серверах останутся не у дел, но что делать. В крайнем случае, могу оставить в каждом сервере по два винта в RAID1 под ОС).

Самое главное - стоимость. Насколько такой вариант будет дороже?
От СХД требуется:
- расширение до 48-ми дисков и соответствующая производительность контроллеров
- полное резервирование всего (контроллеры, питание, соединения и т.п.)
- возможность зеркалирования СХД "на низком уровне"
- черт знает что ещё, ибо в СХД не разбираюсь.

[and3008]

Я в общем-то СХД не продаю, ждите ответов других людей.

По поводу синхронизации. Ничего не бывает просто так. Чтобы сервер переполз на резерв, на сервере должны быть две карты FC и настроен мультипассинг.

Репликация данных между системами хранения происходит поблочно средствами самой СХД. Но обычно это есть только в больших и дорогих СХД.

Если честно, мне ваша идея с отказом от локальных дисков и перетаскиванием всего на СХД мало понятна. Вы видимо не понимаете для чего нужна СХД. Она не для праздного объединения дисков нужна, а для решения задач, когда серверами с непосредственно подключенными дисками задача не решается. Например хранение и обработка больших объемов данных, совместный доступ к больших объемам данных с нескольких серверов, увеличение скорости обработки данных, создание отказоустойчивых систем.

Вот так взять и начать использовать СХД как один большой умный диск под нужны разных серверов? А зачем? Я понимаю, если бы у вас был Blade-центр и много виртуальных машин. А тут-то зачем? Чтобы было? Ну посчитайте сколько это будет стоить, сходите к начальству, узнаете много новых слов...

[Black-Dragon]

Если честно, мне ваша идея с отказом от локальных дисков и перетаскиванием всего на СХД мало понятна. Вы видимо не понимаете для чего нужна СХД. Она не для праздного объединения дисков нужна, а для решения задач, когда серверами с непосредственно подключенными дисками задача не решается. Например хранение и обработка больших объемов данных, совместный доступ к больших объемам данных с нескольких серверов, увеличение скорости обработки данных, создание отказоустойчивых систем.

А в чем проблема-то. Хочу получить прирост скорости.

Вот так взять и начать использовать СХД как один большой умный диск под нужны разных серверов? А зачем? Я понимаю, если бы у вас был Blade-центр и много виртуальных машин. А тут-то зачем? Чтобы было?

Кто сказал: "чтобы было"?

Ну посчитайте сколько это будет стоить, сходите к начальству, узнаете много новых слов...

Это вы меня провоцируете на много новых слов . Не надо экстраполировать свой стиль работы на других.
У меня хватает мозгов не предлагать начальству то, что абсолютно нерационально. Я предлагаю только то, что купил бы сам, будь контора моей собственной. По другому не могу. Если кому-то этого не понять, это не моя проблема.
Я обсуждаю данную тему пока не знаю ценников, как только мне скажут, что вариант с СХД добавит +50% или больше, для меня вопрос будет закрыт. А если меньше, то буду думать, ибо скорость, особливо в конце месяца\квартала\года, когда генерируется масса отчетов в наших СУБД довольно важна (т.к. есть сроки подачи отчетов перед регулятором).

P.S. Я не мог не ответить грубостью на вашу издёвку. Очень сожалею, что вы меня вынудили.
Вопрос рационального использования средств компании есть приоритет для меня, я не выношу ИТ-теоретиков, за чужой счёт удовлетворяющих собственное технологическое любопытство. А вы меня обвиняете в подобном.
Я не знаю об СХД достаточно, и считаю частью своей работы узнавать о новых возможностях. Вдруг есть смыл использовать. Пока мы обсуждали только технические вопросы, стоимость никто не указывал. Потому делать выводы обо мне с вашей стороны некорректно...

[and3008]

Хочу получить прирост скорости.

Скорости чего? Вы уверены, что источником тормозов является именно дисковая система? Если уверены, то скажите коротенько что у вас крутится, какие объемы и показатели работы сейчас. Это будет полезной информацией для ПРАВИЛЬНЫХ ответов. Вам ведь другие не нужны, не так ли?

особливо в конце месяца\квартала\года, когда генерируется масса отчетов в наших СУБД довольно важна

До этого вы говорили о переносе на СХД серверов общего назначения. Когда вам сказали, что вы делаете в общем-то ерунду, вы наконец-то начали говорить реальные вещи, например о СУБД. Обижайтесь сколько хотите, в ваш мозг никто залазить не умеет и читать что же вы думали на самом деле так же нет никакой возможности. Ответы даются только на основе той информации, которую вы сами сообщили.

Задайте конкретный вопрос и решение конкретной небольшой проблемы. Получите четкий и понятный ответ. Пока же все в области "если бы, да кабы". Обычно это заканчивается ничем. Хоть поверьте, хоть проверьте. Я имею достаточный опыт внедрения больших и малых информационных систем и знаю о чем говорю.

[Black-Dragon]

Я имею достаточный опыт внедрения больших и малых информационных систем и знаю о чем говорю.

В ваших знаниях я не сомневаюсь, вы уже ответили на кучу моих вопросов.

Мне кажется, вы горячитесь потому, что думаете я сейчас решаю, что мне заказывать в ближайшее время, не предоставляя полной информации. На самом деле, я просто пока неспешно интересуюсь возможностями СХД и её применения в нашей компании.
Что касается информации о выполняемых задачах помимо указанных здесь, то gs и некоторые другие сотрудники в курсе, ибо долго обсуждалось здесь: http://3nity.ru/viewtopic.php?f=1&t=12826. Я ведь не ожидал, что отвечать мне будете вы...

Ситуация такая. Недавно я заказал сервера под СУБД. Задачи и конфигурация на последней странице вышеуказанной темы. Если коротко:
Oracle 8 (вскоре Oracle 11g), живая база в 30-50gb и база отчетов в 80gb. Количество одновременных пользователей живой базы будет ~ 150, в перспективе до 250; сервера отчетов - до 20, в дальнейшем до 30.
Под указанные задачи после долгих раздумий, анализа счетчиков PerfMion (всё это есть в той теме) я заказал (далее цитирую, что написал в первом посте здесь):

Почему я заинтересовался данной темой - недавно заказали 5 Dell PE 2900 III:2x E5420\ 32gb\ 10x 146gb SAS 15krpm\ LSI 1078 256mb BBU\ Rack mountable.
Один для филиала, забудем про него, остальные в центр - 2 основных плюс два резервных. Бюджет составил примерно 27k$ за 4-е.
Кроме того, в течение года мне придется заменить\добавить: 2х DC, 2х Firewall, 1x AV Server, 2x MS Exchange, 2x Lotus Domino, 1x File server. Тоже возьму рэковые. Причем я решил объединить file server с DC, итого надо будет брать: 2х DC, 2x MS Exchange, 2x Lotus Domino, 2х Firewall, 1x AV Server.
Первые 6 взял бы примерно в таком варианте (дело будет через 6-12 месяцев): 1x 4-6 Core Nehalem 3.0ghz with HT (8-12 logical cores)\ 8gb\ 4x RAID10 + 1x HS SAS 15 krpm 146gbВторые 3 - в таком:1x 4 Core Nehalem 3.0ghz with HT\ 4gb\ 2x RAID1 SATA.

Если пересчитать, то получается всего 30 SAS HDD, а добавив ещё 40 из заказанных серверов вообще 70! Вот и терзает меня мысль, не поговорить ли мне через годик с поставщиком Dell о поставке двух (основная и резервная) СХД по 24-30 дисков в каждой (причем, с условием изъятия этих 40 дисков из уже заказанных серверов и использования в СХД. Конечно контроллеры в серверах останутся не у дел, но что делать. В крайнем случае, могу оставить в каждом сервере по два винта в RAID1 под ОС).Самое главное - стоимость. Насколько такой вариант будет дороже?

От СХД требуется:- расширение до 48-ми дисков и соответствующая производительность контроллеров- полное резервирование всего (контроллеры, питание, соединения и т.п.)- возможность зеркалирования СХД "на низком уровне"- черт знает что ещё, ибо в СХД не разбираюсь.

Я думаю о целесообразности перехода на СХД (основной и резервный) для получения максимальной скорости в своих СУБД "за счет" объединения их дисков и дисков других серверов (их ведь всё равно покупать, а при таком общем количестве дисков, можно подумать об СХД. Я пока о технической стороне вопроса. Если окажется, что это потребует очень серьезного увеличения бюджета, то куплю, как и планировал, каждый сервер со своей дисковой).
Надеюсь теперь понятнее.

[and3008]

СХД - дорогое удовольствие. Но оно того стоит. Я думаю что не стоит вспомогательные и сопутствующие серверы запихивать в СХД. Нет в этом глубокого смысла. В телефонии есть такой критерий: "цена за порт". В него входит цена АТС, стоимость работ по наладке и обслуживанию. Думаю в СХД вы можете ввести аналогичный критерий, например цена за гигабайт. Поправка на возможность или невозможность это сделать обычными средствами, вот вы и получаете ответ, "а стоит ли игра свеч".

Например серверы FireWall запихивать в СХД ну абсолютно никакого смысла. Два диска SATA в каждый сервер + программный рейд + настройка VRRP и/или CARP даст вам нужную надежность, отказоустойчивость и автоматическое переключение на резерв в случае отказа диска, сети или целиком сервера.

То же с зеркалированием. Если у вас Оракл и вы внедрили схему active-standby, то репликация средствами СХД совсем ни к чему. Оракл это сделает сам легко и непринужденно, достаточно почитать про Oracle Data Guard.

Приходят все к СХД, когда решить задачу традиционными средствами уже нельзя. Например кластеризация СУБД или Exchange без единой СХД не возможна. Однако стоит помнить, то СХД - не панацея от всех бед. Это один из важных элементов строительства вашей IT-инфраструктуры, не более.

[Black-Dragon]

Я думаю что не стоит вспомогательные и сопутствующие серверы запихивать в СХД. Нет в этом глубокого смысла.

Ок, с Firewall-ами понятно, действительно, особого смысла нет, тем более, что я сам рассчитываю туда ставить SATA. Но ведь с файл серверами есть?! Там нужны объёмы и скорость, грех не "поделиться" с СУБД.

Если у вас Оракл и вы внедрили схему active-standby, то репликация средствами СХД совсем ни к чему. Оракл это сделает сам легко и непринужденно, достаточно почитать про Oracle Data Guard.

Да, так и будет, поставщик именно так и обещал реализовать при переходе на новую версию. Правда, это о зеркалировании. Вопрос же стоял о скорости...

Приходят все к СХД, когда решить задачу традиционными средствами уже нельзя. Например кластеризация СУБД или Exchange без единой СХД не возможна. Однако стоит помнить, то СХД - не панацея от всех бед. Это один из важных элементов строительства вашей IT-инфраструктуры, не более.

Ну что ж. В такой формулировке, учитывая, что я изначально всё распланировал безо всяких СХД, и всё получается вполне неплохо для наших задач, СХД оставляю на потом. Годика через 5, при очередной смене серверов вновь оценим целесообразность применения новых и, наверное, более доступных СХД (на основе SSD ) для наших задач...

Спасибо за возврат к конструктивизму.

[Black-Dragon]

Жаль только, что для меня так и остался неизвестным даже примерный порядок цен на СХД, с указанными мною возможностями:
- 30 штук 15krpm SAS дисков
- расширение до 48-ми дисков и соответствующая производительность контроллеров
- полное резервирование всего (контроллеры, питание, соединения и т.п.)
- возможность зеркалирования СХД "на низком уровне"
- черт знает что ещё, ибо в СХД не разбираюсь.
Хотелось бы знать всё-таки, для полной чистоты совести, так сказать...

[Stranger03]

Жаль только, что для меня так и остался неизвестным даже примерный порядок цен на СХД, с указанными мною возможностями

HP MSA2000f, DS3400 не поддерживают функции аппаратного зеркалирования между двумя СХД. Только средствами стороннего софта. Системы типа HDS AMS2100 это уже совсем другой класс и другие деньги. Скажем так, в нашей раше стоимость такой СХД без опций remote mirror будет в районе 50-60К зеленых денег.

[Black-Dragon]

HP MSA2000f, DS3400 не поддерживают функции аппаратного зеркалирования между двумя СХД. Только средствами стороннего софта.

А сторонний софт где должен быть установлен? На одном из серверов, которые СХД-же и пользуются?
И какова стоимость такого варианта?

Системы типа HDS AMS2100 это уже совсем другой класс и другие деньги. Скажем так, в нашей раше стоимость такой СХД без опций remote mirror будет в районе 50-60К зеленых денег.

Это с дисками\без, сколько штук?

Спасибо.

[Stranger03]

А сторонний софт где должен быть установлен? На одном из серверов, которые СХД-же и пользуются?

На серверах, софт типа Семантек сторадж фоундейшен

И какова стоимость такого варианта?

В зависимости от функционала и серверов. На 2-а сокета без выпендрежа подойдет базовая версия, она бесплатная.

Это с дисками\без, сколько штук?

ДС4700 с 32-мя дисками по 146ГБ в районе 65-ти тысяч в листпрайсе. Хитачи АМС2100 или ЕМС СХ4-120 с 30-мя дисками ближе к стольнику. Остальное надо считать.

[Black-Dragon]

Black-Dragon писал(а):А сторонний софт где должен быть установлен?
На одном из серверов, которые СХД-же и пользуются?На серверах, софт типа Семантек сторадж фоундейшен

Т.е. на каждом сервере? Каждый сервер сам реплицирует свои "разделы" на резервный СХД?

В зависимости от функционала и серверов. На 2-а сокета без выпендрежа подойдет базовая версия, она бесплатная.

Не понял. В смысле, в зависимости от количества серверов? Это вы о вышеуказанном ПО?
А стоимость самих СХД какова (порядок цен; с 30-тью дисками SAS 15krpm)?

ДС4700 с 32-мя дисками по 146ГБ в районе 65-ти тысяч в листпрайсе.
Хитачи АМС2100 или ЕМС СХ4-120 с 30-мя дисками ближе к стольнику. Остальное надо считать.

Спасибо.
Это означает удвоение бюджета (в лучшем случае) и, учитывая ожидаемое улучшение в плане скорости, даже самое оптимистичное, игра не стоит свеч в нашем случае (к тому же, если брать две штуки, то это уже утроение-учетверение бюджета).

Правда вот здесь: http://www.reliant-technology.com/produ ... ds/ams2100 вижу другую цену, с 32-мя дисками по 146gb, теоретически можно взять за 45-50k$ (у нас кто-то уже предлагал решения от Hitachi, на досуге поинтересуюсь местными ценами). Это, если кроме дисков всё включено.
100k$ за пару. Это примерно удвоение бюджета по замене всего серверного парка.
Не так, чтобы страшно. Но по соотношению [отдача/дополнительные $] не очень хорошо.
В общем, лет через 5, при смене серверов, явно стоит подумать об СХД подобного уровня. Причем, предвкушаю производительность СХД на SLC SSD того времени (опять начитался обзоров X25-E , в СУБД в 6 и более, сильно более, раз быстрее 15krpm SAS! Что же будет через 5 лет...).

[Stranger03]

Т.е. на каждом сервере? Каждый сервер сам реплицирует свои "разделы" на резервный СХД?

Вы спрашивали про аппаратное зеркало двух массивов, подключенных к одному серверу. Был дан ответ, что в случае двухсокетного сервера достаточно будет базовой версии ПО. Если помимо этого функционала (зеркалирования двух томов двух массивов) нужен другой функционал, например создание кластера, то соотв-но нужен будет другой софт, не бесплатный.

Не понял. В смысле, в зависимости от количества серверов? Это вы о вышеуказанном ПО?

И от количества тоже, параметров масса.

А стоимость самих СХД какова (порядок цен; с 30-тью дисками SAS 15krpm)?

Вроде я уже ответил, см. выше.

Не так, чтобы страшно. Но по соотношению [отдача/дополнительные $] не очень хорошо.
В общем, лет через 5, при смене серверов, явно стоит подумать об СХД подобного уровня. Причем, предвкушаю производительность СХД на SLC SSD того времени (опять начитался обзоров X25-E , в СУБД в 6 и более, сильно более, раз быстрее 15krpm SAS! Что же будет через 5 лет...).

Подбирать СХД только по стоимости и количеству дисков дело гиблое. Она подбирается под задачу. К примеру у ЕМС есть хорошая модель АХ4, до 60-ти дисков, с очень приличным функционалом, до 50К. И что? Или давайте к задаче переходить, или теоретизировать на предмет кораблей в мировом океане, но без денег.