eSATA storage для хостинга

[zuborg]

Здравствуйте, коллеги

Если кто разбирается в вопросе, подсобите советом, бо дело для меня новое и боюсь накосячить

Собственно, задача состоит в том, чтобы организовать хостинг на бездисковых машинах с центральным хранилищем. Серверов будет много, все они будут разные, то есть будет нужно полное разграничение доступа - каждый сервер должен иметь доступ только к выделенному ему дисковому пространству. Внутри хранилища все диски должны быть задействованы в рейде, возможно нескольких, типа часть дисков в raid6, другая в raid10, получившееся пространство(а) должно выделяться кусками каждому серверу (виртуальный диск?), причем желательно иметь возможность менять размер выделяемой области на лету. Hotswap само собой. Батарейка плюс кеш на пару гиг, чтоб не тормозило на записи. Сервера будут недалеко, в пределах комнаты.

Я так понимаю, для организации такой системы надо использовать FibreChannel. С этой технологией работать не приходилось, много вопросов, в частности, непонятно как будет происходить выделение куска дискового пространства отдельному серверу - на каждый кусок отдельный виртуальный N_port ?
Сможет ли операционка (FreeBSD, может Linux) загрузиться с такого диска?
Сколько стоит карточка для подключения к FC, если ли мамки с встроенными портами FC ?
Какое оборудование надо будет использовать ? Один director, пару switch-ей для избыточности и все ? Как будет проходить расширение - подключением в каскад пачки свичей ?
Какое кол-во серверов можно будет обслуживать одним хранилищем ? Сколько это будет стоить в пересчете на сервер при максимальной загрузке ?

Может у котого есть подобный опыт уже ? Поделитесь пожалуйста.

[gs]

Очень много вопросов за раз

Вы огласите для начала бюджет, объем и примерное количество серверов - от этого многое зависит.

[zuborg]

Отвечайте на какие знаете ответ ))
Бюджет - ну если один сервер стоит 1-3K$, то потратить несколько сотен в пересчете на сервер на центральное дисковое хранилище - не проблема. Вот если такое решение в пересчете на сервер будет стоить сопоставимо с ценой сервера - тогда проблема.
Серверов много, очень много ))
Предполагается что одно хранилище будет обслуживать несколько стоек.
Закончатся ресурсы одного хранилища - купим другое. Но надо понимать, что задача стоит не потратить деньги, а потратить деньги с максимальной эффективностью. Сейчас почти на каждом сервере стоит два винта в raid1, проблема в том что не все место используется еффективно, а там где его не хватает - проблематично расширить. То есть хранилище нужно для управления дисковым пространством, плюс улучшенная производительность.
Ну и в принципе бездисковые блейды меньше места в стойке занимают, тоже плюс

[gs]

Я знаю ответы на большинство Ваших вопросов. Только вот вариантов этих ответов - много.

Дисковые системы стоят от нескольких десятков тысяч долларов до нескольких сотен (по Вашим масштабам). Тупо сэкономить на дисках не получится - будет только дороже, зато даст кучу преимуществ.

Понимаете, отвечать на вопросы можно только имея в голове какую-то конкретную систему, иначе будет бред. Вот что предложить конкретно - мне пока неясно.
Несколько стоек серверов - это минимум пара сотен, я правильно понимаю? Тогда недорогие системы начального уровня (Xyratex, Infortrend, младшие линейки брэндов) - в пролете. Если Вы готовы потратить хотя бы сто килобаксов за систему среднего класса - можно говорить дальше.

[gs]

Хотя сорри, файберные адаптеры - это уже порядка тонны на каждый сервер, не считая коммутаторов...

[zuborg]

FC порядка тонны на сервер ?
Плохо, для хостинга это неприемлемо (
Разве что использовать виртуализацию, причем очень плотно. Я то думал, можно будет напаковать в стойку блейдов, но гораздо дешевле получится полноюнитовые сервера использовать с индивидуальными винтами.

[exLH]

zuborg
Вы тут чудес хотите каких-то...
Один director
Директор на две сотни портов будет стоить не сильно меньше $0.5M
О каких нескольких сотнях на сервер идет речь?
Использование SAN это ничуть не способ получить экономию на начальных вложениях. (Точно так же, как и Blade, кстати.)
Для Вас можно рассматривать только iSCSI как возможный путь централизованного хранения данных.

[gs]

На самом деле можно сделать иначе. Дисковая (сто килобаксов навскидку - точнее пока сказать невозможно), несколько серверов NFS в кластере и уж они пускай раздают пространство фронтендам по гигабиту.
Пускать файбер на конечные сервера, если они слабые - пустая трата денег.

[zuborg]

понятно
NFS отпадает, слишком ненадежная вещь
а есть какие-то решения для Ethernet, но желательно не IP ?

[exLH]

а есть какие-то решения для Ethernet, но желательно не IP ?
Я уже написал, что есть iSCSI.

[zuborg]

Сори, забыл написать, что FreeBSD iSCSI не поддерживает ((
Вообще во фре есть средства для експорта блочных устройств в интернет, но тут все упрется в производительность дисковой системы самого центрального сервера FreeBSD, а она (производительность) весьма посредственная (

[gs]

В который раз про фрибсд...

[gs]

На НФС кстати живут вполне серьезные хостеры. Тем более что кластеры с НЛБ еще никто не отменял.

[gs]

Впрочем, если хотите файбер - да запросто, только тележку денег приготовьте.

[Stranger03]

Отвечайте на какие знаете ответ ))

Прямо как на допросе у следователя, .
Той же фре все-равно откуда грузится, с внутренних дисков или с файберного массива. Вот только есть одна загвостка. На текущий момент я знаю только один файберный контроллер, доступные еще как-то к заказу. Который бы работал на Фре. Это QLA2340. Причем последние 2440 и 2460 там не заявлены, потому не обязаны работать.
А если отталкиваться от бюджета на несколько сотен серверов под БСД, то мне так кажется что парой сотен тысяч долларов для нескольких сотен серверов тут не обойдешься. Пример (грубо):
внутренний контроллер 320-2х выдает 25K IOPs
DS4700 - 150 K IOPs
делим одну цифру на другую, получаем 6-ть серверов можно подключить бесболезненно. Ну хорошо, с натяжкой 10-к. А дальше что?