iSCSI,FC,SAS конфиграция, лимиты, надёжность, ограничения

ov3rm1nd · Сообщение **ov3rm1nd** » 10 сен 2007, 15:54

Есть:
веб-сервер (сайт) с большой посеoамостью, огромное количество файлов загруженных пользователями video,image, other binary на отдельном сервере с 2TB SATA в raid

Задача:
Сделать быстро доступное сетевое хранилище для загружемых пользователями
файлов (изображения видео архиви и прочие любые файлы)

Условия :
Необходима железка какойнибуть rack mount вроде http://www.ixbt.com/pr/trinity-podcast-server.shtml с расширямостью до 5-10TB,
Быстрота действия.
Бюджет неограничен.

Варианты :
1. iSCSI по 1Gbit,
2.FC
3. SAS ?
4. just NFS over 1Gbit enough

Что предпочтительнее для данных целей (web-server) ?
К хранилищу должны иметь доступ как минимум 5 серверов (2 распределения нагрузки, 1 отдача статики , mysql cluster)

BTW: Какие конфигурации посоветуете для mysql -cluster из 3 - 4 серверов частности интересует что брать для MGM-NODE и MASTER-NODE

Сообщение gs » 10 сен 2007, 15:58

Эээ... насколько неограничен бюджет и можно ли подробнее о нагрузке (в цифрах каких-нибудь)?

ov3rm1nd · Сообщение **ov3rm1nd** » 10 сен 2007, 18:03

Бюджет на всё про всё 50к$

Apache/Nginx ~ 20-50 per second

mysql нарузки особой невозникает быстрых запросов ~ 300 per second

-- Кофигурация сервера на котором mysql и точно такаяже железка стоит для обработки запросов apache/nginx--

Код: Выделить всё

cat /proc/cpuinfo  | grep "model name"
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name      : Intel(R) Xeon(TM) MP CPU 3.16GHz
model name 

free -m
             total       used       free     shared    buffers     cached
Mem:         16229      15932        296          0        198      13318
-/+ buffers/cache:       2415      13814
Swap:         3812          0       3812

Конфигурация 2TB SATA

Код: Выделить всё

cat /proc/cpuinfo  | grep "model name"
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz

free -m
             total       used       free     shared    buffers     cached
Mem:          4053       3823        230          0         74       3573
-/+ buffers/cache:        174       3878
Swap:         3349          0       3348

iostat на 2TB SATA он в данный момент смонтирован на 2 сервера с него отдаются изображения jpg gif png и также кладутся бекапы

Код: Выделить всё

iostat -x
avg-cpu:  %user   %nice    %sys %iowait   %idle
           6.58    0.00    0.61    1.84   90.97

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          1.19  19.58 12.97  4.62  959.64  193.73   479.82    96.86    65.56     0.57   32.24   5.84  10.28

Вся система сейчас загибается на NFS over 100mbit/s,

Вопросы всё теже

спасибо.

Сообщение gs » 10 сен 2007, 18:09

1. Можно Нетапповскую системку поставить. Будет очень даже.
2, 3. Прямое подключение по файберу или сасу потребует шаринговую файловую систему типа IBM GPFS. В принципе можно, но надо ли при такой нагрузке? Да и деньги, плюс гемор...
4. Можно и просто дисковую систему и к ней кластер из парочки файлеров.

Вариант 1 удобен, т.к. может раздавать по разным протоколам.

Сообщение gs » 10 сен 2007, 18:16

Хотя в принципе, если сервера будут работать каждый со своим луном (т.е. общего физического диска не надо), то варианты 2 и 3 вполне себе. Даже наверно быстрее всего бегать будут (правда более 4 (FC) или 6 (SAS) серверов потребуют коммутаторы - т.е. дополнительные бапки).
Мы можем разные варианты прикинуть собственно...

ov3rm1nd · Сообщение **ov3rm1nd** » 10 сен 2007, 19:37

Посмотрел NetApp, умеет много но нужен linux.

Нагрузка будет возрастать,
планируется redhat cluster c GFS под балансировку и HA

Как вариант конфигурации:

На каждый сервер по FC адаптеру, всё в switch -> к дисковой системе например такой Xyratex / Fibre Channel - SAS/SATA / F5402E

В результате я получу обший диск быстрым доступом для каждого сервера где будут хранится файлы ?

цена и альтернативы до 10TB Xyratex / Fibre Channel - SAS/SATA / F5402E ?

Сообщение **exLH** » 10 сен 2007, 20:08

ov3rm1nd
Посмотрел NetApp, умеет много но нужен linux.
Что Вы имеете в виду?

В результате я получу обший диск
При использовании GFS - да.

Сообщение gs » 10 сен 2007, 21:00

Какая связь между нетаппом и линуксом? Нетапп - это дисковая железка, которая умеет отдаваться как по файберу, так и по айскази и т.п. В общем подумайте - если что, подскажем.

Если ориентируетесь на ГФС и не пугает поработать напильником, то хератекс вполне пойдет. Просто нагрузки у Вас весьма далеки от тех, где требуется прямой файберный линк. Да и ГФС (и ей подобные системы) свои тормоза и пакости тоже вносят.

ov3rm1nd · Сообщение **ov3rm1nd** » 11 сен 2007, 13:22

По поводу NetApp и linux имел ввиду
http://www.netapp.com/products/storage- ... specs.html
Внизу таблица Software
Operating System Network Appliance™ Data ONTAP
Имелось ввиду то что там не linux в качестве ОС или я неправ ?.

Какую модель смотреть для моего случая и ещё хотелось бы чтоб железка умела 1Gbit ?

Сообщение **exLH** » 11 сен 2007, 13:25

Имелось ввиду то что там не linux в качестве ОС или я неправ ?.
Да, там не linux в качестве ОС. А какое это имеет значение? И почему Вас в таком случае не смущает то, что в контроллерах Xyratex тоже не linux?

ov3rm1nd · Сообщение **ov3rm1nd** » 11 сен 2007, 13:29

exLH писал(а):Имелось ввиду то что там не linux в качестве ОС или я неправ ?.
Да, там не linux в качестве ОС. А какое это имеет значение? И почему Вас в таком случае не смущает то, что в контроллерах Xyratex тоже не linux?

Несмущает если всё работает :) Какие варианты с NetApp предложите ?

Сообщение **exLH** » 11 сен 2007, 14:25

Для Ваших задач предложил бы FAS2020. iSCSI для ненагруженных сервисов, NFS для отдачи файлов. Можно конечно и по FC подключиться и через GFS данные разделять, но не уверен, что в Вашем случае это будет лучше.

ov3rm1nd · Сообщение **ov3rm1nd** » 11 сен 2007, 15:28

Посмотрел FAS2020 хороший вариант, где можно узнать цены ?

Сообщение **exLH** » 11 сен 2007, 15:35

Цены можно получить, запросив их

Какая примерно конфигурация в части дисковой подсистемы интересует (объем, тип дисков SAS/SATA)?
И подходит ли тот вариант подключения, который я описал?

ov3rm1nd · Сообщение **ov3rm1nd** » 11 сен 2007, 15:58

exLH писал(а):Цены можно получить, запросив их :)
Какая примерно конфигурация в части дисковой подсистемы интересует (объем, тип дисков SAS/SATA)?
И подходит ли тот вариант подключения, который я описал?

На данном в FC нет необходимости поэтому,

4TB SATA, для iSCSI я так понимаю нужные будут ешё и адаптеры в остальные серверы для доступа к этому диску т.e я хочу воткнуть адаптер в сервер который будет раздавать файлы которые храняться на FAS2020 и опять таким почему бы мне необойтись вместо iSCSI простым 1Gbit NFS?

iSCSI,FC,SAS конфиграция, лимиты, надёжность, ограничения

iSCSI,FC,SAS конфиграция, лимиты, надёжность, ограничения

Кто сейчас на конференции