Господа, надо сделать кластер

[KPOXA]

Господа, надо сделать кластер, есть около 25 тыс у.е. на все про все.

Требования следующие:
- в среднем 500 iops на ноду, редкие пики до 2000-3000.
- терабайт-полтора дискового пространства.
- в начальный бюджет должно уместиться 5 нод.
- основная задача - apache.
- линукс.
- ноды: dual xeon ~2800, RAM 4Gb.
- возможное число нод в будующем как минимум 20.

С нетерпением жду ваших предложений.

[exLH]

Ну в указанный бюджет аккурат 5 нод и влезают. Только вот надо еще и общее хранилище к ним подсоединить. А это уже вне суммы.
Конфигурация нод:
Supermicro 6014H-82, 2 x Xeon 2800, 4x 1GB, 2 x 36GB в зеркале под систему, QLA2340 для подключения к дисковому массиву.

Можно, конечно обойтись платформой, например, 6014H-i2 и грузиться с внешней дисковой системы. Это ужмет конфигурацию долларов на 500-600, но на внешнюю дисковую все равно суммы в 2500-3000 не хватит.

[KPOXA]

Сколько стоит минимальная внешняя дисковая система на 500 гигов с возможностью расширения до терабайта установкой жестких дисков?

Насколько я понимаю на ноду (при условии внешней загрузки) надо ~3300 ( если покупать не у вас  :) ), т.е. ~16.500 у.е. кстати, грузиться можно и с IDE дисков, для целей загрузки их надежности вполне хватит, при вылетании винта на ноде всегда есть время на замену такового, надо только иметь запас с уже настроенным софтом.

т.е. остается ~8.500 у.е. на дисковую систему, возможно бюджет удастся расширить на 2-4 тыс у.е., но не факт. Скорее можно будет урезать начальное число нод до 3.

[gs]

Если исходить из средней нагрузки в 500 иопс на ноду, которых 5шт, (т.е. 2500иопс в среднем) потребуется аппарат класса Hitachi 9530, IBM DS4300, DotHill RIVA минимум с полной банкой дисков 15к. Это в бюджет не лезет никак (навскидку не меньше 30тонн на дисковую с сопутствуюшими прибамбасами).

[exLH]

И какая, если не секрет, конфигурация этой ноды за 3300 ?

Минимальная дисковая это одноконтроллерный FC-FC массив с большим числом дисков. Только Вам ведь нужно, чтобы потом 20 нод работали и имели по 500 IOPs на ноду (итого 10k IOPs) с дисков (а не из кэша), а это весьма сильная дисковая система. Такую за 8500 не купить и даже без дисков, и даже с одним контроллером. В идеальных условиях примерно такие результаты дает например IBM DS4300 (на 56-ти дисках !)

Так что требования несоизмеримы с бюджетом. А посчитать дисковую можно и очень бюджетную, только результатов не будет...

[KPOXA]

За 3300 это:
4 гига памяти,
2 ксеона на 2800,
материнка,
корпус 1у,
FC HBA .

[gs]

Имхо за эти деньги можно получить или девайс от дядюшки Ляо или от Трансамеритек. Что собственно мало отличается.
Но вообще, Ваша задача в бюджет не лезет никак. Или пересматривайте требования или одно из двух. Попытка сделать конфету из того самого уже не раз заканчивалась выбросом на ветер нескольких десятков килобаксов
Можете поверить опыту человека, который восемь лет энти хреновины продает

[KPOXA]

Я же не настаиваю на использовании FC, наверняка есть какие-то другие варианты, да и при испольовании FC наверное есть расширябельный вариант, при котором начальные вложения не очень велики.

Например бывают ли FC raid'ы, в которые можно вставлять дополнительные диски на лету, и которые подцепляли их в общий массив?

Теже FC свитчи уже не так дороги, санбокс 5200 с начальным ценником от ~4000 за 2 порта уже вполне "бюджетный" вариант.

Предположим я решил остановиться на 3 нодах, т.е. на FC свитч и FC RAid остается около 15.000 у.е.  неужели не реально?

[gs]

Во-первых, кроме FC других вариантов нет - количество нод сказю отрицает автоматически. Да и нет достаточно мощных скази систем.
Во-вторых, Вам нужна не просто FC дисковая система, а МОЩНАЯ дисковая система, ценники которых весьма далеки от заветных 10к$. В эту сумму даже пустой ящик-то не влезет.

[KPOXA]

А что есть за 10.000 ? Что из него можно будет выжать?

[KPOXA]

Сейчас на среднем одиночном сервере вполне спрявляется IDE RAID на 2 диска зеркалом.

[gs]

Сорри, Вы говорили про 500иопс В СРЕДНЕМ с пиками до тысяч!!! На такое пара идеешек имхо не способна.
Или у Вас линейное чтение?

[gs]

Как дешевый вариант - LSI (ex IBM) ProFibre DF4000R с одним контроллером. Или Инфортренд FC-FC - он примерно стока же стоит.

Но если исходить из первоначально названных цифр - при 20 нодах точно мощи не хватит. Или давайте точнее про нагрузку - лучше всего перфмоном (вернее его линуксовым аналогом) нагрузку на винты промониторить.

[KPOXA]

Возможно я ошибся с оценками дисковой нагрузки.

Вот выдержки из iostat
Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
dev8-0          166.00      1408.00      4112.00       1408       4112
dev8-0           52.00      1456.00        16.00       1456         16
dev8-0          100.00      8840.00         0.00       8840          0
dev8-0          125.00      6152.00         0.00       6152          0
dev8-0           45.00       848.00       192.00        848        192
dev8-0          140.00       296.00      3968.00        296       3968
dev8-0           12.00       192.00         0.00        192          0
dev8-0            3.00        40.00         0.00         40          0
dev8-0          252.00       168.00      5400.00        168       5400
dev8-0            8.00        64.00       360.00         64        360
dev8-0          217.00         0.00      4336.00          0       4336
dev8-0          295.00         8.00      4304.00          8       4304
dev8-0           11.00       192.00         8.00        192          8
dev8-0            2.00       104.00         0.00        104          0
dev8-0           25.00       176.00       177.00        176        177
dev8-0          184.00       376.00      3521.00        376       3521
dev8-0           64.00       168.00       936.00        168        936
dev8-0          137.00      2880.00      1036.00       2880       1036
dev8-0           35.00       936.00       206.00        936        206
dev8-0           15.00       160.00       105.00        160        105
dev8-0           44.00       312.00       255.00        312        255
dev8-0            0.00         0.00         0.00          0          0
dev8-0            3.00         0.00        26.00          0         26
dev8-0            7.00         0.00       108.00          0        108
dev8-0           66.00         0.00      1045.00          0       1045
dev8-0            9.00       136.00        17.00        136         17
dev8-0            5.00        32.00        26.00         32         26
dev8-0            3.00        32.00         0.00         32          0

Если считать что tps имеет смысл сходий с iops то в среднем получается около 70-80 с пиками до 300. Наверное так намного легче.  :)

[gs]

Это совсем другой компот. Дисковую можно и полегче - например те, что я уже указал.