Хочу сделать кластер! Правильно ли я думаю...

[expream]

Добрый вечер всем!

Ситуация такая: есть пара web сайтов ... один большой проект... всё это дело стоит на Pentium D 3.0, 4Gb Ram (софт: apache, qmail, mysql, ftp. Основная нагрузка конечно же на apache + mysql). Система Fedora 5

Первым шагом бала покупка отдельно MySQL сервера (такой же конфигурации). Эта конструкция довольно долго проработала. Соединены они между собой 1Гб езернет... Вроде работает всё замечательно. Но сейчас опять наступило то время, когда сервер (где остался apache, qmail ) потихонку начинается захлёбываться. Было принято решение делать кластер. После долгих поисков в интернете, вот что я думаю сделать.

Итак есть:
PentiumD 4 2.8Ghz 2Gb Ram  - 2шт
PentiumD 4 3.0Ghz 4Gb Ram  - 2шт
Pentium 4 2.8Ghz 1Gb Ram - 2шт

т.е. 6 компьютеров примерно одинаковой конфигурации. Систему ставить хотел CentOS. Бюджет - 0 Шутка .. но очень маленький... так как проект не коммерчечкий... И делать весь кластер на Red Hat Cluster Suite + GFS

Планирую купить Intel RAID SRCS28X + 8 SATA HDD 250Gb и всё это в RAID 10 и сделать файл сервер, где получаем 1Tb места. Т.е. 1 Сервер - это файл сервер. Тут наверное бюджет и кончился.

Второй сервер - это firewall + ids + lvs (который идёт с RHCS ? или что то друге для разруливания трафика по серверам?)

Третий сервер - апач. Четвёртый - mail (скорее всего postfix) и пятый MySQL сервер.

Шестой сервер - backup server. Куда собственно ежёночно будут стекаться логи для парсинга и для построения статистики и сами backup'ы с файл сервера. Сначало думал что бы логи сразу писались сюда, удалённо... через NFS.. или GFS... но зачем забивать эфир?

Наверное это все мои мысли... Всё это дело связывается 1Gb Ethernet... Каждый сервер кластера (apache, mysql, mail) монтирует свою систему с файл сервера (т.е. на файл сервере лежат: 1. веб файлы 2. e-mails 3. базы данных mysql 4. системы), что бы, потом, когда добавить ещё один сервер, его можно было включить в любой "режим" ... т.е. если упал apache, мы переводим один из серверов на место апача. Т.е. что бы любой сервер (кроме firewall и fileserver и backup) можно было стартануть с какой нужно системой.

А теперь вопросы... Я вообще понимаю, что делаю? или это полный бред и хорошо работать никогда не будет?
Где могут начаться проблемы, когда нагрузка увеличиться?
Хорошо ли, что всё будет лежать на файл сервере? Или стоит делать разные файл сервера? Т.е. почту отдельно... веб файлы отдельно... базы в третем хранилище... Какой софт использоватть? NFS или GFS? Какие файловые системы? XFS ? EXT3?

Буду очент рад любым советам!
Зарание спасибо! Максим.

[and3008]

Вы как-то все в одну кучу сложили. А внедрение кластера как то вы неверно видите. Это не кластер вовсе,  а просто набор компов. Кроме усложнения администрирования вы ничего хорошего не получите.

Итак идем от задачи.

Проблема в том, что не хватает производительности на сервере Апач + qmail. Купите третий сервер. Разнесите апач и qmail. Как я понимаю вам нужно общее хранилице между Апачем и qmail.

Учитывая ваш бюджет купите кластерную систему на базе SCSI-SATA. Т.е. диски будут SATA-шные, а интерфейс, который в серверы глядит будет сказевый. Для двух серверов довольно неплохо. Вот для такой-то системы и нужен GFS. Когда говорят о GFS почему-то считают, что она как-то сама магически позволяет строить кластерные системы, а о хранилище данных думать уже не надо. Надо!

Так вот, на такой двухузловой системе можете сделать кластер. Благодаря общему хранилищу можно да двух серверах запускать либо апач, либо qmail и еще и в случае остановки сервера остановленый сервис будет автоматически запущен на втором сервере.

LVS вам на фиг не нужен. На кой оно вам? Ваши задачи допускают параллельное исполнение? Наверняка же нет. Например MySQL не умеет работать в кластерном режиме. Это вам RAC (Real Application Cluster) надо + оптимизация ваших приложений. Это не ваш случай.

Еще вариант: если не справляется сервер баз данных, то может имеет смысл купить 2-х или 4-х процессорную систему? Ей богу это дешевле и проще в управлении.

[expream]

Пока да, производительности не хватает только для апача. Но в скором времене это будет и mail. MySQL пока сильно не грузит свой сервер. Вариант как я хотел сделать (попробую ещё раз обьяснитть, мне кажется, что вы меня не поняли):

Весь трафик идёт через firewall, где стоит LVS. Linux Virtual Server - я так понимаю это софт, который следит за нагрузкой серверов и перекидывает трафик,например который по 80 порту перекидывает на один из апач серверов (если их несколько, я понимаю, что и iptables может такое делать). В моём случае это один, но когда и он не будет справлятся с нагрузкой, то я просто ставлю второй апач сервер, прописываю его на LVS и у меня нагрузка распределяется на два сервера (в зависимости от нагрузки) и ничего переделывать во всей системе не нужно (т.е. время простоя = 0 сек)... соответсвенно им нужно общее место откуда они будут "подавать" запрашиваемые файлы. Поэтому и файл сервер. Точно такая же ситуауия и с mail сервером и с mysql.

Почему я хочу монтировать "/" с удалённого сервера... представим, что у нас накрылся апач... что делать ... бежать в магазин за новым сервером... а если суббота вечер  :roll: т.е. в таком случае я бы просто хотел бы отключить mail сервер и перевести его на обслуживание веб запросов... для этого примонтировать другой раздел и в LVS (тут я говорю.. именно об LVS который в Red Hat) перенести его в кластер веб серверов... Типо готово... maila у нас больше нет.. зато веб работает... И такая же ситуация с MySQL .. если у меня стоит два сервера MySQL + файл сервер, где лежат сами базы... и LVS кидает запросы то на один сервер, то на другой... разве оно так работать не будет?

Тут вопрос ещё .. не умрёт ли мой файл сервер.. т.е. хватит ли его на всё это дело? Обрабатывать и веб запросы и mail и базы? (повторюсь, что там хочу RAID10, как я понимаю самый быстрый и надёжный)

По нагрузке могу скать только, что общий трафик состовляет 6-7Mbit от апача до клиетна + 5Mbit от апача до mysql сервера.

[and3008]

Вы меня не поняли.
С апачем все понятно. Он просто кластеризуется.
А вот база данных нет. Даже если вы сделаете одно место хранения данных для базы данных, разве могут два сервер MySQL обращаться одновременно к одной базе? Кто ж за блокировками и непротиворечивостью данных следить будет? GFS? Не в этом случае!

[expream]

Хммм ладно... с этим вроде более или менее понятно... Остался вопрос про файл сервер... вы писали:

Учитывая ваш бюджет купите кластерную систему на базе SCSI-SATA.

если не сложно .. можно название или ссылочку или вообще о чем идёт речь  ... я тут много ползал по форуму.. и просто глаза на лоб лезут от тех цифр, которые вижу для реализации файловых систем/сетей. Если всё таки учесть, что в моём случае всё огриничеться веб хостингом некоторых проэктов, которые постоянно будут рости... в какую стороны всё таки смтореть?

[Stranger03]

Видите ли, учитывая ваш бюджет на один контроллер а 8-мь саташных дисков, вам даже маленькая скази-ту-сата система не очень то подходит. Только коробка с одним контроллером будет стоить в районе 2-х тысяч.

[Stranger03]

Тут вопрос ещё .. не умрёт ли мой файл сервер.. т.е. хватит ли его на всё это дело? Обрабатывать и веб запросы и mail и базы? (повторюсь, что там хочу RAID10, как я понимаю самый быстрый и надёжный)

Быстрый то он быстрый, но протокол САТА не умеет оптимизировать запросы в отличие от SCSI. То есть для одного потока, например видеообработка, оно самое то. Но когда от клиентов будут идти множество запросов, тем более к базе данных, то здесь вопрос, справится ли.
Плюс еще момент, вы хотите расположить базу на сетевом ресурсе. Задержки по изернету в разы выше. Если от MySQL-я будет идти один запрос на пару КБ в минуту, ну да, может быть. Но сотня запросов каждый по 5-10МБ могут повесить систему запросто.
Я бы лучше сделал немного по другому. Сервер MySQL и базу положил на один сервер, а по ночам переливал базу на соседний.

[expream]

С MySQL я эту мысль выбросил из головы т.е. файл сервер хочу только для apache + mail ... а уменьшить задержки... iSCSI ? Т.е. ставить iSCSI карты и в файл сервер и в apache сервера и в mail сервера... дорого наверное получиться....  :roll:

[and3008]

Вы эта... Опа... Причину задержек-то знаете? Вы проводили аудит приложений, анализ кода, выявили узкие места, поняли что надо обновить именно аппартную часть, да? Все именно так?

А теперь расскажите как вы с iSCSI уменьшите задержки? Купите в сервере адаптер iSCSI? Приличная платка стоит порядка 1 тыс. зелени. У вас бюджет какой помните? Будете использовать ресурсы ЦПУ? А вы уверены, что не будет еще хуже? Вы бы уделили денек чтению обычной документации, коей в Интернете масса.
Тогда у вас будет правильное представление о сути вещей и что для чего предназначено и как его применять стоит.

Пока вы кидаетесь из одной крайности в другую, что говорит о том, что вы слабо себе представляете чего хотите, а главное не знаете откуда у вас тормоза в вашей системе и что в ней надо оптимизировать. Советую изучить этот вопрос. После этого купите то, что надо, а не выкините денег на ветер.

Пока, раз уже вы хотите файл-сервер, то купите NAS. Однако сдается мне такой лаконичный ответ вас не удовлетворит.

[Stranger03]

Пока, раз уже вы хотите файл-сервер, то купите NAS. Однако сдается мне такой лаконичный ответ вас не удовлетворит.

Ну бюджет на приличный НАС будет начинаться эдак от 30 тысяч евро. Либо как вариант обычный сервер с Виндовс Сторадж сервер.

[expream]

Проблема скорее всего в том, что нет опыта. Тормoзов пока нет. Т.е. сейчас я понимаю, что именно тормoзит. А вопросы я задаю именно про то, что понятия не имею как делать - файл сервер. Документация... это конечно хорошо... когда знаешь где проблема... а когда не знаешь? Что тогда искать в этой документации? В интернете полту доков "настройка apache", да ностроите, да будет работать, но не на продакшн сервере... там много тонкостей, которые всплывут в дальнейшем (при больших нпгрузках) и опать - да, когда начнутся глюки, по "симптомам" я найду документацию как это исправить и исправлю это. Но!!! Это опыты!!! Когда начинался этот проэкт, да я поднимал веб сервера... но никогда не делал тонкой настройки... из за чего потом и начиналичть проблемы.. сейчас если же я буду ставить веб сервер, у меня уже есть опыт, и он будет хорошо настроен. Точно так же и с файл сервером... я могу найти доки.. как ставить нфс... или гфс... настроить этот кластер сьют для ред хета... и да, оно первое время будет замечаиельно работать.. так как нагрузка не большая... нооо... что будет потом.. сколько эта система выдержит.. что может случиться... как оно себя поведёт... я не знаю... и я не могу поставить накой эксперемент... поэтому и обращаюсь к вам.. к опытным специалистам за советом и помощью, т.к. вы это уже делали .. и знаете как оно должно работать и как сделать, что бы оно так работало.

[Stranger03]

To expream:
Перечитал три раза, ничего не понял. Если вы хотите задать вопросы как настроить апач в какой-то конфигурации, задавайте вопросы в соотв-ей ветке. Только вы должны понимать, что точность ответа будет зависеть от корректности вопроса. Или поясните, что вы хотите от нас услышать, .

[Gago]

to expream:
«Второй сервер - это firewall + ids + lvs (который идёт с RHCS ? или что то друге для разруливания трафика по серверам?)»

Для разруливания трафика можно использовать реально мощную вещь – DMP в составе Veritas SF Basic www.symantec.com/sfbasic

Если будет несколько серверов, и на каждом SF Basic, то мониторить все можно с помощью Veritas Storage Foundation Management Server, то же между прочим бесплатного (но есть ограничения).