ЛВС->кластер

[Keen]

Есть локальная сеть Fast Ethernet из компов селерон/пентиум 1-2ГГц.
На основании этой сети нужно построить вычислительный кластер, как можно более производительный. То есть, подобрать нужное ПО и определить количество узлов кластера, для достижения наилучших результатов. Очевидно, что управляющая и коммуникационная сеть - одна и та же FE.
Тип задач, которые будет выполнять кластер, еще не известен, но будут задачи с минимальными требованиями к сети, иначе нет смысла городить огород.
Посоветуйте плз. на какое ПО обратить внимание. Так же интересует, динамическое или статическое распределение нагрузки будет лучше в этой ситуации (этот вопрос может отпасть при ответе на первый). И как можно заранее просчитать оптимальное количество узлов, если задачи будут известны.

[Andrew Sapronov]

иначе нет смысла городить огород.

Один conroe на вычислительных задачах уделает штук 6ть таких машин, так что городить огород, ИМХО, не имеет никакого смысла. Разве что только академический интерес. А по поводу софта - Вы бы хотя б ОС указали и чего конкретно Вы от него ждете.

[Stranger03]

А по поводу софта - Вы бы хотя б ОС указали и чего конкретно Вы от него ждете.

Да вообщем-то ОСи будет мало без детального описания задачи, которая там будет крутиться. Кластер собрать на винде или линухе делов на полчаса, ну час. Только если приложение не знает, что такое распределенные вычисления, то ему будет начхать на этот кластер.

[Andrew Sapronov]

Кластер собрать на винде или линухе делов на полчаса, ну час. Только если приложение не знает, что такое распределенные вычисления, то ему будет начхать на этот кластер.

Час Гы. Ну тут ясно, что приложение должно уметь выполнятся на кластере иначе смысла нет, но вопрос был именно про обвязку. Т.е. софт которые делает диспетчеризацию и анализ загрузки, а его, во всяком случае котрый работает в продакшн не так много, а под win совсем мало, а если есть извратные требования типа chekpoint'ов, live migration и пр. то на том железе вряд ли что то выйдет.

Ну и данных, конечно, совсем мало. А вообще я хотел сказать, что на таком старье вообще считать большого смысла нет, если конечно цель - посчитать, а не потренироваться

[Keen]

Моя задача на данный момент - создать модель такого кластера. Задачи для него я могу подобрать сам. Об этом я писал, задачи будут не просто распаралеленными, но и пересылка данных между процессами(узлами) будет минимальной.
Я склоняюсь к ОС FreeBSD, так как больше всего она мне знакома, есть где потестить, и знаю, что некоторые кластеры именно под этой осей работают, проблем быть не должно.

[Andrew Sapronov]

Моя задача на данный момент - создать модель такого кластера. Задачи для него я могу подобрать сам. Об этом я писал, задачи будут не просто распаралеленными, но и пересылка данных между процессами(узлами) будет минимальной.

Вот только Вы не пишите какого Полагаю, речь идет о beowulf-подобном кластере. Смотрите на систмы типа pbs, есть кластеро-ориентированные дистрибутивы - смотрите как там сделано, в МГУ неплохая система для диспетчеризации используется.

и знаю, что некоторые кластеры именно под этой осей работают, проблем быть не должно.

Ключевое слово - некоторые. Я бы сказал, единицы. Основные ОС для HPC-кластеров это конечно UNIX-системы, но в данном случае BSD к ним не относится. Если работать будете на старье (как в плане hard, так и в плане soft), то это ваш выбор. Да и кластер, обычно, вещь не дешевая, и сооружают его для решения задач, и вот эти самые задачи в подавляющем случае разрабытываются без оглядки на BSD. ИМХО, Linux более разумный выбор.

[Keen]

Честно говоря, не вижу большой разницы между бсд и линуксом )
На счет beowulf-а, то он делает из компов одно целое, а мне надо что-бы одновременно компы оставались в пользовании локальной сети.
Как по мне тут ближе Grid, хотя до конца не понял что это. Задача сделать из локальной сети именно вычислительный кластер, что и смущает.
Я уже начинаю сомневаться, возможно ли это вообще ))

[Andrew Sapronov]

Честно говоря, не вижу большой разницы между бсд и линуксом )

Вы нет - другие да. Особенно производители оборудования и софта.

На счет beowulf-а, то он делает из компов одно целое, а мне надо что-бы одновременно компы оставались в пользовании локальной сети.

Вот тут Вы ошибаетесь. Сделать из кучи машин единое целое программно еще никому не удалось, а beowulf - это название первого успешного проекта дешевого кластера как раз таки из ЛВС.

Как по мне тут ближе Grid, хотя до конца не понял что это. Задача сделать из локальной сети именно вычислительный кластер, что и смущает.
Я уже начинаю сомневаться, возможно ли это вообще ))

Возможно. И все именно так делают - фактически большинство кластеров и есть ЛВС. Грид Вам ИМХО не нужно. По грид посмотрите две основополагающих статьи:
http://gridclub.ru/library/publication. ... 38919/view
http://gridclub.ru/library/publication. ... 57187/view
Нужна ли Вам такая программная инфраструктура? Мне кажется, что Вы до конца не понимаете, что Вам собственно нужно. Возьмите листок, и выпишите, какие функции должен для Вас выполнять кластер.

[Stranger03]

Час Гы.

Фря ставится ровно 7-мь минут, накатить на нее софт под кластер еще минут 10-ть, поднять апачь по умолчанию еще минут 10-ть, ну туда - сюда, час, ну хорошо, полтора если ничего экстренного не случится. Это винда ставится больше получаса независимо от железа.

[Stranger03]

Честно говоря, не вижу большой разницы между бсд и линуксом )

Если вы не видите разницы, то думаю вам к кластеру под БСД подходить рановато, не обижайтесь, но поставить с 0-я систему по умолчанию не сможет разве что домохозяйка. А понять где лежат конфиги и что надо настраивать, тем более под БСД, где русской документацией и не пахнет. Ну-ну. Сейчас поищу ссылочку на описание кластера под БСД. Сек.

[Stranger03]

Например вот здесь:
http://www.opennet.ru/opennews/art.shtml?num=4580

[Stranger03]

Еще вот здесь:
http://www.linuxcenter.ru/lib/articles/ ... tyle=print

[Andrew Sapronov]

Час Гы.

Фря ставится ровно 7-мь минут, накатить на нее софт под кластер еще минут 10-ть, поднять апачь по умолчанию еще минут 10-ть, ну туда - сюда, час, ну хорошо, полтора если ничего экстренного не случится.

Если под кластером понимать такую поделку как здесь
http://www.linuxcenter.ru/lib/articles/ ... tyle=print
то конечно.

Но я бы не стал забывать про планирование<->переговоры с поставщиками<->выбор железа (и так неоднократно), оплату. К тому же, накатить софт (его еще нужно выбрать и уметь работать с ним) нужно не на один компьютер. Продумать очереди задач, распределение ресурсов, завести/перенести учетки, прогнать тесты в конце концов (а это далеко не один час выполнения). Зачастую настроить инфраструктуру PKI, а еще нужно понимать эту инфраструктуру. Про грамотный мониторинг нескольких десятков сервер я думаю Вы и сами можете много чего рассказать. А интеграция в существующую инфраструктуру. А вот апач на узлах в общем то и не нужен. Да просто монтаж оборудования в стойки и СКС это не так быстро.

При всем уважении, но заявление про час похоже на мальчишескую выходку. Опят же ИМХО, но внедрить грамотный кластер при КВАЛИФИЦИРОВАННОМ персонале это около недели.

[Keen]

Всем спасибо за ответы.
С линукс можно сказать не работал, потому разницы и не вижу, с Фряхой проблем нет, как и с английским.
Одна из ссылок - кластер под линукс на OpenPBS, вторая - под Фри на LAM-mpi. Хотелось бы узнать что кроме LAM-mpi под Фри покатит, чтобы было с чего выбирать.
На счет того что большинство кластеров - из ЛВС... не нашел в инете ни одного. Везде они просто шкафы, локальной сетью и не пахнет.
Оборудование нигде закупать не надо, локалка уже существует, Фряха отлично видит все железо, тут тоже без проблем. Так что проблема только в обоснованном выборе софта под нее, для наибольшей эффективности hp-кластера.
Фактически, это можно будет назвать решением для тех, кто не в состоянии приобрести новое железо спецом под кластер. Вот главная задача.

[Keen]

Про Beowulf, на сколько я понимаю, узлы в таких кластерах недоступны пользователям, юзеры общаются только с 1 узлом, а задачи распределяются по всем. И подобные системы не рассчитаны на возможные внешние нагрузки, как на сеть так и на узлы.
Или ничего не мешает посадить за каждый узел по пользователю и пусть работают?