посоветуйте конфигурацию кластера

Crazyzhuk · Сообщение **Crazyzhuk** » 25 сен 2006, 13:11

есть предприятие, работающее с многоэлементными (5 млн.) расчетами в Nastran и Ansys.
руководство просит подобрать конфу кластера под эти задачи и пока готово расстаться с 20-30 тыс. у.е.

уважаемые специалисты, подскажите пожалуйста:
1. что можно собрать за эти деньги
2. нужно ли внешнее хранилище данных
3. критична ли связь по fiber chanel или можно обычный гигабит
4. как должен выглядеть этот кластер в идеале

Сообщение gs » 25 сен 2006, 13:15

У Вас достаточно специфичные задачи. Расшифруйте немного подробнее плиз.

Andrew Sapronov

Есть такое подозрение, что это будет просто число дробилка. Для Nastran скорее всего нужен будет модуль Nastran Distributed Memory Parallel (DMP).

Есть вот такой пример организации:
http://www.mscsoftware.com/support/libr ... p03099.pdf
Староват немного, но ИМХО принцип не поменяется.

Crazyzhuk · Сообщение **Crazyzhuk** » 25 сен 2006, 13:34

в том то и дело, что я не могу конкретизировать поставленную задачу, т.к. не обладаю большей информацией. сюда бы еще спеца по озвученному ПО...
нужна очень высокая производительность для сложных математических расчетов в ограниченное время

Andrew Sapronov

Crazyzhuk писал(а): нужна очень высокая производительность для сложных математических расчетов в ограниченное время

Вычисления, вычислениям рознь. Некотором интерконнект не важен, а некоторые очень чувствительены к нему. Причем порой важна или латенстость, или пропускная способность или все вместе. Аналогично можно сказать и про память: некоторым нужно много, а некоторые спроектированы так, что бы в кэш влезть.

Если ПО распараллеливает из коробки, и алгоритм для вас черный ящик, то имеет смысл обратиться к поставщику софта и к соответсвующим тестам. Если алгоритм распараллеливания проектируют собственные разработчики, то они должны определить применые требования, ну или хотя бы озвучить порядки цифр. Думаю, за те деньги, которые это ПО стоит получить консультацию или даже взять "на попробовать" не составит труда.

a_shats · Сообщение **a_shats** » 25 сен 2006, 14:41

Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет

Поставить хоть инфинибанду можем, были б деньги

Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...

Andrew Sapronov

Еще добавочка про Nastran. Судя по этой http://www.mscsoftware.com.my/products/ ... an_dmp.htm страничке распараллеливание осуществляется методом декомпозиции области (domain decomposition), а этот метод очень хорош в том плане, что не требует больших затрат на пересылку данных между узлами. Это подтверждают результаты по ссылке приведеной мной чуть выше - при fast ethernet практически линейный рост. Метод декомпозиции может такое. Где то на сайте производителя видел, что все отлично работает до 64 CPU. Т.о. образом за ваши деньги наверное взять несколько штук двухпроцессорных узлов. Цену на софт то же стоит прикинуть.

Еще раз повторюсь, лучше потестировать. Например попросить у постовщика оборудования 3-4 (можно немного разных, но сходных по хар-кам) узла и посмотреть на масштабируемость задачи.

Crazyzhuk · Сообщение **Crazyzhuk** » 25 сен 2006, 14:49

a_shats писал(а):Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет Поставить хоть инфинибанду можем, были б деньги
Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...

с бортовым GbE согласен, остальное не потянем при этих деньгах
разъясните, пожалуйста, что такое PD и нужно ли 12 узлов и такое большое хранилище(нужно ли оно вообще для нашей задачи математических вычислений)

и насчет прикидок если можно в цифрах

Andrew Sapronov

a_shats писал(а):Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет Поставить хоть инфинибанду можем, были б деньги
Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...

Без анализа алгоритма, модели для обсчета, софта - прикидки не имеют смысла.

Т.е. имеет смысл знать размер модели на диске, как с моделью работает софт, в какой форме получаются результаты, ну и естественно хотя бы порядок разбиения. 5 млн. элементов это не много. Даже если такие матрицы параллелить "в тупую" 8ми узловой двухпроцессорный кластер будет ее попросту рвать (на гигабите), а средненький сервер в качестве простенького NAS справится с нугрузкой.

Это "в тупую". Но не забываем, что это все программы конечно эллементного анализа, получаемые матрицы (или методы) очень специфичны, а следовательно решать можно еще быстрее, а при domain decomposion, при определенных условиях, интерконнект можно свести к нулю.

Сообщение gs » 25 сен 2006, 15:00

Хранилище внешнее наверно особого смысла не имеет (да и дорого это). Наверно сойдет банальный файл-сервер.

a_shats · Сообщение **a_shats** » 25 сен 2006, 15:00

Crazyzhuk
Это для общего случая. 12хPentium D - это 24 процессорных ядра, считал 950-е - с тактовой частотой 3,4 ГГц и по 2 МБ кэша L2 на ядро

Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов

И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.
Andrew Sapronov
Абсолютно с Вами согласен.
Как и писал, прикидывал для общего случая такое:
узел
Supermicro 5015M-MF/Pentium D 950/4x1GB DDRII-533 ECC/SATA-II 80 GB 7200 rpm
хранилище
Supermicro 5015M-MT/Pentum D 930/2x512 MB DDRII-533 ECC/3Ware 9550SX-4LP+BBU/4x500GB 7200 rpm SATA-II

Andrew Sapronov

Чуть выше дополнил пост.

ИМХО про железо:

a_shats писал(а): Как и писал, прикидывал для общего случая такое:
узел
Supermicro 5015M-MF/Pentium D 950/4x1GB DDRII-533 ECC/SATA-II 80 GB 7200 rpm

Для общего случая это, наверное, само то.
Я бы думал сторону двухкратного уменьшения узлов с двухкрантным увеличением процессоров на каждом. Но опять таки все зависит от объема памяти, и то чего там софт умеет поддерживать. Для счета я бы брал двухпроцессорные оптероны с 8 гиг. Правда как у них там сейчас с ценам я не знаю и опять таки софт ...

a_shats писал(а): Supermicro 5015M-MT/Pentum D 930/2x512 MB DDRII-533 ECC/3Ware 9550SX-4LP+BBU/4x500GB 7200 rpm SATA-II

Вполне подойдет.

Crazyzhuk · Сообщение **Crazyzhuk** » 25 сен 2006, 15:28

a_shats писал(а):Crazyzhuk
Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.

Почему SATA а не SCSI, который быстрей в 2 раза?
Опять же отказоустойчивость нам не важна, зачем RAID 5 ?

a_shats · Сообщение **a_shats** » 25 сен 2006, 15:32

Я бы думал сторону двухкратного уменьшения узлов с двухкрантным увеличением процессоров на каждом. Но опять таки все зависит от объема памяти, и то чего там софт умеет поддерживать. Для счета я бы брал двухпроцессорные оптероны с 8 гиг. Правда как у них там сейчас с ценам я не знаю и опять таки софт ...

Это исключительно cost-effective решение, увы, узел на 2х280 Оптеронах с 8 ГБ ОЗУ стоит более, чем вдвое дороже в сравнении с предложенными

Я бы даже сказал - с трудом влезает всего 5 узлов, т.е. 20 ядер

Все-таки не имеют Оптероны такого преимущества в производительности, чтобы 20 ядер К8 2,4 ГГц были шустрее 24 ядер NetBurst 3,4 ГГц, имхо...

a_shats · Сообщение **a_shats** » 25 сен 2006, 15:34

Crazyzhuk писал(а):
a_shats писал(а):Crazyzhuk
Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.
Почему SATA а не SCSI, который быстрей в 2 раза?
Опять же отказоустойчивость нам не важна, зачем RAID 5 ?

1. В чем именно SCSI быстрее в 2 раза ? :D Будет 5-12 дохленьких линейных потоков, SATA вполне потянет.
2. Про отказоустойчивость - а у Вас, извините, эти все расчеты будут делаться для прикола, или таки для результатов ?

посоветуйте конфигурацию кластера

посоветуйте конфигурацию кластера

Кто сейчас на конференции