Хочу собрать дома HPC кластер - есть вопросы.
Модераторы: Trinity admin`s, Free-lance moderator`s
Хочу собрать дома HPC кластер - есть вопросы.
Понадобился дома кластер - в оборудование практически ничего не понимаю. Бюджет на все это, понятное дело, сильно ограничен.
Хочу 6 компов объединить между собой в виде звезды. Будет ли разница между оптикой и медью по задержке (1 гигабит)? Расстояние меньше метра. Планируется без свитча - в центральном сервере 5 сетевых карт.
В идеале хотелось бы расшарить всю оперативную память на все процессоры, поэтому latency критична. На 10G денег пока нет (если только бу оборудование не получиться намутить с ebay).
И какая минимальная конфигурация должна быть у центрального сервера, если в пиковой загрузке все каналы будут практически полностью задействованы?
Или это бред с технической точки зрения?
Хочу 6 компов объединить между собой в виде звезды. Будет ли разница между оптикой и медью по задержке (1 гигабит)? Расстояние меньше метра. Планируется без свитча - в центральном сервере 5 сетевых карт.
В идеале хотелось бы расшарить всю оперативную память на все процессоры, поэтому latency критична. На 10G денег пока нет (если только бу оборудование не получиться намутить с ebay).
И какая минимальная конфигурация должна быть у центрального сервера, если в пиковой загрузке все каналы будут практически полностью задействованы?
Или это бред с технической точки зрения?
Re: Хочу собрать дома HPC кластер - есть вопросы.
Вы к вопросу подошли с неправильной стороны.
какие задачи?
распределённый рендеринг картинок будет прекрасно работать и на 100Mbps Ethernet,
А решение "плотных" задач и на 10Gbps Ethernet в латентность и канал упиратья будет, только infiniband спасёт.
Классифицируйте вашу задачу и если она "плотная" забудте о домашнем кластере, ибо стоимость одной карты infiniband ~1500$ не говоря про коммутатор да и собственно сервера.
IMHO это неподъёмно для финансирования физ лицом, да и лишено смысла.
какие задачи?
распределённый рендеринг картинок будет прекрасно работать и на 100Mbps Ethernet,
А решение "плотных" задач и на 10Gbps Ethernet в латентность и канал упиратья будет, только infiniband спасёт.
Классифицируйте вашу задачу и если она "плотная" забудте о домашнем кластере, ибо стоимость одной карты infiniband ~1500$ не говоря про коммутатор да и собственно сервера.
IMHO это неподъёмно для финансирования физ лицом, да и лишено смысла.
t.me: @RoboforumSetar ; st@3nt.ru
Re: Хочу собрать дома HPC кластер - есть вопросы.
Если вы хотите SSI ("В идеале хотелось бы расшарить всю оперативную память на все процессоры") то забудте.
собрать можно на чем угодно, даже включится, но решать задачи будет медленее одного квадкора современного
собрать можно на чем угодно, даже включится, но решать задачи будет медленее одного квадкора современного
t.me: @RoboforumSetar ; st@3nt.ru
Re: Хочу собрать дома HPC кластер - есть вопросы.
и ещё , как правило в HPC нет "центрального" сервера, топология обычно тор, трех мерный тор, ну на крайняк звезда в центре которой инфинибенд коммутатор с толстой полосой матрицы коммутации.
есть как правило озадачивающий сервер, и обычно он загружен меньше решателей
есть как правило озадачивающий сервер, и обычно он загружен меньше решателей
t.me: @RoboforumSetar ; st@3nt.ru
Re: Хочу собрать дома HPC кластер - есть вопросы.
Кластер нужен для тестирования различных алгоритмов решения оптимизационных задач.
Как правило это алгоритмы на большем дереве - размером порядка 30Gb (это если сильно урезать задачу).
Текущие алгоритмы в принципе нормально сегментируются по данным - и их можно поверх tcp/ip без проблем организовать. Я просто подумал, что может получиться что-то большее ))
Как правило это алгоритмы на большем дереве - размером порядка 30Gb (это если сильно урезать задачу).
Текущие алгоритмы в принципе нормально сегментируются по данным - и их можно поверх tcp/ip без проблем организовать. Я просто подумал, что может получиться что-то большее ))
Re: Хочу собрать дома HPC кластер - есть вопросы.
ну что могу тогда сказать, делайте на меди - дешевле.
потери у вас основные будут не на латентности интерфейса а на стеке ip
конфигурация центрального сервера - просто памяти побольше (~4G на кеши + рабочее поле) и с помошью тюнинга (sysctl) расширить кеши ip стека в 4-8 раз
потери у вас основные будут не на латентности интерфейса а на стеке ip
конфигурация центрального сервера - просто памяти побольше (~4G на кеши + рабочее поле) и с помошью тюнинга (sysctl) расширить кеши ip стека в 4-8 раз
t.me: @RoboforumSetar ; st@3nt.ru
Re: Хочу собрать дома HPC кластер - есть вопросы.
Много уже конечно прошло времени с открытия данной темы, но вдруг еще есть кто.
У меня задача увеличить скорость выполнения рендера хотя бы на порядок, в идеале конечно сделать масштабируемое решение. Вариант с распределением вычислений самим рендером не дает нужного порядка. В связи с этим стал смотреть в сторону кластерных технологий.
Вопрос: Могу ли я на (допустим) HPC-кластере запустить стороннее приложение, или как вариант запустить гипервизор и в нем запустить OS, которая сможет работать на всех ресурсах, которыми будет располагать кластер.
У меня задача увеличить скорость выполнения рендера хотя бы на порядок, в идеале конечно сделать масштабируемое решение. Вариант с распределением вычислений самим рендером не дает нужного порядка. В связи с этим стал смотреть в сторону кластерных технологий.
Вопрос: Могу ли я на (допустим) HPC-кластере запустить стороннее приложение, или как вариант запустить гипервизор и в нем запустить OS, которая сможет работать на всех ресурсах, которыми будет располагать кластер.
Re: Хочу собрать дома HPC кластер - есть вопросы.
у меня визы в 3DS Max рендерят, тут все просто - увеличивать кол-во нод в ферме. Недавно с Quad перевел на i7-2600 - скорость рендера почти в 3 раза увеличилась.Kuza писал(а):Много уже конечно прошло времени с открытия данной темы, но вдруг еще есть кто.
У меня задача увеличить скорость выполнения рендера хотя бы на порядок, в идеале конечно сделать масштабируемое решение. Вариант с распределением вычислений самим рендером не дает нужного порядка. В связи с этим стал смотреть в сторону кластерных технологий.
Вопрос: Могу ли я на (допустим) HPC-кластере запустить стороннее приложение, или как вариант запустить гипервизор и в нем запустить OS, которая сможет работать на всех ресурсах, которыми будет располагать кластер.
Думал на HPC сделать ферму, но 3DS Max не работает еще там.
Когда-то на ixbt обсуждали эту тему и там приводили вот такой вариант построения фермы: строится кластер на Linux, поднимается там Windows, а на ней уже запускается нужное приложение.
Получается виртуалка с сотней ядер

P.S. как бы не ругались, но у меня в ферме десктопное железо, стабильности под наши задачи вполне хватает. А вот для анимации и рендера в неделю уже нужны серверные железки.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Хочу собрать дома HPC кластер - есть вопросы.
Все зависит от прикладного софта. Например 3Дмакс сам имеет штатные средства организации фермы и костыли ему только повредят.
Решения для объединения нескольких машин в одну большую SMP существуют (например www.scalemp.ru), но целесообразность, особенно в свете цены, под большим вопросом. А вот виртуализация тут точно мимо кассы - она служит для прямо противоположной задачи.
Решения для объединения нескольких машин в одну большую SMP существуют (например www.scalemp.ru), но целесообразность, особенно в свете цены, под большим вопросом. А вот виртуализация тут точно мимо кассы - она служит для прямо противоположной задачи.
Re: Хочу собрать дома HPC кластер - есть вопросы.
не пугайте ценами на IB железо.
бу карты DDR можно купить по $100-$150. попадают довольно часто.
свитч можно купить за $250-500
только надо иметь терпение.
бу карты DDR можно купить по $100-$150. попадают довольно часто.
свитч можно купить за $250-500
только надо иметь терпение.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Хочу собрать дома HPC кластер - есть вопросы.
Вообще-то речь шла о другом.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей