Решение для крупного кластера на базе Infiniband и GbE

[Archvile]

Имеется высокопроизводительная кластерная система (в стадии закупки), для которой  необходимо объединить в единую сеть 128 узлов по интерфейсу Infiniband, и 512 узлов по интерфейсу GigabitEthernet. Территориальная распределенность - помещение примерно 40x40 метров. Устанавливаемый в узлы адаптер infiniband: QHT7140-SP. Аппаратура коммуникации infiniband должна обеспечивать минимальную задержку.

Какое оборудование рекомендуете ?
Как я понимаю, в infiniband есть проблема с расстоянием <15м ? Т.е. надо изобретать "хитрую" топологию ?
Занимаетесь ли вы такими вещами ? Если да, можно ли получить от вас коммерческое предложение для закупки ?

Спасибо.

[Stranger03]

Узлы под какой ОС и ПО работают?

[Archvile]

уточню в течение часа; ОС скорее всего redhat 64bit

Главный волнующий вопрос - что делать с расстояниями

[Stranger03]

уточню в течение часа; ОС скорее всего redhat 64bit

Уточните, поскольку рекомендации по железу будут напрямую зависеть от используемого кластерного ПО. И как оно будет взаимодействовать с железом.

[Archvile]

уточнил про ОС - на узлах infiniband стоит linux suse, на узлах GbE стоит Windows, софт какой-то свой.

Попутно сразу еще вопрос - нормально ли заработает связка "адаптер QHT7140 - трансивер CX4 на оптику - свич Silverstorm 9120" (в даташите QHT7140 вроде сказано про поддержку) ?

[Stranger03]

"адаптер QHT7140 - трансивер CX4 на оптику - свич Silverstorm 9120" (в даташите QHT7140 вроде сказано про поддержку) ?

Вы про External fiber optic media support? Если честно я пока этого устроства в глаза не видел. Как правило для соединения мы использовали IBTA стандартный кабель к свичам. У него свой коннектор. По поводу подключения и использования софта напишу завтра, хочется уже домой поехать.

[Stranger03]

Общая картинка подключения инфинибенда и изернет файбера может выглядеть так: берете пару 9080 свичей, в нем учитываете необходимое количество файберных и инфинибендовых портов, к нему подключаете мелкие свичи 9024, хосты к мелким свичам. На линуксовые сервера с инфинибендом ставите IPoIB и вперед. Для виндовых серверов достаточно поставить драйвера для файберного изернета.