Отличия сетей Infiniband

[init01]

Товарищи!
Кто-нибудь сравнивал по скорости и надёжности сети Infiniband ?
Или может кто-то видел где-нибудь статьи по этому поводу ?

Который день шарюсь по тем ссылкам, что дают гугл и яндекс - полная скукотища и неразбериха в голове.

В данный момент используем o2ib (OFED). Но интересно почитать про его отличия от openib (Mellanox).
А также про другие сети:
- cib (Cisco Topspin)
- iib (Infinicon InfiniBand)
- vib (Voltaire InfiniBand)
- ra (RapidArray)
- Elan (Quadrics Elan)
- SilverStorm

Может кто-нибудь направит в нужную сторону?

[setar]

Вы реально считаете что се эти железки могут быть сосредоточены у кого то в одном месте ?

А чтобы сравнивать по скорости и надежности нужно иметь к тому основания
Я например работал с сильверстором, никаких проблем с надежностью не имел и заявленную полосу пропускания (20,40 Gbps) получал
что там ещё тестировать то

[init01]

Ну не все, а к примеру кто-то брал парочку и сравнивал, по какой-то ведомой одному ему, причине.

А вообще, хотел просто почитать более-менее вразумительные статьи про каждую сеть. Туго у меня с поиском. Видимо гугл у меня неправильный.

[kp]

Похоже, что "неразбериха в голове". Разберитесь с основами... Протокол InfiniBand стандартизован.
Кроме полосы пропускания крайне важна латентность в HPC и других кластерных технологиях.
Если есть вопрос по конкретным вендорам - формулирйте. Есть опыт и с mellanox и c qlogic (Infinicon, SilverStorm).
Если говорить про стек и софт, могу подсказать по EOL ibgold (mellanox) - с него все начиналось, и конечно OFED c его производным от разных вендоров.
Людей использующих IB решения в промышленной эксплуатации действительно не много в России.

[init01]

Совершенно верно - именно "неразбериха в голове".
С Infiniband сталкивался на паре предприятий, но только на практике и минимумом - вставил контроллер в сервер, вставил контроллер в дисковый массив, воткнул провода - всё заработало. Вот типа того.
Никогда никаких теоретических знаний по этой теме не получал.

На данном предприятии у нас файловая система lustre. Сервера и дисковые массивы объединены IPoIB, а точнее o2ib. Для начала хотелось бы найти более-менее доступную теоретическую информацию по o2ib и для сравнения по openib.

В данный момент пытаюсь читать RFC 4391 и 4392, но как-то туговато идёт.

[kp]

Назовите оборудование: массивы, сервера и IB коммутаторы. Какие HCA используются?
Опишите задачу. Какая OC, ее версия?
C IPoIB понятно. SRP или iSER, как сконфигурирован target?
Какая версия IB стека и ПО уровнем выше?

[init01]

Задача 1. Изучить типы сетей ib.
Задача 2. Понять можно и стоит ли улучшать существующую межсерверную сеть?

ОС RedHat или CentOS, ядра 2.6.18-92.1.26.el5_lustre.1.6.7.2smp к примеру.
Контроллеры ISP2432-based 4Gb Fibre Channel for PCI Express HBA.

Про SRP, iSER и target прелестный вопрос. Поэтому и нужна теория, чтобы знать хотя бы какой командой или в каком файле смотреть уже существующие настройки.

[kp]

Понятно, значит с нуля...
1. Какие InfiniBand HCA используются? Что говорит lspci -tv?
2. Какая версия OFED? Посмотрите в rpm пакетах.

PS Совет: не пытайтесь ничего улучшать и менять на боевой системе пока не разберетесь... Тестовое окружение есть?

[init01]

Вы это имеете в виду?
+-0d.0-[0000:81-87]----00.0 Mellanox Technologies MT25418 [ConnectX IB DDR, PCIe 2.0 2.5GT/s]

Странно, что Mellanox. Получается, что это лишь фирма-производитель контроллеров.
Но
я думал что это наименование сети, так как в документации lustre написано о сетях ib:
- openib (Mellanox-Gold InfiniBand)
- cib (Cisco Topspin)
- iib (Infinicon InfiniBand)
- vib (Voltaire InfiniBand)
- o2ib (OFED - InfiniBand and iWARP)
а так как у нас o2ib, то я и решил, что у нас OFED.
Чем отличается o2ib и openib, Mellanox и OFED я пока что так и не понял.

По установленным пакетам нашёл лишь вот это похожее на то, что мы ищем:
- ofed-docs-1.3-3.el5
- infiniband-diags-1.3.6-1.el5
ничего более похожего нет.

не пытайтесь ничего улучшать и менять на боевой системе пока не разберетесь
Я и не пытаюсь. Возможно этого даже и не понадобиться. Но разобраться и разбираться в этом надо.

Тестовое окружение есть?
Что Вы подразумеваете под этим вопросом? Есть ли лишний сервер, на котором можно ставить эксперименты?
Конечно нету.

[kp]

Ребята из Mellanox (Израиль) первыми запустили производство InfiniBand чипов. Позже Qlogic купив Infinicon и SilverStorm научился делать свои. Сейчас большая часть IB железа (коммутаторы, шлюзы и HCA) строятся на микросхемах Mellanox и Qlogic. И на рынке HPC достойных альтернатив IB нет. Здесь лучшее отношение цена/производительность.

Современный стек и ПО под Linux и Windows - это OFED ( http://www.openfabrics.org ). Производители IB железа и ПО предлагают свой софт, но он основан на OFED. А драйвера HCA конечно пишет производитель микросхем. Также есть реализации для IBM Power, Oracle Sun SPARC и т.п.

В RHEL5 действительно включен обрезанный OFED-1.3. Но пакет быстро развивается, к примеру в OFED-1.5 появилась стабильная поддержка iSER target, NFS-RDMA, FCoIB, FCoE и т.д.

Все же опишите задачу и оборудование... И где человек, развернувший это решение?

PS У вас есть редкая возможность с этим разобраться. Опыт системного програмирования и администрирования есть?

[init01]

Спасибо за краткий экскурс.

Человека нету и не будет.

Задачи тоже как бы нету.

Есть только желание разобраться, что такое ib и их отличия.

Про оборудование:
SunBladы X62220 и X6240 c процессорами Dual-Core AMD Opteron 2220.

Опыт-то есть, хотя в linux не такой и большой, но хуже всего, что с английским туго, поэтому больше всего времени отнимает именно изучение документаций на этом прекрасном языке.

[init01]

Ребята из Mellanox (Израиль) первыми запустили производство InfiniBand чипов. Позже Qlogic купив Infinicon и SilverStorm научился делать свои. Сейчас большая часть IB железа (коммутаторы, шлюзы и HCA) строятся на микросхемах Mellanox и Qlogic. И на рынке HPC достойных альтернатив IB нет. Здесь лучшее отношение цена/производительность.

В общем, я так понял, что по железу два основных игрока, значит все отличия openib, o2ib, cib, iib и так далее состоят в архитектуре и программном обеспечении?
Вот как раз отличия архитектур меня и интересуют.
К примеру отличия сетей Ethernet, Token Ring, FDDI найти легко, а вот такую же бы статью, но про сети ib. Но не могу такого найти.
По HCA я вроде нашёл у каждой сети адапетры ценой в 1000 долларов.
По программному обеспечению информации не нашёл вообще.
Цены мне нужны лишь для того, чтобы после изучения сранительных характеристик в голове сложилась картина цена-качество, так как покупать в общем-то я ничего не собираюсь.
Опять же если сравнивать на неib-оборудовании, то к примеру у Cisco возможностей больше, чем у 3Com, но не зная, что Cisco дороже, будешь только удивляться: А зачем тогда люди пользуются 3Com?

Вот примерно то, что я хочу уместить в своей голове пока что.

[init01]

kp

А как обстоят дела с лицензированием?
Какие из вариантов бесплатные и сколько стоит и как оплачивается лицензия в платных?
Есть ли варианты с фиксированной суммой или платиться по процессорам или узлам или ещё чему-то?

[init01]

В общем выяснил, что OpenSM бесплатен.
Но цены на другие ПО так найти и не смог.
Может кто подскажет что почём?

Также выяснил, что вроде как лицензии распространяются на количество портов свичей.
А если свичей нету?
Если сеть состоит из одних контроллеров?

Ну остаётся открытым вопрос по типам InfifniBand:
В чём принципиальная разница к примеру o2ib и openib, или cib, iib и vib ?
А то я так и не нашёл архитектурных или структурных описаний.

Заранее благодарен!