Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S

[nimus]

Приветствую сообщество профессионалов и специалистов!

Прошу подключение коллективного разума для решения имеющейся проблемы )
Суть проблемы – КРАЙНЕ низкая производительность дисковой подсистемы на IBM BladeCenter S.

Конфигурация:
Шасси – IBM BladeCenter S 8886.
Корзина на 6 SAS HDD 3,5” (не внешняя) с установленными 6 SAS HDD 15000 RPM 300Gb (под стикером IBM легко узнается Seagate Cheetah, маркировка IBM – fru #43X0805).
2 SAS RAID контроллера (IBM SAS RAID Controller Module FRU # 43W3630, option # 43W3584).
2 лезвия HS22V (если оставить одно – суть проблемы не меняется).

Аппаратных ошибок нет, всё работает.

Проблема: при любой конфигурации пулов скорость пулов ниже скорости отдельного HDD, выделенного в отдельный пул. Скорость в принципе неудовлетворительная, на уровне десктопа, а именно:
- вне зависимости от уровня рейда и количества HDD в пуле скорость записи не выше 90МБ/сек. Например, для RAID 0+1 на 6 HDD, RAID 0 на 2-6 HDD, RAID 5 с любым кол-вом HDD.
- скорость чтения тем ниже, чем больше HDD в пуле. Достигнутый максимум – около 200МБ/сек на RAID 0+1 на 4 HDD. Для RAID 0 на 3-6 скорость ниже (от 200 до 150 Мб/сек, чем больше HDD тем ниже скорость).

Учитывая, что стоит два контроллера и они могут обслуживать разные пулы, максимум на чтении можно достигнуть выделив все винты в отдельные пулы и создав программный рейд в ОС (йопт, нафига ж два контроллера по $3500, если потом программный рейд лепить?). При этом скорость линейного чтения можно до 350 выжать. А вот запись всё равно не поднимается выше 90МБ/сек.

ИОПСы имеют такой же низкий порядок, как и скорость операций линейного чтения и записи. Другими словами, операции непоследовательного обращения к дискам не спасают ситуации, а усугубляют её. Тормозит всё по страшшшному.

Тестирование проводилось под разными ОС с пониманием сути вопроса Драйвера можно исключить, т.к. под linux, windows 2008 и 2008R2 результат одинаковый.

Итого: низкая скорость чтения падающая при наращивании HDD в пулы, очень низкая скорость записи на уровне 1/2 скорость записи одного HDD (к тому же для пула RAID 0, не равная скорости чтения с того же пула).

Судя по спецификации оборудования имеем 4х3Гбита/сек канал от корзины на каждый контроллер, по 3Гбита от каждого контроллера на каждое лезвие, 4Гбита между контроллерами для синхронизации, гигабитную шину для управления контроллерами.
Затыка на уровне 0,7Гбита (90МБ/сек на записи) в принципе не должно быть. Поэтому единственное предположение с моей стороны – глючные или неверно подобранные контроллеры, которые не стыкуются с прочим оборудованием.

Вопросы к знатокам:
1) может кто работал с подобным оборудованием, – какую производительность дисковой подсистемы гарантировано выжали из IBM BladeCenter S со встроенными корзинами?
2) знаком ли кто-нить именно с таким контроллером? не сталкивались ли с подобными траблами?

Ну и в принципе буду крайне благодарен за любые мысли и рекомендации. Не могу ввести новый сервер в эксплуатацию уже больше двух недель, т.к. работает медленнее трехлетнего с RAID 0+1 на SATA винтах 7200 250Гб. Нонсенс ((

[diz]

Заведите кейс в IBM. Первым делом вас попросят обновить FW всего.

[nimus]

FW всего что есть - обновлены. Написал запрос в московский ИБМ. Ответ просто супер: "Все прошивки у вас свежие, железо вроде работает. А если медленно работает - мы тут ни при чем. Говорите с тем, кто вам его продал, т.е. региональным дилером."

[gs]

Я честно говоря, не знаю этого контроллера, но мысли вслух - а) закончена ли инициализация, б) включен ли райт кэш контроллеров?
Скорость записи двухконтроллерной системы как правило не блещет из-за кэш-мирроринга.

Чем и как мерили иопсы? Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.

А и правда - что говорит продавец? Кто сайзил аппарат?

[ITER]

Чем и как мерили иопсы? Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.

Интересная мысль. А по моему система, плохая на линейной нагрузке, ничего хорошего и при рендомной не покажет.

[nimus]

а) закончена ли инициализация

Да, конечно. Если говорить о тестировании в RAID 0, то там и инициализация то несколько секунд. При RAID 5 и 0+1 все тесты проводились после завершения инициализации. Процесс инициализации хорошо виден через storage configuration manager в разделе "long running tasks". Для проверки дополнительно перед тестом ножками в серверную )) Винты не мигают, нагрузки нет никакой.

б) включен ли райт кэш контроллеров?

Для данных контроллеров настроки кэша достаточно скудные. Всё, что я нашел - это изменение ряда параметров через CLI:

Код: Выделить всё

<CLI> cache
No Parameter selected for cache ,select either -get|-set

COMMAND-HELP: cache
Usage                    : cache -[get | set [-volumesetting -seqpostreadcmdsize [SIZE] -seqreadaheadmargin [MARGIN] [-systemdefault]
                            [-volumename [POOL:VOLUME]] | -ctlrsetting -writecachepolicy [on|off] [-suspendmigrates] ]
SIZE                     : Sequential Post Read Command Size is the maximum sector count of a single predictive read ahead.
                           A value of 0 disables predictive  read for this volume. A value of 1-128 will override the
                           previous setting and represents a command transfer size that is a multiple of 16Kbytes.
                           A value of (0xFFFF) will cause the default value to be used.
MARGIN                   : Read Ahead Margin is the number of sectors in the read ahead buffer. This parameter is ignored
                           if the Sequential Post Read Command Size is zero. The valid range is 1 to 0x7FFF.
                           A value of (0xFFFF) will cause the default value to be used.
POOL                     : name of pool which has the volume.If the pool name is not specified, system default would be changed.
                           If pool name is specified but the volume name is not specified, the cache settings would be applied to all
                           the volumes in the pool.
VOLUME                   : name of volume
[-get]                   : This option can be used to display the current controller cache settings and
                           current system default values for volume cache settings.
[-writecachepolicy]      : WriteCachePolicy is set to specify the write cache policy.
                           If none of the cache options are provided, current system default will be used.
[-volumesetting]         : If volume is selected then the volume write cache policy settings are set.
[-systemdefault]         : When this option is used along with the volumecache settings, it sets the system default in the controller.
                           The system default values are used as default for all the new volumes being created in the system.
                           The system default can be seen by issuing this command with -get option.
[-volumename]            : Volume name can be specified with the volumesetting option to change the settings for those volumes.
                           If volume name is not specified, the setting is changed for all volumes in the system.
[-ctlrsetting]           : If ctlr option is selected,the write cache settings for the controller are set.
[-suspendmigrates]       : If suspendmigrates  option is selected along with DISABLED policy, all the volume
                           services that relocate user data are suspended until the write cache policy is enabled.



<CLI> cache -get
Current Machine Local Time: 10/20/2010  05:19:39 PM
Controller Write Cache Policy:

 ____________________________________________________________________________
|   Current Settings                 |     Current System State              |
|____________________________________|_______________________________________|
| Write Cache Policy:   Enabled      |  Controller Write Caching:  Enabled   |
| Suspend Migrates:     On           |                                       |
|____________________________________|_______________________________________|


Volume Write Cache Policy:

 _______________________
|   System Default      |
|_______________________|
|         Battery detect|
|_______________________|


Sequential Read Params:

 _________________________________________________
|   PostRead Cmd Size        | Read Ahead Margin  |
|____________________________|____________________|
|                           0|               16384|
|____________________________|____________________|

При создании пула также режим кеширования не выбирается. На уровне ОС игрался с различными режимами, благо в windows server 2008 r2 даже write back можно в ОС включать. Собственно, какой бы режим работы кеша не был включен, физическая скорость записи остается на уровне до 90МБ/сек.

Скорость записи двухконтроллерной системы как правило не блещет из-за кэш-мирроринга.

Тоже на это грешил, хотя между контроллерами для этого и лежит отдельная шина на 4Gb. Проверил достаточно легко. Выдернул один контроллер ) Ну и данная система один пул обслуживает только одним контроллером, что видно в CLI. Поэтому наверняка причина тормозов не тут.

Чем и как мерили иопсы?

IOMeter. В первую очередь на dbpattern (40% запись, 60% чтение, 100% не последовательно). Отдельно для линейных операций чтения и записи с блоками от мин до макс. Для проверки кроме ИОМетра использовались еще несколько тестовых пакетов. Результат одинаковый и стабильно низкий.

Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.

Соглашусь с ответом ITER:

система, плохая на линейной нагрузке, ничего хорошего и при рендомной не покажет.

Зачастую показываю скорость линечного чтения как хорошо осязаемый параметр. Достойные ИОПСы для такой подсистемы трудно посчитать, т.к. для отдельного устройства они не заданы в спецификации. А скорость линечного чтения и записи известна. И тут уж как ни крути, но для 5-ти дисков она не должна быть меньше, чем для одного.

А и правда - что говорит продавец? Кто сайзил аппарат?

А что есть "сайзил?".

Продавец по сей день убеждает, что так и должно быть вместо устранения проблем. Вдобавок обвинил в технической некомпетенции, заявив что это очень досточный уровень производительности, особенно с учетом надежности купленной техники. Убило заявление продавца, что медленно работает в RAID 0, т.к. у меня медленные лезвия и бюджетный контроллер... Это диагноз...

После двух недель лекций на тему "так и должно быть" обратился в представительство IBM в России. Ответ писал сразу: "аппаратных проблем нет, прошивки свежие, а если ждете больше производительности - это не к нам. Мы отвечаем только на вопросы по нерабочему железу.". Устно направили к продавцу, тихо устранившись.

От продавца пользы по этот день никакой. Сегодня снова обратился на Russia Service HW [hwsupport@ru.ibm.com], напомнив, что по условиям гарантии ИБМ обязуется не просто работающую машину поставить, а соответствующую спецификации. В ответ хотя бы запрос прислали на предоставление дополнительной инфы по настройкам теста для проверки, не гонял ли я в 8 потоков.

Итог: 3 недели общения с ОФИЦИАЛЬНЫМИ представителями IBM без результата.

[exLH]

Для начала: http://www-947.ibm.com/support/entry/po ... GR-5081397

ИОПСы имеют такой же низкий порядок

Какой именно?
В терминах "низкий"-"высокий", "большой"-"маленький" обсуждать что-либо проблематично.

От продавца пользы по этот день никакой.

Ну ведь продавец Вам оборудование поставил? В срок? Вот от него и польза. Вы с ними заключали какой-то контракт на предмет настройки или других работ?

Устно направили к продавцу, тихо устранившись.

Вы приобретали какой-либо расширенный сервис от IBM? Какой именно? В рамки этого сервиса Ваша проблема попадает?

[nimus]

exLH, спасибо за ценные замечания.
Касательно

http://www-947.ibm.com/support/entry/po ... GR-5081397

Кеширование в ОС включалось, но главное то, что тестирование кроме windows проводилось на двух версиях linux (red hat и asp linux). Проблема не в том, что кэш работает не достаточно эффективно или не работает, а в том, что низкая именно производительность без кеша. Это очень сказывается на результатах тестирования, где кеш не помогает. Ну и на реальных задачах (сервер брался как сервер SQL под 1С8, на чем и проводилось живое тестирование). Простой пример: идет последовательное обращение на запись к одной и той же таблице. Даже при write-back следующая операция записи блокируется пока не завершена предыдущая, если для записи надо использовать один и тот же объект. В результате время выполнения любых файловых операций примерно равно выполнению их на десктопе с одним SATA HDD 2-х летней давности (например, Seagate Barracuda 7200RPM 300Gb). Ну а винты поновее еще и хорошо обгоняют нашу новую корзину. И тут я сравниваю с десктопом, где не массив, а один винт.

В ИОПСах (при тестировании через IOmeter, раздел на весь пул, пул на 5HDD в RAID 0):
1. DB pattern: чтение/запись в случайном порядке (60% чтение / 40% запись), размер блока 4Кбайт - 110-120 IOPS; 0.4-0.5 МБ/сек.
2. Последовательное чтение, размер блока 32 Кбайт (IOPS / МБ в сек) = 3000 / 125.
3. Последовательное чтение, размер блока 512 байт (IOPS / МБ в сек) = 11500 / 5,5.
4. Последовательная запись, размер блока 32 Кбайт (IOPS / МБ в сек) = 2500 / 67.
5. Последовательная запись, размер блока 512 байт (IOPS / МБ в сек) = 7300 / 4,3.
(показания округлены, но порядок сохранен).

Если есть результаты подобного тестирования для BladeCenter S - очень буду признателен. Я их сравниваю с результатами тестирования имеющихся серверов, значительно более слабых.
1. Производительность хранилища на встроенном в материнскую плату бюджетном контроллере в режиме RAID 0+1 на 6 дисков SATA 7200RPM 250Gb как раз примерно равна аналогичной на дисках SAS 15000RPM 300Gb с несоизмеримо более шустрым контроллером и широкими шинами.
2. Производительность дисковой подсистемы на 4 SAS диска 67Gb в сервере Dell на бюджетном контроллере - выше обсуждаемой машинки примерно в 2 раза.

Ну ведь продавец Вам оборудование поставил? В срок? Вот от него и польза. Вы с ними заключали какой-то контракт на предмет настройки или других работ?

Вы видно не обратили внимание, что к поставщику главная претензия в другом. Поставщик убеждает, что данная производительность есть нормой. Он, в принципе, не готов с этим бороться. Заключать контракт в данном случае бесполезно, особенно учитывая вышеприведенные аргументы (например, убежденность поставщика, что скорость работы в RAID 0 вырастет, если поставить в лезвия процессоры быстрее 2,4Ггц). Заплатим за рекомендации подкупить в будущем лезвия побыстрее и новое шасси

Кроме того, к поставщику также должны быть претензии, если он поставил неработающее оборудование, или оборудование не соответствующее спецификации. На второе и есть подозрения. Может вопрос в нестыковке компонентов, может в проводах, может в соединении конструктивных элементов.
А по делу ли претензии - это и пробую выяснить, за участие в чем - благодарность ) Если подозрения на сборку/подбор компонентов не пропадут - только тогда это выльется в официальную претензию поставщику.

Вы приобретали какой-либо расширенный сервис от IBM? Какой именно? В рамки этого сервиса Ваша проблема попадает?

Суть решаемой проблемы, насколько я вижу, подпадает под стандартные условия гарантии IBM. Согласно ней машина должна не просто работать, а соответствовать спецификации. Спецификации на машину есть, производительность дисковой подсистемы им не соответствует минимум в 4 раза. Из учета, что проведенное детальное тестирование подтверждает, что проблема не в ОС или настройках, требуется, чтобы кто-то тыкнул носом, что дело всё же в кривых руках и малом объеме знаний, который не позволяет выжать из дисковой подсистемы заявленную производительность.

[exLH]

спасибо за ценные замечания.

Пожалуйста.

Касательно ключевых моментов:

машина должна не просто работать, а соответствовать спецификации

Все верно. "IBM гарантирует, что каждая Машина не содержит дефектов материалов и производства и соответствует своим Спецификациям. “Спецификации” - это информация, определенная для Машины, содержащаяся в документе, озаглавленном “Официальные Опубликованные Спецификации”, который можно получить по запросу."
Какому именно из пунктов спецификации не соответствует имеющаяся у Вас техника?

к поставщику также должны быть претензии, если он поставил неработающее оборудование, или оборудование не соответствующее спецификации

Несомненно! Ответьте (для себя) на вопрос: оборудование не работает или оно работает, но не так как Вы ожидали?
Теперь к терминам. "Спецификация" в терминах гарантийных условий IBM это некоторые параметры (вес, размер, тип интерфейса и т.п.) компонента. "Спецификация" в терминах договора купли-продажи, который Вы скорее всего заключали со своим поставщиком, это список наименований и моделей компонентов, входящих в состав поставляемого оборудования. Несмотря на схожесть, это немного разные вещи.
Простой пример: в рамках договора с поставщиком поставленный Вам контроллер p/n 43W3584 с отсутствующей внутри кэш памятью (ну представим, что на заводе IBM кто-то ошибся) спецификации соответствует (да, конечно, при этом является товаром ненадлежащего качества, но спецификации в договоре все-таки соответствует), но несомненно является несоответствующим спецификации в терминах гарантийных условий IBM. Поэтому Вы вправе обратиться к поставщику или в IBM за заменой.
У Вас сейчас претензия к спецификации к договору с поставщиком или к спецификации IBM?
Кто подбирал для Вас конфигурацию блейда? На каких условиях? Кто разрабатывал проект?

Если подозрения на сборку/подбор компонентов не пропадут
Кто подбирал компоненты, кто собирал шасси? На каких условиях?

Повторяю вопрос из прошлого поста: какой расширенный сервис был закуплен вместе с серверами?

Что касается второй проблемы (непосредственно производительности), то здесь все сложнее. Конечно указанные данные (если смотреть "грубо") скорее свидетельствуют о наличии проблеем, нежели об их отсутствии. Но удаленно поставить диагноз сложно, да и город "Дн-дз" наверное далеко от Москвы (я так и не слышал о таком).
Какие карты установлены в HS22 для подключения к дискам? Какие коммутаторы еще стоят в шасси?

[nimus]

Для логической связности отвечу на вопросы в обратном порядке:

город "Дн-дз" наверное далеко от Москвы (я так и не слышал о таком)

)) Подправил в профиле на ДНепроДЗержинск. От Москвы действительно далековато, этак около 1000 км.

Кто подбирал компоненты?

У меня не было целью вынести на обсуждение название организации, уровень услуг которой я счел недостаточным, поэтому я специально старался не писать этой информации. Машина была поставлена (собрана) компанией "ДнепрТехноЦентр", г.Днепропетровск. Компоненты подбирались представителями этой же компании. С нашей стороны были выставлены требования к производительности и архитектуре. Т.к. узким местом старого сервера является дисковая подсистема, то акцент был сделан на производительной корзине. "Производительной", конечно, относительно. Не на 120 дисков, но обязательно не SATA, со скоростью вращения шпинделя 15000, с хорошими показателями позиционирования и трансфера на линейных операциях. Подобранная конфигурация была предоставлена нам, по "спецификациям" на отдельные её части мы проверили, что теоретическая производительность должна быть достаточной. Вот отсюда и понимание термина спецификация.

Раз уж с этим термином есть непонятки, буду писать "заявленные характеристики". Так вот, заявленные характеристики:
- 4 шины по 3 Гб от каждой корзины на каждый САС контроллер (у нас корзина одна, т.е. 12 Гбит от неё на первый САС контроллер и 12 на второй);
- от каждого САС контроллера до каждого лезвия по 3 Гбита;
- 4 Гбита между контроллерами;
- чип в каждом контроллере LSI 1064E обрабатывает до 4 ГБайт в секунду;
- 6 HDD со средней линейной скоростью чтения и записи около 170Мб/сек;
- если контроллера два, то пулы распределяются между контроллерами, т.е. максимум от RAID подсистемы до лезвий можно выжать до 6 Гбит, но на один пул не более 3 Гбит;
- дополнительная управляющая шина САС контроллеров по Гбит.

Вот тут как раз один из главных вопросов, ради которого была открыта тема: может мы что-то упустили в заявленных характеристиках оборудования? Может и не должно оно работать быстро?

Судя по характеристикам, ожидаемая скорость получения данных от массива на 5-6 HDD такого типа в данной конфигурации = до 380 МБайт в секунду на один пул, до 760 в общем, если нарастить кол-во корзин и параллельно использовать два пула, скорость устройств в которых выше этого предела. Ограничение (узкое место) - это шина контроллер-лезвие.

Данные характеристики (в моем понимании - спецификация характеристик) учитывались при принятии решения о том, подходит ли оборудование.

Кто собирал шасси?

Подозреваю, что поставщик. Схему сборки машин ИБМ я не знаю, может с завода приходит всё по деталям, а может в сборе.

На каких условиях?

По договору поставки, согласно которому поставщик привозит машину, а также "гарантирует её бесперебойную работу в течение гарантийного периода" (в качестве уточнения смягчение до замены в течении часа неработающей компоненты или машины).

Повторяю вопрос из прошлого поста: какой расширенный сервис был закуплен вместе с серверами?

Я не могу сказать, какой из расширенных сервисов в рамках Вашей терминологии был закуплен. Машина куплена по решению Тендерного Коммитета крупной финансовой группы, условия поставки и обслуживания для участия в торгах тут выставляются заказчиком, а не берутся по одной из типовых форм расширенного сервиса. Так, например, я не знаю, замена в течении часа есть частью какого из сервисов.

Какие карты установлены в HS22 для подключения к дискам? Какие коммутаторы еще стоят в шасси?

Лезвия стоят HS22V, т.е. те, у которых больше слотов памяти, но нет места под внутренние HDD 2.5". В них установлен "Адаптер SAS Connectivity Card (CIOv) for IBM BladeCenter".

Также в шасси стоит сетевой свитч на 6 портов и Server Conn Mod.

Что касается второй проблемы (непосредственно производительности), то здесь все сложнее. Конечно указанные данные (если смотреть "грубо") скорее свидетельствуют о наличии проблеем, нежели об их отсутствии.

Попробую скриншотом показать иллюстрацию, по которой видно, что проблема в виде явного органичения шины/контроллера имеет место.

В данном случае работает одно лезвие, кроме тестового приложения никто не обращается к корзине. Тест линейной записи на пул из 5 винтов в RAID 0. По характеристикам оборудования должны упереться в 3 Гбита, т.е. немного меньше 380 МБайт/секунду. Пул один, обслуживает его в единицу времени только один из контроллеров, поэтому предел именно такой, а не выше в 2 раза. По факту имеем около 90 МБ/сек.

Ответьте (для себя) на вопрос: оборудование не работает или оно работает, но не так как Вы ожидали?

Однозначно второе, о чем сразу написал. Точнее сказать: оборудование работает не так, как ожидаЮ и сейчас, т.к. не вижу причин для такой прозводительности.

[diz]

Вау, никогда в HDTUNE не видел такой картинки..

[Black-Dragon]

Такое ощущение, что какая-то настройка (по режиму работы какого-то интерфейса) неверно установлена.


P.S. Насчет скорости в линейных и случайных операциях. Прямой пропорциональности нет.
Нельзя даже сказать, что устройство, в среднем более быстрое в линейных операциях, будет быстрее и в случайных. Это, в общем случае неверно. Причем неверно очень нередко.

[nimus]

Такое ощущение, что какая-то настройка (по режиму работы какого-то интерфейса) неверно установлена.

И я в этом же направлении думаю. Проблема в том, что в настройках шасси режимы работы шин и контроллеров не фигурируют, в настройках контроллеров тоже.

P.S. Насчет скорости в линейных и случайных операциях. Прямой пропорциональности нет.
Нельзя даже сказать, что устройство, в среднем более быстрое в линейных операциях, будет быстрее и в случайных. Это, в общем случае неверно. Причем неверно очень нередко.

Со всем сказанным согласен полностью. В данном случае пропорция чуть менее выраженная, чем на десктопе, но есть. Т.е. под параллельной нагрузкой производительность падает значительно, но чуть меньше чем на отдельных винтах. Не в разы, как хотелось бы (

[exLH]

У меня не было целью вынести на обсуждение название организации

Название абсолютно не требуется: достаточно озвучить одно из: "мы", "поставщик", "ibm", "некая компания, которая проиграла тендер поставщику".

Так вот, заявленные характеристики:

Откуда Вы их в таком виде взяли, если не секрет?

. Так, например, я не знаю, замена в течении часа есть частью какого из сервисов.

Ну только если в именном контракте. Подозреваю что сюрпризы Вас еще ждут.

проблема в виде явного органичения шины/контроллера имеет место

При всем уважении, картина из HDTUNE не может никоим образом характеризовать ограничения шины или контроллера.

Предлагаю указать настройки иометра, на которых были получены такие результаты:
DB pattern: чтение/запись в случайном порядке (60% чтение / 40% запись), размер блока 4Кбайт - 110-120 IOPS; 0.4-0.5 МБ/сек.
В частности, outstanding ios.

[ITER]

Раз уж с этим термином есть непонятки, буду писать "заявленные характеристики". Так вот, заявленные характеристики:
- 4 шины по 3 Гб от каждой корзины на каждый САС контроллер (у нас корзина одна, т.е. 12 Гбит от неё на первый САС контроллер и 12 на второй);
- от каждого САС контроллера до каждого лезвия по 3 Гбита;
- 4 Гбита между контроллерами;
- чип в каждом контроллере LSI 1064E обрабатывает до 4 ГБайт в секунду;
- 6 HDD со средней линейной скоростью чтения и записи около 170Мб/сек;
- если контроллера два, то пулы распределяются между контроллерами, т.е. максимум от RAID подсистемы до лезвий можно выжать до 6 Гбит, но на один пул не более 3 Гбит;
- дополнительная управляющая шина САС контроллеров по Гбит.

Надеюсь вы не подумали, что производительность рейд контроллера на линейных операция равна суммарной пропускной способности всех шин от него к дискам? А то если вдруг подумали, то это вы зря