ZPOOL с log(zil) ssd. Скорость записи по FC выше 350мб. КАК?

[Lamer_Keks]

Приветствую!

Ведем эксперименты по созданию СХД на основе сервера Supermicro под OmniOS r151022 с Napp-IT.

Вопрос сводится к тому, что не удается утилизировать заявленную скорость SSD-кэша ZFS пула.
На чтение легко и стабильно получается 1600мб, на запись - максимум 350мб, хотя для установленного в качестве кэша диска Intel 3610 800 заявлено 500мб.

Нода и СХД соединены по FC c помощью Qlogic QLE2564.

Прошу помочь в поиске "узкого" места.

Сервер, на котором установлена Omnios:
1. Корпус CSE-836BE1C-R1K03B (бэкплейн BPN-SAS3-836EL1)
2. Мать X10SRL-F
3. Процессор E5-2603 V4 1,7Ghz
4. 13 дисков HGST 6ТБ SATA3 Ultrastar 7K6000
5. 1 диск Intel 3610 800gb
6. 4 x 16gb DDR4
7. QLE2564
8. HBA LSI SAS 9300-8i (содинен с бэкплейном одним кабелем HDmSAS-HDmSAS)

На сервре организован zpool с log(zil) ssd диском.
Есть ограничечение скорости в 330мб (максимум 350мб) при записи на СХД с внешней ноды под Windows 2016.
При этом если записывать на SSD внутри СХД, то такого ограничения нет.
Так как SSD находится в корзине, то проверялось скорость записи на SSD c массива.
Никаких проблем на уровне SAS не замечено.
Проблема возникает, как только пишем с внешнего источника-ноды, то есть имеем ограничение, теряется минимум 100мб.
Замечу, что на ноде Виндовый кэш на диск (через FC) отключен.


ВОПРОСЫ:
1. Затык из-за процессора (1,7ghz без турбобуста) хотя загрузка проца не превышает 70% на нагрузочных тестах?
2. Шина материнки? все карты находятся в слотах х8 PCI-E 3.0 (CPU), бэкплейн?
3. Ограничение на уровне OmniOS СХД?
4. Сам уровень записи при данной конфигурации может считаться нормальным, или достижим больший уровень, который обеспечивает SSD, т.е. заявленную производителем скорость записи?

Подскажите куда копать?

[p.rost]

Я добавлю схем, чтобы было более понятно.
Массивы zfs, контроллер чистый hba sas без кэша.

Запись в массив через fc карты (то есть через pci-e шину) упирается в 330 мегабайт.
Запись с массива на массив идет без проблем 450 мегабайт и более.

Чтение кэшируется в памяти, из памяти идет без проблем и передается без проблем 1600 мегабайт. (два линка fc по 8Гбит)

[gs]

Я не спец по ZFS, но разве кэширующий диск только пишет данные? Не переливает на диски?

Если уж так уперлась линейная скорость, поставьте PCIe ССДшку.

[p.rost]

Тут коллега не сказали, что есть вторая схд аналогичная на которой запись происходит нормально.
Надеюсь коллега распишет характеристики второй схд.
Запись блоков не превышающих объем ssd диска. ssd 400-800, а блоки по несколько гб.
Прошу не рассматривать Zпулы, я презентовал и один диск ssd как таргет, результат тот же.

[Lamer_Keks]

Я не спец по ZFS, но разве кэширующий диск только пишет данные? Не переливает на диски?

Если уж так уперлась линейная скорость, поставьте PCIe ССДшку.

Благодарю за ответ.

Коллега правильно написал, есть еще второй сервер:
1. Мать X10SLM-F
2. Проц. E3-1240V3
3. HBA Supermicro AOC-S3008L-L8i Тыц
4. 4 х 8gb DDR3
5. QLE2564
6. Корпус CSE-743TQ-865B
7. SSD 3610 400gb
8. 7 дисков HGST 6ТБ SATA3 Ultrastar 7K600

Софтовое окружение - аналогичное.

На данном сервере, скорость записи упирается в возможности SSD (400mb/s), выдается 370mb/s

А какую карточку PCI-e SSD посоветуете?
Для кэша большой объем не требуется, но у меня создалось впечатление, что быстрые карты имеют и большую емкость, следовательно и цена не оптимальна.

[p.rost]

схд с проблемой записи LOG (ZIL) Intel 3610 800gb Неужели процессор такое фуфло?

Код: Выделить всё

   Sequential Read (Q= 32,T= 1) :  1603.055 MB/s
  Sequential Write (Q= 32,T= 1) :   338.487 MB/s
  Random Read 4KiB (Q= 32,T= 1) :   400.146 MB/s [ 97691.9 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    89.910 MB/s [ 21950.7 IOPS]
         Sequential Read (T= 1) :  1013.299 MB/s
        Sequential Write (T= 1) :   202.589 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    48.650 MB/s [ 11877.4 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     9.512 MB/s [  2322.3 IOPS]

вторая схд без проблем LOG (ZIL) SSD 3610 400gb

Код: Выделить всё

   Sequential Read (Q= 32,T= 1) :  1600.685 MB/s
  Sequential Write (Q= 32,T= 1) :   376.075 MB/s
  Random Read 4KiB (Q= 32,T= 1) :   570.433 MB/s [139265.9 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   153.518 MB/s [ 37480.0 IOPS]
         Sequential Read (T= 1) :  1235.839 MB/s
        Sequential Write (T= 1) :   293.817 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    58.541 MB/s [ 14292.2 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :    13.212 MB/s [  3225.6 IOPS]

[gs]

Можно было бы грешить на процессор (таки 2603 - затычка для сокета, у 1240 частота вдвое выше), но у вас на второй машине и без очереди цифры выше - там до потолка процессора явно далеко.

[Lamer_Keks]

Можно было бы грешить на процессор (таки 2603 - затычка для сокета, у 1240 частота вдвое выше), но у вас на второй машине и без очереди цифры выше - там до потолка процессора явно далеко.

Откровенно говоря, я думаю также - действительно затычка.
Попробовали включить виндовое кэширование записи на ноде.
Попугаи сразу улетели в потолок.

Раздумываю над вопросами, в свете текущего положения дел:
1. чревато ли кэширование на запись для виртуалок на ноде (с учетом хорошего упса по питанию) или ну его нафиг - не испытывать судьбу?

2. Где б найти высокочастотный камешек на пробу вместе с хозяином, на полдня, можно даже рассмотреть компенсирующий пакет (с чем-нибудь жидким и вкусным - много!) ))
дабы отсеять мысли о приобретении другого.... или утвердиться в такой необходимости и жабу придушить. Беда в том, что пока не найдено такой возможности.
Нужен любой высокочастотный (> 3,5gHz) V3/V4 проц, E5-16xx/26хх.

3. Или на основании какого теста убедиться - что это проц? Перепробовали многое, что дает основание для подозрения проца, что не справляется, ведь грешить на шину вроде бесмыссленно, т.к. ее пропускная способность перекрывает потребную раза в два минимум.

4. Если победить сие не удастся - смысл тратить на кэш 3610 800gb? когда и 400-ка справится...

[setar]

на "подумать":
ZFS будучи заполненным больше 70% теряет производительность по экспоненте (известная архитектурная "фича")
ZIL при потере приводит к полной потере всего пула, вне зависимости от уровня рейда (никогда! нельзя ставить ZIL одним диском на продакшне)
один vdevs (слайс пула) обрабатывается одним потоком (читай ядром), при прочих равных на пулах с vdevs меньших числом чем ядер на проце, производительность выше будет у проца с большей частотой.
ZFS c числом vdevs меньшим чем 4 является очень низкопроизводительной по IOPS системой.
в приложении ZFS калькулятор, поиграйтесь (у меня только exe, исходников нет, без вирусов - распространялся как партнерская тулза nexenta)

[p.rost]

setar, всё давно уже поменялось.
ZFS будучи заполненным больше 70%, уже давно overflow protection и reservation учитывается и резервирует это пространство.
ZFS Log Recovery давно уже проходит без проблем, если полка упадет по питанию и данные не успеют закомитится в пул.
Чтобы потерять массив надо очень сильно постараться во время массивной операции записи что-то сделать с сервером.
Под log используется вполне себе надежный диск, который в любой момент можно снять и проверить утилитой от intel.
ZFS c числом vdevs меньшим чем 4 в поле компенсирует ssd 2017 года и диски такой же свежести.

19 Log device removal
23 Slim ZIL

[Stranger03]

"Lamer_Keks", "p.rost"
Коллеги, укажите пож-та город в профиле.

[Lamer_Keks]

на "подумать":
Один vdevs (слайс пула) обрабатывается одним потоком (читай ядром), при прочих равных на пулах с vdevs меньших числом чем ядер на проце, производительность выше будет у проца с большей частотой.

Благодарю за мнение, информацию.
Возможно отсюда следует вывод, что на проце имеет смысл отключить гипертрейдинг и таки заменить его на более высокочастотный?

[Stranger03]

Возможно отсюда следует вывод, что на проце имеет смысл отключить гипертрейдинг и таки заменить его на более высокочастотный?

Как минимум стоит попробовать.

[Lamer_Keks]

Возможно отсюда следует вывод, что на проце имеет смысл отключить гипертрейдинг и таки заменить его на более высокочастотный?

Как минимум стоит попробовать.

Согласен, попробовать стоит.
Где взять процессор на полдня... вот в чем вопрос. )
Купить - убедиться в приросте в 20мб - как-то .... ээээ ...нерентабельно.

А Питерский офис Тринити может помочь c тестом? если покупка проца будет обоснована по результату - куплю у вас.
Рассчитываю на E5-1630V4

[Stranger03]

А Питерский офис Тринити может помочь c тестом? если покупка проца будет обоснована по результату - куплю у вас.
Рассчитываю на E5-1630V4

Честно, даже не знаю. Сервер то покупали не у нас?