Windows Server 2019. Сетевой трафик TX (10Gbit) имеет провалы скорости на 1-2 секунды.

[Lamer_Keks]

Добрый день!

Столкнулся с проблемой трафика передачи (копирование) крупных файлов (более 6GB) с сервера на сетевую шару, расположенную на другом сервере под Windows Server 2019
Скриншоты:
https://yadi.sk/i/_RJ9mS022o-7pg
https://yadi.sk/i/O_pl3mUejFqXIA

В качестве дисковых подсистем, отдающих файл на передающей стороне и принимающих на приемной, выступает 8 серверных накопителей SSD, объединенных средствами WS2019 в pool и виртуальный диск, эквивалентный RAID10.
Проведенные тесты внутри сервера показали, что каждый из виртуальных дисков на SRV1 и SRV2 дает на запись 1650мб/с.

Все тесты по копированию файлов более 5GB на шару и обратно, проводим с одного сервера и видим следующие эффекты:
1. При копировании на сетевую шару видим 1-2-секундные провалы в графике, повторяющиеся через каждые 3-5 секунд до конца процесса, при этом скорость копирования по верхней планке графика = 1,1 GB/s
2. При обратном копировании этих проблем нет - абсолютно ровный трафик процесса копирования и трафика сетевого адаптера в диспетчере задач.

Провалы НЕ наблюдаются в двух направлениях, а только в одном, на сетевую шару, что сбивает с толку.
Мне это кажется реальной проблемой, которая подтверждается измерением времени копирования на сетевую шару.
По времени копирования рассчитывается скорость, которая составляет примерно 630-660mb/s.
Скорость копирования в обратном направлении на локальный диск, без провалов, равна 1080-1100мб/сек
В качестве тестового файла брался архив RAR размером 20гб.

С помощью iPerf3 и CristalDickMArk v6.0/7.0 - таких проблем с провалами не наблюдается в обоих направлениях, сетевой адаптер утилизируется до 9,4-9,8 Gbit/s., графики загрузки сетевой карты ровные и почти достают планку в 10G.
Для тестирования с помощью CristalDickMArk v6.0/7.0 сетевая шара мапилась в качестве сетевого диска.

Может ли данный эффект быть просто особенностью представления информации в индикации процесса копирования и трафика сетевого адаптера в диспетчере задач? Как быть с различием скорости копирования одного и тоже файла туда и обратно?

Вопросы:
1. Интерпретировать это как проблему? Или это нормальное поведение?
2. Если имеем проблему, каковы пути решения?




==============================================================
По запросу готов предоставить дополнительную информацию.

Дополнительная информация:
(SRV1 и SRV2)
CPU Xeon E5-2640 v4
RAM 64 gb
m/b Supermicro X10SRL-F
Контроллер LSI SAS HBA 9300-8i (ssd подключены к портам этого контроллера).
8 х Intel D3-S4610 480GB (SSDSC2KG480G801)
Сетевой адаптер Intel X520DA2 SFP+ (трансиверы, кабели совместимы и исправны). Пробовались соединения через коммутатор 10G и напрямую. Коммутатор каких-либо ошибок, проблем на интерфейсах и очередях не регистрирует.

Адаптеры инсталлированы в слоты поддерживающие PCI-E 3.0 x8.
На серверах установлен Windows Server 2019 с последними обновлениями (из декабрьского дистрибутива v.1809.10 (17763.1637))
Установлены последние драйверы устройств с сайтов их производителей.
Встроенные на m/b 1G адаптеры отключены.
На адаптере Intel X520DA2 один порт активен и подключен к сети, второй отключен.

[Lamer_Keks]

Есть вот такая темка:
https://community.spiceworks.com/topic/ ... nce?page=1
Интересное чтиво на 21 страницу.....

RSS настроен,адаптеры повязаны по ядрам.
Попытки тюнить сеть и настройки драйвера не приводят к каким-то значимым результатам по заявленной теме.

Провел тесты с копированием файлов с помощью xcopy.
Наблюдается та же проблема, но если воспользоваться этой командой с ключом /J, то проблема себя не проявляет!
Копирование идет со скоростью достигающей 9GB/s в обе стороны и никаких провалов нет.

Вот найти бы такой ключик не только для xcopy.... ))

Игра с политиками кэширования дисков (в их свойствах) не решает проблему, скорее усугубляет.

В общем, пока решения не нашел....

[Lamer_Keks]

Попытки "переключиться" с сетевого стека CUBIC (WS2019) на старый DCTCP (WS2016) не дают ровно никакого результата, по крайней мере на "голом металле".

Код: Выделить всё

Get-NetTCPSetting | ft -AutoSize

SettingName      CongestionProvider MinRto(ms) InitialRto(ms) CwndRestart DelayedAckTimeout DelayedAckFrequency AutoTun
                                                                                                                ingLeve
                                                                                                                lEffect
                                                                                                                ive
-----------      ------------------ ---------- -------------- ----------- ----------------- ------------------- -------
Automatic
InternetCustom   CUBIC                     300           3000 False                      40                   2 Local
DatacenterCustom CUBIC                      20           3000 False                      10                   2 Local
Compat           NewReno                   300           3000 False                     200                   2 Local
Datacenter       CUBIC                      20           3000 False                      10                   2 Local
Internet         CUBIC                     300           3000 False                      40                   2 Local

Set-NetTCPSetting -SettingName "InternetCustom" -CongestionProvider DCTCP
Set-NetTCPSetting -SettingName "DatacenterCustom" -CongestionProvider DCTCP
Set-NetTCPSetting -SettingName "Datacenter" -CongestionProvider DCTCP
Set-NetTCPSetting -SettingName "Internet" -CongestionProvider DCTCP

Get-NetTCPSetting | ft -AutoSize

SettingName      CongestionProvider MinRto(ms) InitialRto(ms) CwndRestart DelayedAckTimeout DelayedAckFrequency AutoTuningLevelEffective
-----------      ------------------ ---------- -------------- ----------- ----------------- ------------------- ------------------------
Automatic
InternetCustom   DCTCP                     300           3000 False                      40                   2 Local
DatacenterCustom DCTCP                      20           3000 False                      10                   2 Local
Compat           NewReno                   300           3000 False                     200                   2 Local
Datacenter       DCTCP                      20           3000 False                      10                   2 Local
Internet         DCTCP                     300           3000 False                      40                   2 Local

Народ!
Кто использует сеть 10G на Windows Server 2019? Есть ли у вас какие-то проблемы?

[Lamer_Keks]

Установил на третьем сервере:
1. Windows Server 2016 и провел тестирование.
2. TrueNAS 12.0-U2 и также провел тестирование.
Конфигурация сервера даже похуже, чем описанных выше.
Материнская плата и контроллер тот же, процессором - затычка E5-2603 v4, памяти 128гб, сетевухи 10g той же модели.
Дисковая подсистема заменена на 12 x HDD SAS3.

На "другом конце", клиентом - все тот же сервер с Windows Server 2016/2019 - без изменения аппаратной конфигурации (см.выше).

1. Тестирование по п.1. Сервер и клиент Windows Server 2016/2019. Но на сервере пул из 12 х HDD, виртуальный диск, эквивалентный R10.
Проблемы с "провалами" трафика копирования - наблюдаются. Замена пула SSD на пул из HDD никакого результата не принесла.

2. Тестирование по п.2. Сервер - TrueNAS 12.0-U2 и клиент Windows Server 2016/2019.
Проблемы со скоростью и "провалами" см. выше исчезли.
В качестве сетевой SMB-шары используется таковая созданная на датасете ZFS на сервере TrueNAS.
Пулл создан на 12 x HDD: 6 х vdev (2 x HDD mirror)
Сетевой адаптер 10G полностью утилизирован в обеих направлениях (1,0-1,1 gb/s).

В обоих случаях при тестировании использовался и iperf.

В общем, попытка использовать Windows Server 2016/2019 в качестве хранилища, файлового сервера с использованием сети 10G на моем железе столкнулось с проблемами, описанными выше.
Виновата ли в этом эффекте только OS или связка с данным железом и его настройки - сказать не могу, т.к. свои возможности и компетенции я исчерпал, и решение нашлось только в смене OS файлового сервера.
Для меня это решение вынужденное, т.к. в приоритете стояло конечно же использование Windows Server 2016/2019 лицензии на который у нас имеются.