Jumbo frame на Intel Pro/1000 MT

[77Dragon]

Не включаются Jumbo Frames на Intel Pro/1000 MT Dual.

Идет настройка соединения для iSCSI.
Стоит Win2003Ent Sp2 с пакетом Scalable Networking Pack (kb950224) с поддержкой CTCP.
Включен RFC 1323, окно 20 Мб.
Стоит драйвер Intel от декабря 2008 года.
Трафик смотрится на свиче Cisco3750 с включенной поддержкой Jumbo Frames через зеркальный порт.

Вне зависимости от включенного/выключенного в драйвере TCP Offload и Jumbo Frames в сеть уходят пакеты размером не более 590 байтов. Число магическое, пакеты либо меньше, либо 590 байтов.

Где Jumbo Frames?

[and3008]

Давайте-ка по порядку.
CTCP - это фича, предназначенная для работы в сетях либо очень быстрых, либо в сетях "длинных". Суть в том, чтобы хосты работали с очень большим размером окна стека TCP/IP.

Технология Jumbo Frames работает только в гигабитных сетях.
У отправителя и получателя должны быть настроены сетевые платы на эту поддержку Jumbo Frames и сетевым оборудованием обеспечено прохождение больших пакетов по сети.

Смотрим сюда:
http://www.cisco.com/en/US/products/hw/ ... rison.html

Видим, что Catalyst 3750 имеет 24 или 48 портов 10/100 и два порта SFP, где может быть Гигабит.

Допустим вы подключили компы в двум SFP портам. А куда трафик зеркалируете? На 100-мегабитный порт? А разве не очевидно, что вы там Jumbo-фреймов вы там не увидите?

TCP-Offload - это фича, позволяющая сетевой карте заняться персчетом контролных сумм заголовков TCP-пакетов и разгрузить центральный процессор от этой задачи. Коммутатору в общем-то все равно, включена эта фича или нет. Это проблема сетевой платы и компьютера, в которая она стоит, а не проблема коммутатора. На длину пакета эта фича ну никак не влияет.

ИТОГО:
Либо вы неверно сказали что у вас за коммутатор, либо у вас это работать не будет в принципе, поскольку коммутатор у вас 100-мегабитный.
По поводу длины пакета вообще. Вы уверены, что ваше приложение действительно формирует длинные пакеты? Может оно формирует их короткие и ларчик просто открывается? Вы бы попробовали провести тесты программами, которые формируют именно большие пакеты. Кстати, тот же ping, запущенный с доп. параметрами может сгодиться.

[77Dragon]

Уточню фразу "свиче Cisco3750 с включенной поддержкой Jumbo Frames" - 3750G-24TS-S, имейдж "Advanced Enterprise". Размер пакета 9000 байтов.

После проведения тестов все стало еще более запутанным.
Jumbo Frames ping'ом ходят нормально (ICMP). Я их вижу в сети. Все работает.

То есть получается, что "виноват" инициатор iSCSI (MS) и/или TCP.

Но сниффер на машине с инициатором показывает, что в драйвер сетевой карты отправляются пакеты с неправильной TCP CRC (которую аппаратно потом рассчитывает TCP Offload) и размером 64 кБ (с которым работает Intel TCP Segmentation). Которые после выхода в сеть почему-то превращаются в TCP-пакеты длиной 590 байтов (вместо 9000 байтов).

[and3008]

Вот теперь все встало на места и приобрело интерес.

Вопросы:
1. Включен ли Jumbo Frame на сетевухе?
2. Какой размер фрейма указан на сетевухе
3. Какой размер фрейма указан на свиче? Кусочек конфига покажите.

Хорошо бы скриншоты настроек сетевухи...

[77Dragon]

Вот теперь все встало на места и приобрело интерес.

Вопросы:
1. Включен ли Jumbo Frame на сетевухе?
2. Какой размер фрейма указан на сетевухе
3. Какой размер фрейма указан на свиче? Кусочек конфига покажите.

Хорошо бы скриншоты настроек сетевухи...

На сетевой карте Jumbo Frame включен. Размер фрейма 9014 байт. TCP Offload включен "весь".
Размер фрейма на свиче в соответствии с Cisco White Paper: system mtu jumbo 9000

voffice#sh system mtu

System MTU size is 1500 bytes
System Jumbo MTU size is 9000 bytes

Далее. Проверяю iperf'ом со следующими настройками: размер буфера 9кБ, TCP-окно 1Мб.
Смотрю по-прежнему на зеркальном порте.
Всё чётко: пакеты бьются на 9014 байтов и 366 байтов, т.е. всё работает "как надо", реально ~980 Мbit, загрузка процессора низкая.

Но от iSCSI инициатора по-прежнему по 590 байт… шайтан…

[77Dragon]

Ещё уточнение.

Шлю файл C iSCSI target НА Intel - вижу Jumbo Frames ~8,5 Кб, работает отлично!.
Шлю файл С Intel НА iSCSI target - идут пакеты 590 байтов "TCP segment of reassembled PDU".

[and3008]

А ты пинг запускал с флагом запрета фрагментации?

И какой MTU у сетевого интрефейса в Windows? На обоих серверах!

[77Dragon]

А в чем вопрос, я же вижу Jumbo Frame?

Но мозги уже "не варят", запустил, "на всякий случай" . До 8973 байт пакеты с -f ходят нормально.

С другой стороны (таргета) Linux, там вообще никаких проблем нет и не было.

MTU на интерфейсах явно не установлен.

[77Dragon]

Это выше моего понимания.

Ставлю инициатор на свою машину, у меня Marvell Yukon. Включаю Jumbo Frame, подключаюсь к тому
же таргету.
Смотрю сниффер - ВСЁ РАБОТАЕТ. Jumbo "ходят" в обе стороны, всё "как надо".

Какая-то есть совершенно мне непонятная "засада" в связке iSCSI инициатор MS - драйвер Intel PRO/1000 MT.
И касается она только iSCSI пакетов...