Linux RAID6 samba 35MB/s ?

[BAF]

Может кто подскажет что нужно настроить.
Ссервер
PentiumD3.4/1GB
3WARE 9650 ML 12 SATA
Linux OpenSUSE ядро 2.6 Samba 3.0
внутренняя скорость дисковой подсистемы ~300MB/s
копирование видео файла с RAID на RAID ~150MB/s
Хотелось бы раздавать видео под монтаж

При подключении к серверу по сетке 1Gbit
SAMBA
запись 60MB/s а чтение с samba всего 32MB/s

По NFS чтение с сервера 45MB/s
По FTP чтение с сервера до 50-65MB/s для одного клиента
для 2 клиентов ~65 в пиках до 100MB/s ¶

При нормальной работе должно быть около 100MB/s в обе стороны?
Что можно сделать? ¶

[and3008]

Думаю покрутить сеточку сперва. Jumbo-фреймы включить на сетевухе и коммутаторе. MTU увеличить на Линуксе и на клиенте.

Ну и доку по тюнингу Самбы почтитать. На www.samba.org весьма обстоятельные и понятные доки имеются.

[BAF]

3Com Baseline Switch 2848-SFP Plus в настройках не нашел Jumbo frames
судя по статистике в WEB интерфейсе пакеты от 1024 до 1522 проходят

в настройках сетевых карт MTU по умолчанию 1500
ИМХО если их увеличить то через SWITCH не пролезут.

Заметил что скорость зависит от размера блока
самая низкая скорость чтения от 64KB до 4MB

а на 16К и 32К скорость около 70MB/s
правда запись на 16К около 20MB/s

Получается все идеально
если писать и читать с сервера по 32KB
скорость записи 80MB/s чтение 70MB/s


Может сетевухи виноваты? На маме стоят два Marvell 88E8053
Может что посоветуете на PCI-express с 2 портами?

[and3008]

Ну как бы эта... Все равно, что желать ездить быстро, спрашивать где купить Феррари, а дороги делать - даже мыслей нету.

Ваша проблема - коммутатор. Он тупой как пробка и предназначен для офисных сетей, наводненных секретарями и менеджерами. Этот свитч не предназначен для обработки сколь-нибудь серьезного трафика. Чего-нибудь приличнее купите для вашей задачи.

Про www.samba.org сказал. Вы даже ухом не повели.
Настоятельно советую:
http://us1.samba.org/samba/docs/man/Sam ... speed.html

Двухпортовые сетевухи вы купите, а что с ними делать будете подумали? Подумайте. Не все так просто может статься, как вам кажется.

Почитайте что такое Jumbo Frame в сетях. Для ваших задач это архи актуально.
Так же может помочь включение механизма NAPI в Linux для ускорения производительности системы и сети.

Помните, что далеко не всегда получается сделать быстрый компьютерный ящик, просто насовав в нее самых крутых железяк, да по-больше. Все совсем не просто...

[BAF]

Убедили!
C JUMBO работает быстрее на 20% но не самба.

Проблема с JUMBO на стороне клиента
на Desktopных мамах встроенные сетевухи
или драйвера под XP  JUMBO не потдерживают.

Я так понял что с SAMBA хорошего мотажа не получится  :(
Самба на передачу загружает одно ядро под завязку.
другое чуть-чуть. Open_iSCSI грузит равномерно.

Остановился на Open_iSCSI, Microsoft iSCSI initiator и MelioFS.
Может посоветуете еще какое нибудь решение.

Столкнулся еще с одной проблемкой:
при большой сетевой нагрузке отваливаются адаптеры Marwell
причем Linux живет, ifconfig говорит что все нормально, из сети
до сервера недостучишся

[and3008]

У Marvell-а не совсем хорошие драйверы бывают.

Стандартные вопросы: Версия ядра Линукс и что за железо у вас?

[BAF]

Мама не серверная
Foxconn 975X7AA-8EKRS2H /PentiumD 3.4/RAM-2GB
сетевухи встроенные

SUSE10.2 ядро 2.6.18.2-34-default
BOND 2x88E8053 PCI-E Gigabit Ethernet Controller
при одиночном подключении тоже отваливаются

[apelsin]

a bond режим какой?   `grep bond /etc/modprobe.conf`

[apelsin]

советую сетевуху сменить.  поиск 'linux sky2 driver' выдают много интересных результатов ...

лучше всего приобрести что-нубудь на базе интела, линукс драйвер e1000  или броадкома BCM57xx, драйвер tg3

[BAF]

modprobe.conf.local
alias bond0 bonding

ifcfg-bond0
BONDING_MASTER="yes"
BONDING_MODULE_OPTS="miimon=500 mode=2 downdelay=2000 updelay=5000"
BONDING_SLAVE0="eth0"
BONDING_SLAVE1="eth1"

сам бы рад поменять денег пока нет

[apelsin]

попробуйте load_alb, этот режим получше
предварително только убедитесь что карта/драйвер поддерживает
ethtool `#ethtool eth0; ethtool eth0`

BONDING_MODULE_OPTS="mode=6 miimon=100"

[BAF]

# ethtool eth0
Settings for eth0:
       Supported ports: [ TP ]
       Supported link modes:   10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Supports auto-negotiation: Yes
       Advertised link modes:  10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Advertised auto-negotiation: Yes
       Speed: 1000Mb/s
       Duplex: Full
       Port: Twisted Pair
       PHYAD: 0
       Transceiver: internal
       Auto-negotiation: on
       Current message level: 0x000000ff (255)
       Link detected: yes

То есть не потдерживает?
Я так понял  load_alb потдерживает до 4карт одна карта работает на прием-передачу остальные на передачу.

[apelsin]

ethtool  у вас карта поддерживает, т.е alb режим будет работать.

alb балансирует  прием и передачу раскидывая трафик раскидывая пакеты по разным mac адресам.  На количество карт вроде органиченый нету.  

http://linux-net.osdl.org/index.php/Bonding

   *

     balance-alb or 6
         Adaptive load balancing: includes balance-tlb plus receive load balancing (rlb) for IPV4 traffic, and does not require any special switch support. The receive load balancing is achieved by ARP negotiation.

   The bonding driver intercepts the ARP Replies sent by the local system on their way out and overwrites the source hardware address with the unique hardware address of one of the slaves in the bond such that different peers use different hardware addresses for the server.
   Receive traffic from connections created by the server is also balanced. When the local system sends an ARP Request the bonding driver copies and saves the peer's IP information from the ARP packet.
   When the ARP Reply arrives from the peer, its hardware address is retrieved and the bonding driver initiates an ARP reply to this peer assigning it to one of the slaves in the bond.
   A problematic outcome of using ARP negotiation for balancing is that each time that an ARP request is broadcast it uses the hardware address of the bond. Hence, peers learn the hardware address of the bond and the balancing of receive traffic collapses to the current slave. This is handled by sending updates (ARP Replies) to all the peers with their individually assigned hardware address such that the traffic is redistributed. Receive traffic is also redistributed when a new slave is added to the bond and when an inactive slave is re-activated. The receive load is distributed sequentially (round robin) among the group of highest speed slaves in the bond.
   When a link is reconnected or a new slave joins the bond the receive traffic is redistributed among all active slaves in the bond by initiating ARP Replies with the selected mac address to each of the clients. The updelay parameter (detailed below) must be set to a value equal or greater than the switch's forwarding delay so that the ARP Replies sent to the peers will not be blocked by the switch.

       * Prerequisites:
            1. Ethtool support in the base drivers for retrieving the speed of each slave.
            2. Base driver support for setting the hardware address of a device while it is open. This is required so that there will always be one slave in the team using the bond hardware address (the curr_active_slave) while having a unique hardware address for each slave in the bond. If the curr_active_slave fails its hardware address is swapped with the new curr_active_slave that was chosen.

[BAF]

Получается для работы в balance-alb or 6 режиме Switch должен быть в обычном режиме т.е. не trunk

[BAF]

Пробовал, все равно интерфейсы падают
не посоветуете одинарные сетевые карточки на PCI-Ex