Adaptec 5805 + iometer тесты

[dagr]

имеется Adaptec 5805 + 8 WD1001 FALS 1TB SATA
задача сделать рейд с максимальной производительностью по чтению на рандоме , при этом не сильно теряя в емкости. Думал сделать 5 или 5ее. Но тесты озадачили.
Машина 2 x Xeon 1.6 Quad - 8GB , Linux ext3 тестил соответсвенно Iometром. (iometer.org )
в основном (Access pattern 100%Read 100%Random)

Сначала решил протестить диски по отдельности . Тестил по сырому (не ext3), и по всему диску . Каждый диск в отдельности показывал 75-80 IO. (Access pattern 100%Read 100%Random). Размер блока - 8-64 К - в общем и не должно было влиять. К-во outstanding IO не влияло, к-во workerов - тоже. Потом запустил одновременный тест на всех дисках (на каждого по workerу) - оказалось - 150 IO суммарно. Оказалось что 150 это максимум и рост идет только если 2 диска одновременно - потом они упираются в эти 150 . iowait показывает по каждому диску в начале 75 - если диска 3 - 50 , и так далее делит 150 на к-во дисков. Ну ладно - думаю , главное что рейд покажет.
Сделал Raid5 из 7 дисков - на всем диске по сырому показывает 75 IO. Удивился, но не очень. Потому что сталкивался с тем что рандом по всему диску сильно проигрывает по сравнении с тем когда в файле размером ~10 G - тестишь. Хотя то что даже меньше тех 150 по любому странно.
Создал ext3 , файлы iobw.tst размером по 2 G. Стал тестить в них.
1 диск - дает - 130 IO , при большом к-ве workers и outstanding - 200.
Raid 5 - 7 HDD - 200 IO , при большом к-ве workers и outstanding - 360.

Сделал Raid 0 4 HDD - максимально добился - 300 IO.

Это при том что там должно сказываться еще кеширование самого линукса - памяти то много.
Вобщем почему не могу увидеть кратного увеличения производительности на рандоме по сравнению с 1 HDD - есть у кого какие мысли?

(если что write cache - disabled , read cache - enabled (отключить нельзя))

[Stranger03]

"dagr"
Коллега, поправьте пожалуйста профиль:
http://3nity.ru/viewtopic.php?f=8&t=11458

[dagr]

поправил

[Stranger03]

Вобщем почему не могу увидеть кратного увеличения производительности на рандоме по сравнению с 1 HDD - есть у кого какие мысли?

Вообщем кратного увеличения производительности никто и не обещал.
- с какими настройками создавали рейд-группу?
- с какими настройками в иометре тестировали?

[dagr]

Вобщем почему не могу увидеть кратного увеличения производительности на рандоме по сравнению с 1 HDD - есть у кого какие мысли?

Вообщем кратного увеличения производительности никто и не обещал.
- с какими настройками создавали рейд-группу?
- с какими настройками в иометре тестировали?

ну не в 1.5 же раза .

настройки рейда - 256К stripe - write cache disable , read - enabled

access pattern - 100%read 100%random 8K - outstanding IO от 1 до 100

плюс в контроллере включена Native Sata Queueing enabled - это реально влияло, без нее больше 200 IO не мог получить.

[dagr]

По поводу кратности - ориентируюсь на
http://www.fcenter.ru/online.shtml?arti ... /hdd/25958

Там правда диски быстрые и маленькие, но дело не в абсолютных цифрах а в динамике.

там при outstanding (queue ) = 1 - чтение рандомное с рейдов равно примерно чтению с 1 ого диска .

при queue = 16 - RAID5 8 HDD быстрее в 3 раза чем 1 HDD
при queue = 256 - RAID5 8 HDD быстрее в 4-5 раз чем 1 HDD

.........................................................................................
Так же слабый уровень "разгона" производительности рейда в зависимости от outstanding - в 2 раза где-то.
в статье raid5 8 HDD - q=256 и q=1 - больше чем в 10

непонятно следствие чего, то ли того что диски SATA, то ли еще чего

[Stranger03]

ну не в 1.5 же раза .

Ну почему же? Фирмарь на Адаптеке последняя? Вестерны не самые хорошие диски, попробуйте их обновить. Заодно в настройках Адаптека все-таки включите кеш на запись и опцию read ahead - adaptive (кажется так опция звучит). Еще можно поиграться опцией read policy.

[dagr]

Ну почему же? Фирмарь на Адаптеке последняя? Вестерны не самые хорошие диски, попробуйте их обновить. Заодно в настройках Адаптека все-таки включите кеш на запись и опцию read ahead - adaptive (кажется так опция звучит). Еще можно поиграться опцией read policy.

Фирмварь не знаю какая - вечером обновлю, но не думаю что радикально что то изменит.
По поводу дисков, то выбирались исходя из этого обзора

http://www.thg.ru/storage/hitachi_desks ... ck-04.html

Этот диск заруливает всех по скорости. есть его рейдовый вариант RE, который на одиночном диске показывает такую же скорость. Он более надежный, и у него прошивка другая, в частности таймауты на ошибку меньше сделаны, чтобы рейд контроллеры после своего собственного таймаута не помечали диск как сбойнувший. В этом смысле возможны косяки, но с производительностью должно быть нормально, да и стоит рейдовый вариант в 1.7 раза дороже. Заменить диски все равно не вариант.

Кеш на запись включу. а с кешем на чтение поиграться не получится. В настройках он показывается только при создании рейда как Read cache enabled - Y, и поменять его нельзя. Policy никаких нет.

[gs]

Скорость дисков в данном случае абсолютно никакого значения не имеет (в рамках класса). Важно только то, как контроллер умеет договориться с его микрокодом. И смотреть для этого надо не сказки дяди тома, а HCL контроллера.

WB кэш контроллера включите - может влиять.

А вообще, тесты иометром очень сильно зависят от того, насколько Вы с ним фамильярны.