RAID0 для обработки видео в Ubuntu

[GeoL]

Требуется существенно ускорить дисковые операции записи-чтения при обработке видеофайлов.
Для этого собираюсь докупить 2 - 4 скоростных SATAII диска и дополнительный не очень дорогой контроллер,
поддерживающий RAID0 и имеющий драйвер под Ubuntu8.10 или 9.04.
Поиском пока не нашел.
Может что нибудь посоветуют профессионалы?
P.S. Есть инфа по Promise FastTrack TX2650, но драйвера только под RHEL5

[Stranger03]

не очень дорогой контроллер,
поддерживающий RAID0 и имеющий драйвер под Ubuntu8.10 или 9.04.

А данные на этом массиве совсем не важны?

[Stranger03]

"GeoL"
Мне так кажется выбирать стоит из этого списка: http://www.ubuntuhcl.org/browse/search+ ... ategory=34

[gs]

Контроллеры дешевле 300долл принципиально не отличаются от софтового страйпа. Вернее отличаются не в лучшую сторону...

[Serge10]

IMHO, для Вашей задачи оптимален софтовый raid0 средствами mdadm. По скорости выиграете даже у серьезных контроллеров. А надежность, как я понял, Вам не нужна .

[Stranger03]

IMHO, для Вашей задачи оптимален софтовый raid0 средствами mdadm. По скорости выиграете даже у серьезных контроллеров. А надежность, как я понял, Вам не нужна .

Не стоит давать вредных советов. РАИД0 можно применять только для тестовых целей, когда просто хочется поиграться. Если же хочется просто секса, то лучше обратиться в спец.дома, где предоставляют такого рода услуги.

[Serge10]

Не стоит давать вредных советов.

Хм, и в чем же мой совет вреден? По-моему, это не я предложил raid0 использовать, это было уже в исходной постановке задачи . Об опасности потери данных выше автора уже предупредили.

РАИД0 можно применять только для тестовых целей, когда просто хочется поиграться.

Не стоит так категорично . Есть целый ряд задач, где использование raid0 уместно. Кодирование видео - одна из них (если на raid0 хранить промежуточные файлы).

[gs]

Для кодирования видео производительность дисков, вопреки распространенному заблуждению, весьма редко имеет значение
Не путать с видеоредактированием, которое на сервере затруднительно

Но в общем да - если человек ищет приключений, туда ему и дорога

[Serge10]

Ну да, ошибся. Сам видео не занимаюсь, так что для меня разницы практически никакой .
Я, например, raid0 использую под временные файлы при бэкапе виртуальных машин в Vmware ESX (там с помощью vcbBackup на raid0 скидываются бэкапы, а затем забираются оттуда по сети bacula). Получается, что мне этот массив нужен пару часов в месяц. Вполне уместное применение для raid0, на мой взгляд.

[GeoL]

RAID0 используется под swap (~40 - 60 Gb) и временное хранилище файлов на период обработки, после чего информация сбрасывается в архив. Видеообработка - один из видов редактирования с параллельным анализом.
Необходимо максимально разгрузить процессор.
Софтовый рэйд опробован, но так, как не использует аппаратные возможности контроллеров, существенно нагружает четырехядерник.
А приключений не больше, чем от обычных сбоев и зависаний, так как потери информации приводят только к необходимости повторной обработки.
Проблема найти подходящий контроллер с работающим драйвером под Ubuntu.

P.S. 1. Stranger03, спасибо за наводку, но вот с драйверами....
2. Идеально было бы нарастить RAM до 60 Gb, но.....

[setar]

Какая скорость доступа к данным Вам требуется ?
могу как это не странно звучит порекомендовать сетевое хранилище по iscsi
при правильно организованной общей железки там на сервере, на клиенте получите 100МБ/с (мегабайт в секунду) на 1Gbps
интерфейсе и 800МБ/с на 10Gbps интерфейсе при минимальной (0.4 - 4 % ) загрузки одного ядра процессора.

Разумеется удаленная железка должна уметь работать с такой скоростью
Как раз сейчас веду эту разработку - Trinity NAS

[gs]

Серега, мне кажется это немного мимо кассы, в свете фасттраха

Тут можно посмотреть адаптек 3000/5000, 3ware или Areca. Но разумеется все они значительно дороже промисов.
Но вообще-то странно у Вас с софтстрайпом. Это ж как же ж его ж надо ж грузить, чтобы современный процессор нагружался выше уровня фоновых шумов...

[Stranger03]

RAID0 используется под swap (~40 - 60 Gb) и временное хранилище файлов на период обработки, после чего информация сбрасывается в архив.

Ну тогда возьмите пару SSD дисков, дорого конечно, но иопсов получите выше крыши, и проц не будет загружаться.

[Serge10]

Ну тогда возьмите пару SSD дисков, дорого конечно, но иопсов получите выше крыши, и проц не будет загружаться.

Может, конечно, я снова не так понял задачу, но вроде речь идет о последовательных потоках. IOPs не очень актуальны . Присоединяюсь к мнению gs - что-то не то с настройками софтового страйпа. Не должен он так загружать современный процессор. Там и вычислять-то по сути нечего. Как вариант, можно с nice поиграть... По скорости - очень сомневаюсь, что в данной задаче adaptec будет быстрее. Хотя, пробовать надо. Если там действительно 100% утилизация всех ядер софтом видеообработки...

[and3008]

По поводу софтового RAID-0 еще раз. Большую нагрузку на проц могли создать нетюненые контроллеры жестких дисков. Например не был включен DMA. hdparm вам должен помочь решить эту проблему.

Вряд ли вам чем-то поможет по скорости внешний контроллер для RAID-0. Разве что если ваши имеющиеся контроллеры жестких дисков ну уж совсем плохи.

Скажите что у вас за материнка на сервере, какая файловая система и модели жестких дисков. Чем тестировали, что большая нагрузка на проц была?