решение для максимальной производительности

[gavril]

Задача -
Максимально ускорить работу с большим кол-вом временных маленьких файлов.
Кол-во файлов 10К-100К.
Общий объем 1Gb-30Gb.

Если бы можно было перенаправлять список из тысячи каталогов в память то можно было бы просто купить много памяти ... Но таких решений мне не известно. Поэтому стал вопрос ускорить дисковую память. Учитывая что файлы временные то RAID 0 наверное лучшее решение.

Как лучше это сделать ?
Интересуют решения с оптимальным соотношением цен/производительность.

Я рассматривал различные конфигурации из след. hdd -
1) 80 GB SATA         7200RPM    ~50$
2) 37 GB SATA         10000RPM  ~100$
3) 37 GB SAS/SCSI  15000RPM  ~200$

Проблема в том что я не знаю как корректно сравнить конфигурации из этих hdd.  Какие лучше контроллеры использовать для каждого типа hdd? Какая будет скорость для каждого случая ?

Что лучше 1)x8 или 2)x4  или 3)x2
На что лучше тратить деньги - больше hdd или лучший контроллер?

Помогите найти лучшее решение.

[MasterDVDselect]

Учитывая что файлы временные то RAID 0 наверное лучшее решение.

хм, что значит временные  - т.е. потерять все эти файлы в любой момент времени для вас не важно ?

какой характер нагрузки - отношение R/W в процентах ?

[gavril]

2MasterDVDselect:

Временные значит временные время жизни max несколько часов.
Можно потерять без проблем в любой момент.
Соотношение R/W примерно от 1/1 до 10/1.
Но кстати надо не забыть что кроме этих времнных файлов на тех же hdd надо еще иметь систему и другие нужные файлы. То есть неплохо было бы что-то вроде часть каждого винта под RAID 0 (для раздела под временные файлы), а часть под RAID 5(для нужных данных) ... Это в идеале ... всетаки основная задача просто ускорить производительность для временных файлов.

P.S.
Моя задача - это максимально убыстрить процесс билда большого проекта на C++. В силу некоторых ограничений нельзя использовать распределенную компиляцию на нескольких компьютерах ;(

[MasterDVDselect]

поскольку это все же рабочая станция, а не сервер SQL/WEB/... - то SCSI
ставить не стоит.

1. Вариант 3Ware 9550 + 4 HDD в RAID5,  2 луна - системный и рабочий
( для операций Read RAID5 самое то) - тут за Raptor гнаться не стоит - т.к.
быстрее они на 10-20%, но в 3 раза дороже.

2. Вариант - 2 Raptror WD74 в Matrix RAID (c) Intel - половина об'ема
дисков в RAID1, половина в RAID 0.


мат плата кстати какая ? - трудно рекомендовать контроллер.

[gs]

Скази диски примерно вдвое быстрее саташек на таких операциях. Так что наверно все же лучше скази контроллер типа адаптек 2130 (только надо вопрос совместимости с мамой выяснить) или элэсай 320-1 и на него винтов 36ГБ 15к скока денег хватит. Если файлы в основном читаются (а наверно так и есть), то вполне сойдет и рэйд5, хотя можно сделать два луна - рэйд5 под данные и рэйд0 под хлам.

Правда набить побольше памяти может быть существенно эффективнее, если суммарный объем сравним с ОЗУ конечно (при 30ГБ не канает).

[gs]

Триварь кстати не умеет массив на луны резать.

[MasterDVDselect]

Триварь кстати не умеет массив на луны резать.

абыдно

SCSI HDD шумят и греются - тогда нужно еще и на приличный корпус раскошелиться. А в остальном SCSI завсегда ....