Собираю конфиг для нагруженной файлопомойки

[curtdp]

Приветствую всех! И специалистов в частности!
Передо мной стоит задача, собрать сервер для хранения файлов и раздачи их по сети, файлы будут доступны в Интернете, на канале 1Гбит/с.

Признаюсь опыта у меня нуль в этом вопросе, в смысле с железом обычным знаком, а с серверным и системами хранения нет абсолютно.

По предварительным прикидкам, чистого места нужно 4TB, с возможностью дальнейшего расширения. Сразу уперся в вопрос производительности дисковой подсистемы, на данный момент обнаружил для себя вариант, поднять массив из 4-х 2TB дисков в RAID6 на контроллере Adaptec 5405 с использованием MaxIQ, ну и Intel X-25E SSD на 32GB, этот вариант я подсмотрел в мастере на сайте Adaptec.

Процессор: - 1 4ядерный Xeon
ОЗУ: 6GB (по 2 на каждый из трех каналов) для начала

По поводу сервера, смотрю в сторону HP G6 DL, окончательно еще не определился.

В нужном ли направлении я веду поиск? Предложите свой вариант, если кто уже имеет представление о таких задачах и названном выше железе, хочу чтоб оно хорошо работало и я спал спокойно
Бюджет в районе 4000 USD

[Tert]

curtdp
У вас часто используемые данные умещаются в 30 ГБ? Если нет, то от MaxIQ мало толку.
И как вы собираетесь ставить Adaptec в сервер HP? Он там, конечно, заработает, но о техподдержке придется забыть.

Варианты сервера сегодня пришлю.

P.S. А сколько примерно пользователей будет у вашего сервера?

[curtdp]

curtdp
У вас часто используемые данные умещаются в 30 ГБ? Если нет, то от MaxIQ мало толку.
И как вы собираетесь ставить Adaptec в сервер HP? Он там, конечно, заработает, но о техподдержке придется забыть.

Варианты сервера сегодня пришлю.

P.S. А сколько примерно пользователей будет у вашего сервера?

Да.. 30ГБ это активно используемые данные, понимаю что это ограничивается объёмом SSD
По поводу поддержки сервера, я не знал что в HP нельзя поставить этот контроллер без проблем с сервисом, ещё смотрю в сторону серверов Supermicro

На данный момент ожидается 100 000 пользователей в сутки, хочется чтобы сервер вытянул до 200 000, не учитывая производительности дисковой системы сейчас, то есть при росте можно добавить ещё один комплект с SSD (а есть чтобы это всё поместилось в один корпус, нужно иметь 12 отсеков для дисков). И в будущем добавить еще один процессор, и добавить памяти. Ну а дальше уже в ширину

Вот что сейчас показывает Nginx

Код: Выделить всё

Active connections: 498 
server accepts handled requests
 9304639 9304639 44797419 
Reading: 6 Writing: 57 Waiting: 435

Это около 70 000 пользователей в сутки, в часы пик параметр Active connections достигает 750-800 (дальнейший рост нагрузки сервер потянет со скрипом)
Конфиг сервера на данный момент, Pentium Dual Core E2200 ОЗУ 2GB 160GB жесткий диск, файлы хостятся на других сервисах, их конфиги мне не известны, вот с него хочется переехать на более серьёзное железо и файлы хранить у себя.

[Tert]

curtdp

Reading: 6 Writing: 57 Waiting: 435

У вас очень много операций записи, поэтому MaxIQ будет неэффективен (к тому же в бюджет точно не пройдет).
И RAID 6 с учетом активной записи тоже плох. Вам подойдет только RAID 10.

Сейчас пришлю варианты на SuperMicro.

[curtdp]

curtdp

Reading: 6 Writing: 57 Waiting: 435

У вас очень много операций записи, поэтому MaxIQ будет неэффективен (к тому же в бюджет точно не пройдет).
И RAID 6 с учетом активной записи тоже плох. Вам подойдет только RAID 10.

Сейчас пришлю варианты на SuperMicro.

Хм... Сейчас оно всё бегает вообще на одном винте Означает ли это, что один диск записывает быстрее чем массив в RAID6? (Имею ввиду количество операций записи, а не объём записываемой информации) Учту для будущего конфига.
Ну и упор будет на чтение файлов. То есть при переходе на новые рельсы, количество операций записи будет пропорционально количеству пользователей. А вот чтение увеличится, потому файлы с сервера будут раздаваться.
Честное слово, хочется чтоб было по уму. А то вольём денег, а узким местом станут винты, так не хочется...
P.S.: Такое количество операций записи обусловлено только работой вебморды приложения, пользователи не могут сами загружать файлы на сервер, только читают их. Объём считываемой информации на много больше, не смотря на большее количество операций записи которое показывает nginx.
Сейчас такая картина:

Код: Выделить всё

Active connections: 570 
server accepts handled requests
 9387165 9387165 45195426 
Reading: 13 Writing: 89 Waiting: 468 

[Tert]

curtdp
При интенсивной записи массивы RAID 5/6 работают довольно медленно, т.к. в этих массивах на одну операцию записи приходится несколько операций чтения. Поэтому такие уровни рекомендуются только для систем с небольшим процентом (не более 10-15%) операций записи.
Если у вас там пишутся какие-нибудь логи, то можно диски разбитьна несколько массивов: RAID 10 под логи и RAID 6 под данные.

Варианты серверов выслал.