Stornext perfomance tuning

[Andrey N. Oktyabrski]

Не, это не наш стиль :-) Диверсии - диверсантам. А моё дело маленькое - сказать, что надо, сколько стоит, и предупредить, что если оный предмет не появится, всё "неожиданно" накроется как минимум медным тазом примерно к такому-то сроку. И всё, моя совесть чиста, можно требовать бОльшую зарплату за бОльшее количество телодвижений для выполнения текущих задач.

[ne0n]

Если у кого есть что высказать по этому поводу в сторону
производительности, я бы и послушал, и поучавствовал.

В сторону производительности, или в сторону failover?

Failover прекрасно работает в санкластере - с NFS, MySQL, PostgreSQL. Но это только отказоустойчивость: работает одна машина, если с ней что-то случилось, сервис запускается на другой.

Если надо распределить нагрузку, санкластер не подойдёт, потому что это HA cluster. Распределять нагрузку можно только средствами софта. Для баз данных это репликация, partitioning и пулеры/балансировщики. Для файловых систем это кластерные ФС, среди которых пока нет ничего бесплатного под солярку. Точнее, есть, но для схемы
N storage servers -> N application servers
(Distributed file systems, файловая система размазана по дискам нескольких машин - glusterfs, gfarm, ...),
а не для
1 storage -> N servers
(Shared disk file systems, несколько машин пользуются логическим диском на одном сторадже - их я перечислил раньше почти все).

Вопрос, собственно, задавал о производительности файловой системы. Она то как-раз меня очень сильно и интересовала.  С производительностью, фейловерами и масштабируемостью БД ничего не обсуждалось. Хотя за разъяснение и реккомендации признателен.

На своем доморощенном кластере в качестве файловой используется система UFS с global mount опцией. Как раз случай, shared disk file system, под солярис, и похоже бесплатно. Вопрос с производительностью этой ФС для меня стал очень остро, т.к. собирался в SUN HA Cluster переносить мастер MySQL. Реплики, балансировки, все это худо-бедно есть. Где худо, где бедно но оно работает, за мастера однако переживаю.

Хорошо бы, если бы все данные в памяти помещались, можно было бы про файловую систему и забыть, если не полностью, то почти. Да размерчики не те.

Вот и думаю, толи лечить UFS global на предмет производительности, толи искать другую ФС. А раз последнее, надо же и параметры какие-нибудь знать, за что собственно бабки отваливать.

[ne0n]

Если кому интересно.

Узнавал в ирке у владельцев подобного кластера, говорят от локального диска практически не отличается, циферьки показывали. В сравнении с моим случаем, просто песня. У меня на кластерной ФС хуже в 5-10 раз.  Однако железки у ребят другие.

На первый взгляд, это достаточно жизнеспособный вариант кластерной ФС для shared еще и "нашару".

Трассировка показала, что системные вызовы касающиеся обработки дескрипторов, т.к. pollsys, close, stat, etc. не просто медленные, а очень медленные. По пол секунды на закрытие файла - это, я даже не знаю, как назвать.

При переливании файлов rsync'ом на кластерную ФС возрастает трафик на интерконектах. Первое, что на ум пришло, что ноды при закрытии файла решают этот вопрос между собой через интерконнекты. Пробовал укладывать одну из нод, пробовал разные опции при маунте, толку мало. Хотя изменения были, скажем, forcedirectio улучшает ситуацию на десяток процентов.

Есть реккомендации по тюнингу интерконектов, но все они касаются интерфейсов ipge, ce. А у меня банальный bge, и тюнингу не поддается.

Видать, с железом все таки не вышел.

[Andrey N. Oktyabrski]

Параметры не спасут. Такие вещи дают тестировать перед покупкой. Мне DataPlow готов свою SFS дать на 4 месяца просто поиграться. Причём, я их не просил об этом, предложили как само собой разумеющееся.

[Andrey N. Oktyabrski]

При переливании файлов rsync'ом на кластерную ФС возрастает трафик на интерконектах. Первое, что на ум пришло, что ноды при закрытии файла решают этот вопрос между собой через интерконнекты. Пробовал укладывать одну из нод, пробовал разные опции при маунте, толку мало. Хотя изменения были, скажем, forcedirectio улучшает ситуацию на десяток процентов.

Там надо проследить, чтобы rsync запускался на том узле, который primary для этого ресурса. Иначе это животное "выливает воду из чайника и сводит задачу к предыдущей" (с) - данные перекачиваются по интерконнекту и пишутся той машиной, которая в данный момент времени пользуется дисковым ресурсом. Там на самом деле узлы не пишут на ФС одновременно. Пишет один, а второму если надо, он просит это сделать первый узел.

[setar]

Могу много рассказать про файловые системы в том числе кластерные, параллельные и распределённые.
Поскольку сейчас очень занят запуском проекта, не имею возможности расписывать здесь варианты.
дам консультации по телефону +7 812 327 59 60 (доп 206)

[Andrey N. Oktyabrski]

Не, лучше здесь написать, как время будет, чтоб все могли увидеть.

[ne0n]

Не, лучше здесь написать, как время будет, чтоб все могли увидеть.

Поддерживаю

[CrazyFrog]

производительность тома, подключенного через NFS + Infiniband очень сильно близка к производительности внутренней дисковой системы (как если бы она была прямо внутри сервера).

Нет. Совсем нет. На некоторых операциях разница на порядки и это не сильно зависит от скорости линка.

Например, вон
http://blogs.sun.com/roch/entry/nfs_and_zfs_a_fine

[CrazyFrog]

Вопрос с производительностью этой ФС для меня стал очень остро, т.к. собирался в SUN HA Cluster переносить мастер MySQL.

Тут всё тривиально, для него (и прочих файловер сервисов) не нужна глобальная ФС и потому большинство проблем отпадает. Просто монтировать ФС с mysql без опции global.

[setar]

прочитал весь тред и не уведел чтобы кто либо сказал про SOFS от IBM (я пока путаюсь в понятиях что у них есть название технологии а что название продукта) я говорю о расшинении самбы допиленное IBM
http://ctdb.samba.org/packages/ibm/SOFS-1.5/
софт лежит на гейтующих серверах,  объединен посредством GPFS  и умеет весьма эффективно (на нынешний день это рекордсмен) отдавать NFS , CIFS (а может и другие протоколы, не помню) шары с виртуального распределённого ip .
я лично видел трансфер в 120МБ/c по CIFS через 1Gbps интерфейсу.

IBM продает это как готовое решение в комплекте с серверами и массивом.

[gs]

Серега, мы заткнулись после слов о бюджете
Но все равно расскажи

[gs]

И можно в разделе новостей.

[setar]

с бюджетом там все по взрослому ..., от 200к$
ближайшее время у меня проектик похожий проходить будет, тогда в новостях и напишу.