Отказоустойчивый кластер СХД

[Shajtan]

Доброго времени суток! Подкажите, пожалуйста, в таком вопросе: нужно организовать отказоустойчивый кластер для хранения данных, прозрачный для пользователя. То есть, работают две независимые СХД, в случае выхода из строя любой из них работа, не останавливаясь, продолжается с другой. Варианты с бекапами и тому подобным не подходят - требуется именно отказоустойчивость, прозрачная для пользователя. Я так понял, что штатными средствами Win этого не добиться (система должна быть именно WinServer2008 или 2003), то есть в кластере они будут работать с каким-то одним хранилищем.
Я так понял, что нужно городить SAN, правильно? Если да, то как именно будет выглядеть доступ к хранилищам для пользователя - бо предпочтительнее всего, чтобы это было представлено просто каким-то диском на сервере (точнее, кластере серверов).

Вообще, вся система должна выглядеть так: два сервера с Win, которые одновременно работают с двумя маршрутизаторами (spanning tree?), к ним также цепляются пользователи. Каждый из серверов имеет доступ к двум СХД, на которых лежат данные. Как я вижу, в случае выхода из строя любого из узлов такой сети, его функцию должен тут-же подхватить на себя другой.

Подскажите, коллеги, как такое извращение реализуется вообще?

зы: финансовый вопрос стоит позади, в первую очередь - именно надёжность системы.

[exLH]

зы: финансовый вопрос стоит позади, в первую очередь - именно надёжность системы.

Т.е. бюджет в несколько сотен тысяч $ считается нормальным?

Отлично, тогда есть дополнительные вопросы:
1) Что за данные? файлы, базы MSSQL, oracle? что защищаем?
2) сколько данных?
3) какая производительность требуется?

[Stranger03]

То есть, работают две независимые СХД, в случае выхода из строя любой из них работа, не останавливаясь, продолжается с другой

Если защищаться только от выхода из строя одной из СХД, то все достаточно просто. Тратим на железяки от 100к$ (бюджет сильно зависит от количества серверов и размера данных) и вперед. Если же хочется обеспечить резервирование сервисов, то это очень сильно будет зависеть от тех самых сервисов, которые работают с данными. Например при выходе из строя сервера, где крутится база МС Скуль, потребуется время, чтобы сервис запустился на резервном узле.

[Shajtan]

Т.е. бюджет в несколько сотен тысяч $ считается нормальным?

Отлично, тогда есть дополнительные вопросы:
1) Что за данные? файлы, базы MSSQL, oracle? что защищаем?
2) сколько данных?
3) какая производительность требуется?

Кхм... всё же сотни тысяч - это чуточку много. Десятки, скорее. На серваках будет крутиться база МSSQL, точнее, две базы, в режиме кластера (как я понял, это уже обеспечивает защиту самой базы). Также, должны быть некие пользовательские данные, пока что точный объём мне неизвестен, расчитывают на пять-семь террабайт. Производительность - не особо критична.

Если защищаться только от выхода из строя одной из СХД, то все достаточно просто. Тратим на железяки от 100к$ (бюджет сильно зависит от количества серверов и размера данных) и вперед. Если же хочется обеспечить резервирование сервисов, то это очень сильно будет зависеть от тех самых сервисов, которые работают с данными. Например при выходе из строя сервера, где крутится база МС Скуль, потребуется время, чтобы сервис запустился на резервном узле.

Нифига себе, опять 100килобаксов... Ребята, вы меня жёстко обламываете - я-то думал, что мне дают большой бюджет
Да, про MSSQL - разве режим кластеризации не даёт защиту от сбоев?

[Stranger03]

Кхм... всё же сотни тысяч - это чуточку много. Десятки, скорее. На серваках будет крутиться база МSSQL, точнее, две базы, в режиме кластера (как я понял, это уже обеспечивает защиту самой базы).

Режим кластера МС Скуль не защищает данные, он защищает сервис от падения в случае сбоя на одном из узлов кластера. Данные защищает только консистентный бекап.

Также, должны быть некие пользовательские данные, пока что точный объём мне неизвестен, расчитывают на пять-семь террабайт. Производительность - не особо критична.

5-7ТБ данных да еще в режиме кластера, это извините меня очень дофига. Вернее не, не так, это нормально, но когда бюджет за сотню тысяч баксов точно.

Да, про MSSQL - разве режим кластеризации не даёт защиту от сбоев?

Защиту от сбоя сервиса (сервера) да, дает. На поднятие сервиса (сервера) на резервной ноде потребуется время. Это конечно не часы, а скажем минуты, но... Защиту данных предоставляет только консистентный бекап....
Если речь про десятки килобаксов и только про зеркалирование СХД, то можно в пределах 50-60 тысяч можно наваять конструкцию на ИБМ ДС3500. Но что-то мне сдается, что это не решит вашу задачу, поскольку вы немного путаете определения. Если вы хотите построить отказоустойчивый кластер под базу данных + защитить пользовательские данные от удаления, то здесь речь бы шла о:
1. кластеризации сервисов
2. внешней СХД под данные
3. система резервного копирования и восстановления
4. хранилище под бекапы
P.S. если интересно, позвоните в наш питерский офис Володе Романову, он грамотный мужик.

[Shajtan]

Режим кластера МС Скуль не защищает данные, он защищает сервис от падения в случае сбоя на одном из узлов кластера. Данные защищает только консистентный бекап.

Да, тут я не совсем верно выразился. Файловые данные и базы скуля у меня будут бекапиться, разумеется. Под защитой я имел в виду вот что: работают в режиме кластера два сервака, один из них внезапно выходит из строя - работа продолжается со вторым. Фокус в том, что данные тут будут идти постоянно - а переключение, как я понял, займёт время? Я-то думал, что режим кластеризации в мсскуле подразумевает парралельную работу двух баз: все запросы выполняются и на один, и на второй сервер, и только после подтверждения с обоих серверов транзакция считается завершённой. Получается, не так?

5-7ТБ данных да еще в режиме кластера, это извините меня очень дофига. Вернее не, не так, это нормально, но когда бюджет за сотню тысяч баксов точно.

Странно, я думал, что объём тут не особо важен - корзину набить винтами, и в путь. Кстати, активная работа с данными тут вестись не будет, система скорее работает по принципу долгосрочного накопления информации, клиентами с неё будет вестись в основном чтение.

Вообще, откуда у моей системы "ноги растут" - вот из этой картинки:
Тут как раз и изображена примерно такая система, какую мне нужно иметь, в плане логики работы. Всё задублировано, в случае выхода из строя любого узла на работе всей системы это не сказывается. Такая система действительно будет стоить сотни килобаксов?

[gs]

Что за "некие данные"? Что значит "данные идут постоянно"?
Пишите подробнее о задаче.

А то есть же простой вариант - датабейз мирроринг средствами MS SQL.

[Stranger03]

все запросы выполняются и на один, и на второй сервер, и только после подтверждения с обоих серверов транзакция считается завершённой. Получается, не так?

Про кластеризацию начинаем читать отсюда: http://www.microsoft.com/sqlserver/2008 ... ility.aspx

Странно, я думал, что объём тут не особо важен - корзину набить винтами, и в путь.

От размера данных как минимум зависит скорость репликации данных между массивами.

Вообще, откуда у моей системы "ноги растут" - вот из этой картинки:

взяли картинку с тимкомпани, а за советом к нам?

Такая система действительно будет стоить сотни килобаксов?

не сотни, но близко к сотне только за стораджовую часть. кроме того, бекап бекапу очень большая рознь. если вы думаете, что подобную конструкцию можно будет бекапить акронисом, то вы очень сильно заблуждаетесь.

[Stranger03]

"Shajtan"
Может уже лучше представится кто вы есть и позвонить Вовке?

[VladimirR]

Я-то думал, что режим кластеризации в мсскуле подразумевает парралельную работу двух баз

нет, режим одновременной работы нескольких экземпляров с одной базой данных пока только обещан MS в следующих релизах.
На данный момент MS SQL работает только в режиме отказоустойчивог кластера.
Если базы это бэкэнд системы и работа пользователей производится через сервера приложений, то можно настроить систему так, что пользователи не заметят переключения серверов.

С Уважением, Владимир Романов.

[Shajtan]

взяли картинку с тимкомпани, а за советом к нам?

По кластеризации - одно из тех, что мне поисковики выдали... вообще информации немного как-то.

если вы думаете, что подобную конструкцию можно будет бекапить акронисом, то вы очень сильно заблуждаетесь.

А почему нет? Я планировал поставить BackupExec, делать суточный онлайн-бекап, плюс раз в месяц, скажем, полный на ленту. По идее, если данные просто копятся, и не нужно хранить несколько копий на разные периоды - то простой схемой можно обойтись. О защите от случайного удаления данных, что важно - голова у меня-то как раз болеть не должна, это будет забота конечных пользователей, права на доступ будут определены политиками AD, и если кто-то, имеющий доступ, случайно снесёт что-нибудь, что потом не получится поднять из бекапа - его проблема. От меня нужно только обеспечить защиту от аппаратных сбоев.

Что за "некие данные"? Что значит "данные идут постоянно"?
Пишите подробнее о задаче.

Если бы я точно всё знал... Система ещё разрабатывается, тип данных... ну, как я понимаю - это будет некие данные телеметрии, идущие с небольшой скоростью, насколько дискретно - не знаю. От меня сейчас требуют примерное решение - какая аппаратная платформа, какая программная - и её стоимость. Верхняя планка - 10 миллионов рублей, но, сами понимаете, это уже предел.

Владимиру позвоню, как только будет возможность спокойно сесть на рабочем месте =) пока что болтаюсь по городу, как электровеник. Тем паче, что мы с ним, вроде бы, общались как-то уже.

[Stranger03]

А почему нет? Я планировал поставить BackupExec, делать суточный онлайн-бекап, плюс раз в месяц, скажем, полный на ленту.

Просто так поставить бекапэкзек означает трахаться 3-4 дня, восстанавливая доступ к данным после сбоя. если не бОльше. в такой то конструкции. уж поверьте.

[Stranger03]

Если бы я точно всё знал... Система ещё разрабатывается, тип данных... ну, как я понимаю - это будет некие данные телеметрии, идущие с небольшой скоростью, насколько дискретно - не знаю. От меня сейчас требуют примерное решение - какая аппаратная платформа, какая программная - и её стоимость. Верхняя планка - 10 миллионов рублей, но, сами понимаете, это уже предел.

уже хоть какая-то планка, это только на железо или на комплекс ПО + железо целиком?

Владимиру позвоню, как только будет возможность спокойно сесть на рабочем месте =) пока что болтаюсь по городу, как электровеник. Тем паче, что мы с ним, вроде бы, общались как-то уже.

такие конструкторы просто так не рождаются, самый правильный вариант прорабатывать решение в комплексе совместно с внедренцами ПО.

[Shajtan]

Просто так поставить бекапэкзек означает трахаться 3-4 дня, восстанавливая доступ к данным после сбоя. если не бОльше. в такой то конструкции. уж поверьте.

Верю. Дело в том, что это будет, как бы ни цинично это звучит, уже не совсем моя проблема. Хотя, если можно подумать и сделать более изящное и удобное решение - я буду только рад.

[Stranger03]

Верю. Дело в том, что это будет, как бы ни цинично это звучит, уже не совсем моя проблема.

гхм, судя по вашим словам вам надо только потратить деньги, а результат не интересует. ну что ж, тоже не плохой подход, .