>>> 500 000 файлов в одном каталоге NTFS

[diz]

Добрый день!

Есть неведомая для нас система под winsvr 2003 R2 x64, которая порождает в одном каталоге NTFS огромное количество мелких файлов, число это медленно растет и уменьшить его или перераспределить файлы пока нет возможности. В моей зоне ответственности бэкап этой системы (BackupExec 11d). Подскажите, что можно подкрутить, чтобы повысить скорость бэкапа и рестора? На данный момент прогноз по восстановлению 30 ГБ этих файлов составляет за сотню часов, что очень далеко от желаемых 8и часов на полное восстановление

[Stranger03]

"diz"
Чего в аську не постучался? Бекапишь куда?

[Ziggy Stardust]

Какая схема резервного копирования применяется? Полный бэкап, инкрементальный? Что за файлы? Мониторинг железа показывает, что является узким местом при бэкапе/восстановлении - сеть, дисковая подсистема и т.п.?

P.S.: Backup Exec 11d это уже сильно устаревший продукт, уже несколько поколений сменилось :-) Сейчас 2010 R2 актуальная версия. В том числе поддерживает опцию дедупликации, что в принципе может существенно упростить жизнь (но не факт).

[diz]

"diz"
Чего в аську не постучался? Бекапишь куда?

Вдруг потомкам пригодится бесценный опыт

Какая схема резервного копирования применяется? Полный бэкап, инкрементальный? Что за файлы? Мониторинг железа показывает, что является узким местом при бэкапе/восстановлении - сеть, дисковая подсистема и т.п.?

P.S.: Backup Exec 11d это уже сильно устаревший продукт, уже несколько поколений сменилось Сейчас 2010 R2 актуальная версия. В том числе поддерживает опцию дедупликации, что в принципе может существенно упростить жизнь (но не факт).

Делали полный бэкап в сеть. Загрузка сети около 0 дисковая очередь - около 3. По чтению давит за 1000 iops (данные на СХД лежат, там десяток FC дисков в r5). Пытались тупо скопировать файлы - файловые менеджеры даже зайти в этот каталог не могут. Если копировать с каталогом выше, то кое-как процесс идет, но скорость удручает. ПО для РК легальное и заменить пока нет возможности, да и дело не в нем. Файлы - логи BW SAP.

[Black-Dragon]

Файлы - логи BW SAP.

А нельзя их архивировать с удалением? Им обязательно всем оставаться на сервере?

[hitower]

Подозреваю, что бэкап будет гораздо быстрее, если читать файлы в несколько потоков, но вот какой софт это сделает - хз.
Однопоточное чтение мелких файлов будет тормозить всегда.
Еще вариант - вынести на отдельный диск и бэкапить образ диска.

[diz]

Файлы - логи BW SAP.

А нельзя их архивировать с удалением? Им обязательно всем оставаться на сервере?

Сапёры думают... Видимо, как-то так и сделаем: или будет распихиваться по папкам, или будут усекать.

[diz]

Подозреваю, что бэкап будет гораздо быстрее, если читать файлы в несколько потоков, но вот какой софт это сделает - хз.
Однопоточное чтение мелких файлов будет тормозить всегда.
Еще вариант - вынести на отдельный диск и бэкапить образ диска.

Была такая идея, правда, backup exec не умеет делать посекторное копирование.

[Ziggy Stardust]

Делали полный бэкап в сеть. Загрузка сети около 0 дисковая очередь - около 3. По чтению давит за 1000 iops (данные на СХД лежат, там десяток FC дисков в r5). Пытались тупо скопировать файлы - файловые менеджеры даже зайти в этот каталог не могут. Если копировать с каталогом выше, то кое-как процесс идет, но скорость удручает. ПО для РК легальное и заменить пока нет возможности, да и дело не в нем. Файлы - логи BW SAP.

Посовещались тут с парнями. Пока мнение такое, что не потянет такое SBE :-( Походу только посекторное копирование спасет...

[diz]

Спасибо! Отпишусь, как проработаем решение.

[diz]

В общем-то так и порешили: расчистили каталог и будем скриптами складывать логи в архив.

[Black-Dragon]

В общем-то так и порешили: расчистили каталог и будем скриптами складывать логи в архив.

Отлично!
Самый лучший вариант.