Комментировать просто не могу
"Оригинальное" решение
Модератор: Trinity admin`s
ALEX_SE Блэйд сервер, блин. Русское студенчество и не до такого доходило. У наших студентов как известно денег немного, а интузиазма хоть отбавляй. Вот и компенсируют одно другим.
Тут вспомнился доин случай:
На 4 м курсе института, нам задали задание на разработку и испытание макета якоря. Ну якорь я, допустим, из пивной банки сделал (предварительно ее опустошив
), но никак не ожидал, что мы его испытывать будем в обычной песочнице (по уму это все надо делать в спец басейне, в который уже скока лет в ремонте).
Как это ни странно расчет и модель показали примерно одинаковые результаты.
Тут вспомнился доин случай:
На 4 м курсе института, нам задали задание на разработку и испытание макета якоря. Ну якорь я, допустим, из пивной банки сделал (предварительно ее опустошив
), но никак не ожидал, что мы его испытывать будем в обычной песочнице (по уму это все надо делать в спец басейне, в который уже скока лет в ремонте).Как это ни странно расчет и модель показали примерно одинаковые результаты.
-
a_shats
- Advanced member
- Сообщения: 5010
- Зарегистрирован: 27 авг 2002, 10:55
- Откуда: Москва
- Контактная информация:
ALEX_SE
А чего объяснять-то ?
Что человек, сьекономив на 100К баксов 10-15К (вроде круто) - на самом деле выбросил 100К эти на ветер ?
Если кому нужен был бы человеческий одноюнитовый сервер в кластер такой - можно было бы поставить нормальные
5015M-MF под Intel или AS-1010S-MR под AMD.
А чего объяснять-то ?
Что человек, сьекономив на 100К баксов 10-15К (вроде круто) - на самом деле выбросил 100К эти на ветер ? Если кому нужен был бы человеческий одноюнитовый сервер в кластер такой - можно было бы поставить нормальные
5015M-MF под Intel или AS-1010S-MR под AMD.
-
systemevil
- Power member
- Сообщения: 46
- Зарегистрирован: 12 ноя 2007, 09:31
- Откуда: Иваново
Приношу извинения за подъем старинной темы, но несказать немогу, уж очень нахально выглядит вышеупомянутый проект. О нахальности говорит и то, что вводит в заблуждение по поводу использования в качестве серверного оборудования "распаянного десктопного", наличие непонятного счетчика на главной странице, который тупо увеличивается на 57 в сек. (чтобы дорасти до того числа, которое там фигурирует на сегоднешний день потребовалось бы два с половиной года), а также каркас странички напоминающий google.
Хотя поисковик работает, вы там на 6ом месте :)
Хотя поисковик работает, вы там на 6ом месте :)
Вы не понимаете того, что это не коммерческий проект, а образовательный.
Год назад я стерпел, но тут не удержался.
Можно я вам историю предложу, господа?
8-10 лет назад я активно занимался квантовохимическими расчетами.
Очень известный ВУЗ в рамках очень высокоуровневой программы закупил у известной фирмы правильное серверное оборудование: dual Xeon 450, reg ecc RAM, SCSI диски и пр. Всего было куплено 8 серверов, кажется.
Я на свой грант, незадолго до этого, купил двухсокетные мат. платы ABIT BP6, Celeron'ы 333, диски ATA IBM. Процессоры, естествено, были разогнаны до 550, память до 133.
В частном порядке я консультировал старичка академика, который курировал проект со стороны науки. Мы занимались родственными задачами, пользовались похожими программами (GAMESS & Crystal).
На выбор оборудования я не мог повлиять, все уже было украдено не нами.
Я не мог удержаться от демонстрации.
На моей системе скорость расчета была на 40-50% выше при 100% загрузке процессоров. На "правильных" серверах загрузка процессоров временами падала до 45-50%.
Догадываетесь, как отличались стоимости систем?
Старичок- академик был озадачен.
Причины:
1) дисковая подсистема.
Дело в том, что задача порождает большие файлы (4-15 Гб), которые вначале дуются на диск, потом делаются разные вычисления (собственные числа и собств. векторы, диагонализация и т.п.) и, на следующей итерации данные снова выливаются на диск.
Если линейная скорость чтения с диска достаточна для того, чтобы накормить процессор - он загружен на 100%. У ATA диска скорость линейного чтения и записи была выше!
Когда соблюдается принцип - один процесс на один диск, то разница между SCSI и ATA нет. Если один диск SCSI нагрузить двумя задачами - скорость расчетов вообще падала ниже плинтуса.
Мало того, SCSI диски были в 4-5 раз меньше размером, поэтому на хвостах больших файлов скорость линейного чтения падала еще сильнее. На больших задачах мои машины обгоняли конкурента почти в два раза.
2) более быстрый процессор
550 vs 450 дает 20%.
3) более быстрый кеш.
На Xeon был внешний кеш 512Кб (микросхемы на плате SLOT1, работающие на частоте памяти - 66-100МГц)
У меня был кеш 128Кб, но он работал на частоте 550МГц.
Поскольку матричные операции легко разбиваются на блоки, достаточно было указать программе оптимальный размер кеша. Как только данные для диагоналиции или вычисления собств. векторов помещались в 128КБ - скорость возрастала еще на 10-15%
3) у меня была быстрее память и меньше задержки (ECC)
=================
На этом месте следовало бы воскликнуть: но надежность, надежность то выше!
На что ученые отвечают так - нам плевать на надежность одного эксперимента. Мы всегда проводим контрольные рассчеты, вариации эксперимента, расчтеы в других базисах и т.д. Единичный эксперимент не имеет права попасть в статью. Нам важнее провести в 2 раза больше экспериментов, нежели бояться 0.5% вероятности аварии оборудования.
Для поисковой системы надежность одного узла тоже не слишком важна.
=================
И еще - не надо смеяться на "паянием" и ковырянием на коленках. В науке мало денег, но есть дружественные кафедры, студенты и умение пользоваться паяльными станциями.
Каждая задача должна быть оптимизировна с точки зрения финансов и ученые очень хорошо это понимают. Если купишь один узел кластера за $1000 вместо $300 - выкинул деньги своего гранта.
Через 2 года машины для расчетов можно подарить студентам, отдать бухгалтерии и т.д.
Год назад я стерпел, но тут не удержался.
Можно я вам историю предложу, господа?
8-10 лет назад я активно занимался квантовохимическими расчетами.
Очень известный ВУЗ в рамках очень высокоуровневой программы закупил у известной фирмы правильное серверное оборудование: dual Xeon 450, reg ecc RAM, SCSI диски и пр. Всего было куплено 8 серверов, кажется.
Я на свой грант, незадолго до этого, купил двухсокетные мат. платы ABIT BP6, Celeron'ы 333, диски ATA IBM. Процессоры, естествено, были разогнаны до 550, память до 133.
В частном порядке я консультировал старичка академика, который курировал проект со стороны науки. Мы занимались родственными задачами, пользовались похожими программами (GAMESS & Crystal).
На выбор оборудования я не мог повлиять, все уже было украдено не нами.
Я не мог удержаться от демонстрации.
На моей системе скорость расчета была на 40-50% выше при 100% загрузке процессоров. На "правильных" серверах загрузка процессоров временами падала до 45-50%.
Догадываетесь, как отличались стоимости систем?
Старичок- академик был озадачен.
Причины:
1) дисковая подсистема.
Дело в том, что задача порождает большие файлы (4-15 Гб), которые вначале дуются на диск, потом делаются разные вычисления (собственные числа и собств. векторы, диагонализация и т.п.) и, на следующей итерации данные снова выливаются на диск.
Если линейная скорость чтения с диска достаточна для того, чтобы накормить процессор - он загружен на 100%. У ATA диска скорость линейного чтения и записи была выше!
Когда соблюдается принцип - один процесс на один диск, то разница между SCSI и ATA нет. Если один диск SCSI нагрузить двумя задачами - скорость расчетов вообще падала ниже плинтуса.
Мало того, SCSI диски были в 4-5 раз меньше размером, поэтому на хвостах больших файлов скорость линейного чтения падала еще сильнее. На больших задачах мои машины обгоняли конкурента почти в два раза.
2) более быстрый процессор
550 vs 450 дает 20%.
3) более быстрый кеш.
На Xeon был внешний кеш 512Кб (микросхемы на плате SLOT1, работающие на частоте памяти - 66-100МГц)
У меня был кеш 128Кб, но он работал на частоте 550МГц.
Поскольку матричные операции легко разбиваются на блоки, достаточно было указать программе оптимальный размер кеша. Как только данные для диагоналиции или вычисления собств. векторов помещались в 128КБ - скорость возрастала еще на 10-15%
3) у меня была быстрее память и меньше задержки (ECC)
=================
На этом месте следовало бы воскликнуть: но надежность, надежность то выше!
На что ученые отвечают так - нам плевать на надежность одного эксперимента. Мы всегда проводим контрольные рассчеты, вариации эксперимента, расчтеы в других базисах и т.д. Единичный эксперимент не имеет права попасть в статью. Нам важнее провести в 2 раза больше экспериментов, нежели бояться 0.5% вероятности аварии оборудования.
Для поисковой системы надежность одного узла тоже не слишком важна.
=================
И еще - не надо смеяться на "паянием" и ковырянием на коленках. В науке мало денег, но есть дружественные кафедры, студенты и умение пользоваться паяльными станциями.
Каждая задача должна быть оптимизировна с точки зрения финансов и ученые очень хорошо это понимают. Если купишь один узел кластера за $1000 вместо $300 - выкинул деньги своего гранта.
Через 2 года машины для расчетов можно подарить студентам, отдать бухгалтерии и т.д.
Последний раз редактировалось art 04 дек 2007, 16:24, всего редактировалось 1 раз.
Помимо алгоритмов (fts, лингвистика, морфология) студенты должны обучаться работе с реальными данными.gs писал(а):Да это вроде как не совсем образовательный проект. Если бы просто разрабатывали движок поисковой системы, то и писюка бы хватило. А такое количество машин явно говорит о прицеле на коммерцию. Хотя возможно это чистый венчур - сделали-продались...
1) масштабирование систем под большие нагрузки и объемы.
Без разнузданной рекламы как вы будете эмулировать нагрузку?
Купите еще 100 компьютеров?
А задержки в сети, медленные ответы DNS серверов, битые пакеты?
Создать на стенде эмуляцию реальности очень непросто и дорого.
2) неидеальная связность с исходными данными (индексация Интернета это не локальный файл прочесать).
Когда студент первый раз в жизни сделает 500 штук http fetch в тразакции своей БД, а 30 % сайтов будут недоступны, он узнает, как работать с реальными данными.
Когда к нему придет поисковик и наполнит за 30 минут корзину в интернет магазине всеми товарами из каталога, он станет еще мудрее.
3) еще это работа с реальным железом, которое можно ковырять своими руками.
Главное не надо усмехаться на наивностью этих проектов. Эти ребята уже не могут получить такое же образование, как вы. То что делается - единственный способ хоть как-то приблизить академические знания к бизнесу и реальной жизни.
Не важно, хотят продать проект или нет. Важно, что на этом учатся реальные люди.
может быть это и чья-то коммерция, но последнее место прописки в МГУ
данные с netcraft.com
данные с netcraft.com
Код: Выделить всё
126107 Russia, Moscow, CRC-997938 Vorobyevy Gory, MSU, r.704, VMiK Nigma.ru, Ltd., http//www.nigma.ru 194.186.121.145 Linux nginx/0.5.23 29-Nov-2007
Nigma.ru, Ltd. 195.218.186.226 Linux nginx/0.5.23 5-Sep-2007
126107 Russia, Moscow, CRC-997938 Vorobyevy Gory, MSU, r.704, VMiK Nigma.ru, Ltd., http//www.nigma.ru 194.186.121.144 Linux nginx/0.5.23 4-Jul-2007
Nigma.ru, Ltd. 195.218.186.204 Linux nginx/0.4.13 27-Apr-2007
Nigma.ru, Inc. 87.242.88.204 Linux Apache/2.0.55 Debian PHP/5.1.6-1 28-Nov-2006
Masterhost is a hosting and technical support organization. 83.222.15.33 FreeBSD Apache/1.3.33 Unix 5-Jan-2006
вспоминается проект вычислительного кластера на SEGA III (если не путаю) - причем без шуток и издёвок, игровые приставки на тех задачах лучше дорогостоющих кластеров.Но! это системы из разряда специализированных и узкозаточенных.
Безусловно есть сегмент задач для которых они пригодны.
Но честное слово я не хотел бы чтобы кто то из моих знакомых администрировал подобную "поделку".
В образовательных целях .... ну почему бы и нет, а в бизнесе
- не прокатит.
Последний раз редактировалось setar 04 дек 2007, 17:55, всего редактировалось 1 раз.
Вы всерьез полагаете, что ученым надо иметь каких-то саппортеров и платить им деньги по контракту за то, что сделает любой первокурсник?a_shats писал(а): Если у Вас на суппорт такого кластера есть вагон бесплатных студентов - самоучек, это одно.
А если нету ? Если суппортерам надо деньги платить ?
Я общаюсь со своей научной группой и хорошо представляю, как идут дела. Именно "студенты-самоучки" все это и поддерживают.
На каких-то платах однажды перепаяли конденсаторы.
Блоки питания меняли, диски. Все. Работа для одного человека. Пара часов в месяц. Какие "вагоны студентов"?
В результате у студентов есть хорошая игрушка. У ученого есть серьезная экономия денег. Есть из чего доплатить студентам.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость