ftp/http Search

[Fm]

Нужно сделать поикс по нескольким фтп/хттп серверам (нужно искать програмное обезпичение)
Может кто-то сталкивалса с даной проблемой
Есть ли готовый софт для индексирования страниц
Многосеч меня не устраивает поскольку он индексирует страницы целиком а мне нужни только ссылки на софт

[setar]

Лежит у меня на столе документ в качестве настольной книги,
периодически к нему обращаюсь, в нем есть описание решения вашей задачи.

Код: Выделить всё

Руководство по URL преобразованиям 
оригинал Ralf S. Engelschall rse@apache.org
перевод Александр Егоров http://www.egoroff.spb.ru