Антиспамовый фильтр (Sendmail + DrWeb + SpamAssassin)

[Niv]

День добрый !
Спасибо за толковое описание !
Но мне не удается собрать модули Perl..  
Третий день бьюсь !

>Далее пытаемся откомпилировать дистрибутив
>#perl Makefile.PL
>Скорее всего получаем кучу ошибок о отсутствующих модулях Perl
>Вообще требуемые модули перечислены в INSTALL

Так и есть !

>Все перл модули добавляются в систему либо вышеописаным >способом, либо качаются с http://search.cpan.org/ (там в поиске >вводится название модуля например HTML::Parser)

Нашел как сказали, скачал, но при инсталляции
в каталоге модуля (IO-Socket-INET6-2.51) - на: make test
выдает ошибки:
....
....
BEGIN failed--compilation aborted at blib/lib/IO/Socket/INET6.pm line 16.
Compilation failed in require at t/io_multihomed6.t line 55.
BEGIN failed--compilation aborted at t/io_multihomed6.t line 55.
t/io_multihomed6....dubious                                                  
       Test returned status 2 (wstat 512, 0x200)
......
......
FAILED--3 test scripts could be run, alas--no output ever seen
make: *** [test_dynamic] Error 2
#_

Из каталога Mail-SpamAssassin-3.1.5
делаю: perl Makefile.PL
говорит так:

***************************************************************************
NOTE: the optional IO::Socket::INET6 module is installed,
but is not an up-to-date version.

 This is required if the first nameserver listed in your IP
 configuration or /etc/resolv.conf file is available only via
 an IPv6 address.


***************************************************************************
NOTE: the optional IO::Socket::SSL module is installed,
but is not an up-to-date version.

 If you wish to use SSL encryption to communicate between spamc and
 spamd (the --ssl option to spamd), you need to install this
 module. (You will need the OpenSSL libraries and use the
 ENABLE_SSL="yes" argument to Makefile.PL to build and run an SSL
 compatibile spamc.)
optional module out of date: Net::DNS
optional module out of date: Mail::SPF::Query
optional module out of date: IO::Socket::INET6
optional module out of date: IO::Socket::SSL

Как побороть ?
Чего не хватает ?

>Обучение системы


>Теперь как учить - в комплекте есть программа sa-learn ей нужно >скормить каталог с письмами ham и spam

>сами письма нужно иметь в немодивицированном виде (без forward`а >и прочих почтовых пересылок перенаправлений)
>я их получал прямым экспортом из программы TheBat в формат .MSG
>для удобства завёл специальные папочки в которых скидывал >примеры писем, а в конце дня делал экспорт на сервер.

У меня в конторе TheBat не используется, может быть подскажите,
как получить не модифицированные письма из Outlook Expr ?
Или есть способ сделать выборку прямо на почтовом сервере ?
У мня работает Sendmail..

>Фуххх вроде всё. будут вопросы - пишите помогу.[/quote]

Очень надеюсь на Вашу помощь !

[Ruslan.Ivanov]

Вопрос по СА.
Настроен на гейтвее такой фильтр.
Некоторые письма от партнеров в упор ложатся в спам, хотя их айпи прописаны в конфиг файле СА в  trusted_networks.

У кого-то была такая проблема?
С айпи не напутал - логи перекопал несколько раз - все сверил.

З.Ы. Использую байесовое обучение.

[apelsin]

trsuted_networks это не то,  вы туда должны указать свои внутренние сетки,  а все остальное потереть.

вам надо для начала разобратся почему у вас писма от партнеров попадают в спам.  гляньте в headers письма, там долно быть написано какие правила сработали.

далее, в случае необходимости можно воспользоватся whitlelist_from или другми настройками whitelist.

как пользоватся -- смотрите   `perldoc  Mail::SpamAssassin::Conf '

[Niv]

Разобрался сам !
Всем ответившим - спасибо !

[Ruslan.Ivanov]

Спасибо я разберусь с whitelist_from.
Лог на письма, которые ложатся в спам, пишет :
skipped message, greater than max message size (256000 bytes)

[Ruslan.Ivanov]

Спасибо я разберусь с whitelist_from.
Лог на письма, которые ложатся в спам, пишет :
skipped message, greater than max message size (256000 bytes)

[apelsin]

как же тогда письмо  ложиться в спам?   вы в заголовки письма посмотрите

извините что повторяюсь: whitelist надо применять только если вы знаете чем проблема, а то можно прописать адрес в whitelist_from а письма все равно будут "ложится в спам"

[Ruslan.Ivanov]

Вы были правы - White_List не помог делу.
Письма все равно в спам-папку леги.

Вот что пишет СА :

pts rule name              description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME           From: does not include a real name
3.1 MSGID_SHORT            Message-ID is unusually short
-2.6 BAYES_00               BODY: Bayesian spam probability is 0 to 1%
                           [score: 0.0000]
0.0 HTML_MESSAGE           BODY: HTML included in message
0.0 MIME_HTML_ONLY         BODY: Message only has text/html MIME parts
3.3 ADVANCE_FEE_3          Appears to be advance fee fraud (Nigerian 419)
2.2 INVALID_MSGID          Message-Id is not valid, according to RFC 2822
0.0 ADVANCE_FEE_1          Appears to be advance fee fraud (Nigerian 419)
1.4 ADVANCE_FEE_2          Appears to be advance fee fraud (Nigerian 419)
-1.2 AWL                    AWL: From: address is in the auto white-list

[apelsin]

Appears to be advance fee fraud (Nigerian 419)
А откуда партнеры ваши, часом не из Нигерии

если  серьезно, то  спамассассин накидывает вам спам-баллы (в даннон конкретном случае) за две вещи:

А) похоже что msg-id у данного сообщения слишком короткое и не соответсвует RFC -- камень в  огород админа ваших партнеров:  RFC надо соблюдать
B) срабатывает какое-то статическое правило "ADVANCE FEE" , спамассасин думает что это нигерийский спам. -- тоже вопрос к партнерам: у них походу английский как в нигерийских письмах

Как сделать так чтоб письма доходили?
2.6 BAYES_00               BODY: Bayesian spam probability is 0 to 1%
для начала, подкоректируйте  scores для байес-классификатора. Когда
байес дает 00 это точно не спам, как и  99 это точно спам.  В этом форуме есть статья где написано как настроить спамассассин и изменить scores для байес-класификатора. За 00 можно и -10 или -15 смело добавлять, если бы увас
спам-ассассин -15 накинул, то это письмо бы в спам не  попало.

далее "Вы были правы - White_List не помог делу."  -- в данном конкретом случае white_list не сработал.

И еще: "-1.2 AWL                    AWL: From: address is in the auto white-list"  --  у вас включен auto-wite-list (AWL), если он для вас работает то хорошо, но многие его отключают т.к. из за этой функции часто проскакивает спам.  Я бы вам советовал эту опцию отключить, по карйней мере до того момента пока вы не разберетесь основными функциями спам-ассассина.

[Ruslan.Ivanov]

Apelsin, спасибо за ответы.
Сейчас разбираю ваши советы и работаю..
Появился вопрос :
Если я захочу установить новый сервер в качестве гейтвее+спамфильтра, на нем установлю новую ОСь, ну СА заинсталлирую.
Смогу ли я перенести существующие базы Байеса на новую систему, дабы снова не обучать несколько дней его?

Вот еще одно...
Score для Байеса я подправил.
Но в тех случаях, когда Байес говорит, что данное письмо спам с вероятностью 40-50 %, не хотелось бы мне ставить туда цифру меньше нуля. А т.к. у меня там стоит ноль, то получается, что с одной стороны у меня есть письма от партнеров с таким процентом, и они попадают в спам (и по делу - нарушают правила антиспам-фильтров аж бегом), с другой стороны есть спаммеры с таким процентом и они должны попадать в спам.

Вижу такой выход - принудительно завставлять СА не помечать как спам, если им даже начислено 30 баллов. Рассылки от клиентов могут быть очень некорректным в части спам-маркирования.
Но ВАЙТ_ЛИСТЫ меня в упор не слушаются. Что мне делать?
Повышать пороговое значение для спама ? Или у меня вайт-листы не работают корректно.
Вот пример того о чем я говорю.
Письмо от партнеров, но я же их не заставлю по-другому писать письма.
Content analysis details:   (5.2 points, 4.5 required)

pts rule name              description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME           From: does not include a real name
0.1 FORGED_RCVD_HELO       Received: contains a forged HELO
4.3 SUBJ_ILLEGAL_CHARS     Subject: has too many raw illegal characters
0.1 HTML_50_60             BODY: Message is 50% to 60% HTML
0.0 HTML_MESSAGE           BODY: HTML included in message
0.0 BAYES_50               BODY: Bayesian spam probability is 40 to 60%
                           [score: 0.5000]
0.0 MIME_HTML_ONLY         BODY: Message only has text/html MIME parts

[apelsin]

Apelsin, спасибо за ответы.
Сейчас разбираю ваши советы и работаю..
Появился вопрос :
Если я захочу установить новый сервер в качестве гейтвее+спамфильтра, на нем установлю новую ОСь, ну СА заинсталлирую.
Смогу ли я перенести существующие базы Байеса на новую систему, дабы снова не обучать несколько дней его?

как у вас организованы базы?  одна база на весь хост на bdb?  думаю что можно, но не пробовал.  У меня база на postgresql, тма точно можно.

Вот еще одно...
Score для Байеса я подправил.
Но в тех случаях, когда Байес говорит, что данное письмо спам с вероятностью 40-50 %, не хотелось бы мне ставить туда цифру меньше нуля. А т.к. у меня там стоит ноль, то получается, что с одной стороны у меня есть письма от партнеров с таким процентом, и они попадают в спам (и по делу - нарушают правила антиспам-фильтров аж бегом), с другой стороны есть спаммеры с таким процентом и они должны попадать в спам.

оставьте как есть.

Вижу такой выход - принудительно завставлять СА не помечать как спам, если им даже начислено 30 баллов. Рассылки от клиентов могут быть очень некорректным в части спам-маркирования.
Но ВАЙТ_ЛИСТЫ меня в упор не слушаются. Что мне делать?
Повышать пороговое значение для спама ? Или у меня вайт-листы не работают корректно.

вайт-листы у вас не работают похоже, по крайней мере для письма ниже точно не сработали.  читайте доку,  проверяйте  $spamassassin -D <  /path/message  
SA выдаст кучу инфы в таком случае

Вот пример того о чем я говорю.
Письмо от партнеров, но я же их не заставлю по-другому писать письма.
Content analysis details:   (5.2 points, 4.5 required)

pts rule name              description
---- ----------------------
--------------------------------------------------
1.0 NO_REAL_NAME           From: does not include a real name
0.1 FORGED_RCVD_HELO       Received: contains a forged HELO
4.3 SUBJ_ILLEGAL_CHARS     Subject: has too many raw illegal characters
0.1 HTML_50_60             BODY: Message is 50% to 60% HTML
0.0 HTML_MESSAGE           BODY: HTML included in message
0.0 BAYES_50               BODY: Bayesian spam probability is 40 to 60%
                           [score: 0.5000]
0.0 MIME_HTML_ONLY         BODY: Message only has text/html MIME parts

4.3 SUBJ_ILLEGAL_CHARS    у вас 4.3 балла накидывается, уменьшите, а то такое будет с каждым письмом с кривого мэйлера с русскими буквами в Subject:

[Ruslan.Ivanov]

4.3 SUBJ_ILLEGAL_CHARS    у вас 4.3 балла накидывается, уменьшите, а то такое будет с каждым письмом с кривого мэйлера с русскими буквами в Subject:

Ага понимаю.
А вы можете подсказать как это прописывается в конфиге? или показать где можно почитать ИМЕННО о настройках начисления балов за конкретные нарушения.
Спсб.

[apelsin]

дописать в файл local.cf
score SUBJ_ILLEGAL_CHARS               0.1 # цифра по вкусу
или в общем случае
score RULE_NAME                                 <score>

документация по настройке вызывается командой `perldoc  Mail::SpamAssassin::Conf'

[apelsin]

на сайте спамассасина есть страничка вики, где перечислены все правила для sa с указанием кол-ва баллов по дефолу.  http://spamassassin.apache.org/tests.html

[corvax]

на сайте спамассасина есть страничка вики, где перечислены все правила для sa с указанием кол-ва баллов по дефолу.  http://spamassassin.apache.org/tests.html

с тем же успехом можно грепнуть по названию правила файлы в
/usr/local/share/spamassassin
/usr/local/etc/mail/spamassassin
или
/usr/share/spamassassin
/etc/mail/spamassassin