пропуск спама.

fitter · Сообщение **fitter** » 14 мар 2006, 12:35

Доброго дня. Подскажите, плиз, что делать, если ассасин регулярно заносит некоторые неспамовые письма в спам, не взирая, на обучение Баеса. Вернее взирая, баес после обучение, при анализе этого письма выставляет 0 балов (или -2,6), а вот остальные тесты неумолимо забрасывают письмо в спам. Добавление адреса в белые листы, конечно решают проблему, но не все же адреса из таких писем (которых немало) добавлять в белый лист.

Вот выставленные балы:

* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 1.5 FROM_ILLEGAL_CHARS From: has too many raw illegal
characters
* 1.5 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal
characters
* 0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
* [score: 0.4978]
* 4.1 FORGED_MUA_OUTLOOK Forged mail pretending to be from MS
Outlook

Не подскажите, что это за тест, который дал 4.1 балла.

И вот ситуация прямо наоборот:

Спамовое письмо проходит через фильтр и получает такие оценки:

3.5 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
* [score: 1.0000]

Один только Баес, а где же все остальные тесты?
Естественно, при проходном бале 4.2 письмо спокойно проходит через фильтр.

Спасибо.

Сообщение **corvax** » 14 мар 2006, 12:50

fitter писал(а):Доброго дня. Подскажите, плиз, что делать, если ассасин регулярно заносит некоторые неспамовые письма в спам, не взирая, на обучение Баеса. Вернее взирая, баес после обучение, при анализе этого письма выставляет 0 балов (или -2,6), а вот остальные тесты неумолимо забрасывают письмо в спам. Добавление адреса в белые листы, конечно решают проблему, но не все же адреса из таких писем (которых немало) добавлять в белый лист.

Вот выставленные балы:

* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 1.5 FROM_ILLEGAL_CHARS From: has too many raw illegal
characters
* 1.5 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal
characters
* 0.0 BAYES_50 BODY: Bayesian spam probability is 40 to 60%
* [score: 0.4978]
* 4.1 FORGED_MUA_OUTLOOK Forged mail pretending to be from MS
Outlook

Не подскажите, что это за тест, который дал 4.1 балла.

в каталоге со штатными правилами spamassassin'а можно просто грепнуть файлы по FORGED_MUA_OUTLOOK и посмотреть, когда срабатывает данное правило

fitter писал(а):И вот ситуация прямо наоборот:

Спамовое письмо проходит через фильтр и получает такие оценки:

3.5 BAYES_99 BODY: Bayesian spam probability is 99 to 100%
* [score: 1.0000]

Один только Баес, а где же все остальные тесты?

при грамотно оформленных заголовках и отправке письма из нелистенной в DNSBL'е сети так и будет. ну и при отсутствии своих правил

fitter писал(а):Естественно, при проходном бале 4.2 письмо спокойно проходит через фильтр.

ну да. а вы ожидаете систему искуственного интеллекта, которая прочтет письмо, поймет, что это спам и не доставит получателю.

как вариант - отдельно складывать письма, которые хоть и не добрали баллов до порогового значения, но которым байес выставил предельную оценку

fitter · Сообщение **fitter** » 14 мар 2006, 13:53

А как быть с не спамовыми письмами, адреса которых попали в список DNSBL?

* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 1.5 FROM_ILLEGAL_CHARS From: has too many raw illegal
characters
* 1.5 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal
characters
* 1.5 HEAD_ILLEGAL_CHARS Headers have too many raw illegal
characters
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable
relay
* lines
* -2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
* [score: 0.0000]
* 2.2 RCVD_IN_SORBS_SOCKS RBL: SORBS: sender is open SOCKS
proxy server
* [82.144.198.164 listed in dnsbl.sorbs.net]
* 2.6 RCVD_IN_DSBL RBL: Received via a relay in list.dsbl.org
* [<http://dsbl.org/listing?82.144.198.164>]
* 0.7 RCVD_IN_NJABL_PROXY RBL: NJABL: sender is an open proxy
* [82.144.198.164 listed in combined.njabl.org]
* 3.9 RCVD_IN_XBL RBL: Received via a relay in Spamhaus XBL
* [82.144.198.164 listed in sbl-xbl.spamhaus.org]

Сообщение **corvax** » 14 мар 2006, 14:10

fitter писал(а):А как быть с не спамовыми письмами, адреса которых попали в список DNSBL?

с точки зрения DNSBL они спамовые
если вы хотите исключить данные рилеи из проверки в DNSBL, добавьте их к trusted_networks
если не хотите, чтобы листинг хостов в DNSBL так сильно влиял на общую оценку spamassassin, то уменьшите баллы для проверок в DNSBL

в общем-то все это очевидно...

Сообщение **corvax** » 14 мар 2006, 14:15

fitter писал(а):А как быть с не спамовыми письмами, адреса которых попали в список DNSBL?

* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 1.5 FROM_ILLEGAL_CHARS From: has too many raw illegal
characters
* 1.5 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal
characters
* 1.5 HEAD_ILLEGAL_CHARS Headers have too many raw illegal
characters
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable
relay
* lines
* -2.6 BAYES_00 BODY: Bayesian spam probability is 0 to 1%
* [score: 0.0000]
* 2.2 RCVD_IN_SORBS_SOCKS RBL: SORBS: sender is open SOCKS
proxy server
* [82.144.198.164 listed in dnsbl.sorbs.net]
* 2.6 RCVD_IN_DSBL RBL: Received via a relay in list.dsbl.org
* [<http://dsbl.org/listing?82.144.198.164>]
* 0.7 RCVD_IN_NJABL_PROXY RBL: NJABL: sender is an open proxy
* [82.144.198.164 listed in combined.njabl.org]
* 3.9 RCVD_IN_XBL RBL: Received via a relay in Spamhaus XBL
* [82.144.198.164 listed in sbl-xbl.spamhaus.org]

а можно на все Received взглянуть?
судя по записи в dsbl, залистенный хост - это клиент киевского кабельного прова, получающий статический IP
dsbl кого попало не листит
значит, через хост рассылали спам. сами эти бойцы или через них с ломанных клиентских машин, не знаю
но на роутере у них винда и MDaemon 7.2.2
если там еще и NAT 25-го порта есть, то тогда я вообще ничему больше не удивлюсь

p. s. дописываю через пару минут - у них там открытая прокся

fitter · Сообщение **fitter** » 14 мар 2006, 14:43

>а можно на все Received взглянуть?

Можно то можно, но я по глупости письмецо это грохнул.
Как только от них опять прийдет письмо, я здесь сразу выложу полный Received

Сообщение **corvax** » 14 мар 2006, 14:57

fitter писал(а):>а можно на все Received взглянуть?

Можно то можно, но я по глупости письмецо это грохнул.

неспамовое?

fitter писал(а):Как только от них опять прийдет письмо, я здесь сразу выложу полный Received

ok

fitter · Сообщение **fitter** » 16 мар 2006, 11:34

Как и обещал, выкладываю полный Received:

Return-Path: <scc@mirtex.kiev.ua>
Received: from proxy.gloria.com.ua (mail.gloria.com.ua [192.168.0.2])
by mail2.gloria.com.ua (8.13.5/8.13.5) with ESMTP id k2G85RuM031841
for <toner@mail2.gloria.com.ua>; Thu, 16 Mar 2006 10:05:27 +0200 (EET)
(envelope-from scc@mirtex.kiev.ua)
Received: from mirtex.kiev.ua (ip.82.144.198.164.stat-2.volia.net [82.144.198.164])
by proxy.gloria.com.ua (8.12.3/8.12.3/Debian-7.1) with ESMTP id k2G89GRH000394
for <sasha@gloria.com.ua>; Thu, 16 Mar 2006 10:09:16 +0200
Received: from localhost by mirtex.kiev.ua
(MDaemon.PRO.v7.2.2.R)
with ESMTP id md50000002400.msg
for <sasha@gloria.com.ua>; Thu, 16 Mar 2006 10:04:27 +0200
Date: Thu, 16 Mar 2006 10:07:16 +0300
From: Руслан Щербатюк <scc@mirtex.kiev.ua>
X-Mailer: The Bat! (v3.0) Professional
Reply-To: Руслан Щербатюк <scc@mirtex.kiev.ua>
Organization: Миртекс ЛТД
X-Priority: 3 (Normal)
Message-ID: <7510168896.20060316100716@mirtex.kiev.ua>
To: Александр Ивашкевич <sasha@gloria.com.ua>
Subject: ***SPAM (10.7) *** ответ на запрос
In-Reply-To: <1075543854.20060316094853@gloria.com.ua>
References: <190548430.20060314113454@mail2.gloria.com.ua>
<1075543854.20060316094853@gloria.com.ua>
MIME-Version: 1.0
Content-Type: text/plain; charset=Windows-1251
Content-Transfer-Encoding: 8bit
X-Authenticated-Sender: scc@mirtex.kiev.ua
X-Spam-Processed: mirtex.kiev.ua, Thu, 16 Mar 2006 10:04:27 +0200
(not processed: message from valid local sender)
X-Return-Path: scc@mirtex.kiev.ua
X-MDaemon-Deliver-To: sasha@gloria.com.ua
X-Virus-Scanned: ClamAV 0.88/1335/Thu Mar 16 06:58:43 2006 on mail2.gloria.com.ua
X-Virus-Status: Clean
X-Spam-Flag: YES
X-Spam-Status: Yes, score=10.7 required=4.2 tests=AWL,BAYES_20,
FORGED_RCVD_HELO,FROM_ILLEGAL_CHARS,HEAD_ILLEGAL_CHARS,RCVD_IN_DSBL,
RCVD_IN_NJABL_PROXY,RCVD_IN_XBL,SUBJ_ILLEGAL_CHARS,UNPARSEABLE_RELAY
autolearn=spam version=3.1.0
X-Spam-Orig-To: <toner@mail2.gloria.com.ua>
X-Spam-Report: Content analysis details: (10.7 points, 4.2 required)
pts rule name description
--- --------------------- ------------------------------------------------
* 0.1 FORGED_RCVD_HELO Received: contains a forged HELO
* 1.5 FROM_ILLEGAL_CHARS From: has too many raw illegal characters
* 1.5 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal characters
* 1.5 HEAD_ILLEGAL_CHARS Headers have too many raw illegal characters
* 0.0 UNPARSEABLE_RELAY Informational: message has unparseable relay
* lines
* -0.7 BAYES_20 BODY: Bayesian spam probability is 5 to 20%
* [score: 0.1676]
* 2.6 RCVD_IN_DSBL RBL: Received via a relay in list.dsbl.org
* [<http://dsbl.org/listing?82.144.198.164>]
* 0.7 RCVD_IN_NJABL_PROXY RBL: NJABL: sender is an open proxy
* [82.144.198.164 listed in combined.njabl.org]
* 3.9 RCVD_IN_XBL RBL: Received via a relay in Spamhaus XBL
* [82.144.198.164 listed in sbl-xbl.spamhaus.org]
* -0.4 AWL AWL: From: address is in the auto white-list
X-Spam-Level: **********
X-Spam-Checker-Version: SpamAssassin 3.1.0 (2005-09-13) on mail2.gloria.com.ua

fitter · Сообщение **fitter** » 16 мар 2006, 11:59

И еще, обнаружил,что пропущенные письма спама за сутки (их около 20 штук) не имеют отчета о проверке фильтром.
И что интересно, все они получены в одно время, а именно в 5.44 утра.

Сообщение **corvax** » 17 мар 2006, 13:45

fitter писал(а):И еще, обнаружил,что пропущенные письма спама за сутки (их около 20 штук) не имеют отчета о проверке фильтром.
И что интересно, все они получены в одно время, а именно в 5.44 утра.

заранее надо было задрать логлевел MTA и посмотреть, что он напишет в лог по поводу этих писем

Сообщение **corvax** » 17 мар 2006, 13:47

fitter писал(а):Как и обещал, выкладываю полный Received:

ясно... неспамовое письмо с насмерть дырявого хоста

я бы при листинге ихнего рилея в таком количество DNSBL'ей от них вообще это письмо не принял бы, не говоря уже о том, пометит его SA как спам или нет

fitter · Сообщение **fitter** » 21 мар 2006, 11:16

Простите за ламерский вопрос.
Как сделать, чтобы все письма получившие максимальные балы Баеса, но не добравшие порогового, шли на папку spam?

Заранее спасибо.

Сообщение **corvax** » 21 мар 2006, 11:19

fitter писал(а):Как сделать, чтобы все письма получившие максимальные балы Баеса, но не добравшие порогового, шли на папку spam?

это решается средствами MDA

fitter · Сообщение **fitter** » 21 мар 2006, 11:55

хм. А нельзя ли эту проблему решить по другому, например повысить максимальную оценку Баеса, выставляемую спамовому письму, до проходного бала?

Сообщение **corvax** » 21 мар 2006, 12:10

fitter писал(а):хм. А нельзя ли эту проблему решить по другому, например повысить максимальную оценку Баеса, выставляемую спамовому письму, до проходного бала?

можно

но учтите, что если у вас будет высокий уровень ложных срабатываний по другим правилам (или в этом или в соседних тредах такое наблюдалось), то завышенные оценки байеса только увеличать общий уровень false positive

пропуск спама.

Кто сейчас на конференции