100% SPAMを判別する手法を考えてみたのですが、どうでしょうか? 一日、200通のSPAMを受け取っているのでいい加減嫌になってきました。POP File等も試しましたが、大事な友人のメールもSPAM扱いされてしまい、しばらく返事が出せませんでした。

以下の手順でSPAMを判別しようと考えています。

まず、独自ドメインかフリーのドメインでダミーのメールアカウントを大量に生成します。そのダミーメールアカウントをネット上に放流(ホームページに記載、news groupに投稿等)します。あとは、SPAMが到着したらそれらはSPAMと判断し、SPAMメールそのもの又は本文のハッシュ値等を公開します。
あとは各クライアントが、公開されたSPAM情報を元にフィルタリングを行います。

SPAMを受信するメールサーバとSPAM情報を公開するサーバが必要になりますが、自宅に常時接続のサーバがあるので自分でやろうと考えています。

どうでしょう? うまくいきませんか? うまくいく、いかない、理由も添えてコメント下さい。うまくいきそうなら、作ってみたいです。と、書いている間にもSPAMが届く…(T_T)

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:2004/11/21 12:03:45
  • 終了:--

回答(5件)

id:taka-hr No.1

taka-hr回答回数57ベストアンサー獲得回数42004/11/21 12:18:48

ポイント16pt

ランダム文字列やWebバグ用のIDが混じっていることがあるので、

メール本文のハッシュ値だけでは判別できません。

URLはgoogle で調べて出てきたURLですが、

似ているメールをどれだけ効率よく、かつ自動的に判別できるかが

ポイントになると思います。

id:nekomilk

なるほど。毎日受け取っているSPAMを見てると、ほとんどが定型文ですが、中にはランダムな文字列が入っているので、100%とはいえなくなってしまいますね。

類似度を求めると、誤判断が出てきてしまうので、ここは同一本文のみに限定してやってみようと思います。

それだけでも、かなりのSPAMがフィルタできると考えています。

原理的には他の方も考えているようなので、間違っていないかな。

2004/11/21 12:25:50
id:sandaler No.2

sandaler回答回数671ベストアンサー獲得回数02004/11/21 12:27:15

ポイント16pt

http://www.hatena.ne.jp/1101006225#

人力検索はてな - 100% SPAMを判別する手法を考えてみたのですが、どうでしょうか? 一日、200通のSPAMを受け取っているのでいい加減嫌になってきました。POP File等も試しましたが、大事な友..

簡単に言いかえると、SPAM専用のメールボックスを作って、そこに届いたメールは全てSPAMと判断する。

そのSPAMと同じ発信元や同じ内容のメールは全てSPAMと判断するということでしょうか。

そうだとするならば防げるものもあるでしょうが、防げないものもたくさんあるでしょう。

理由はいくつかありますが、一番単純な理由は、SPAM専用メールボックスよりも先にあなたのメールボックスにSPAMが届くかもしれないからです。

id:nekomilk

ずばり、そうでしょう。やはり100%は無理ですね。

ただ、全体的にみて防げないものよりも、防げるものの方が多いと考えています。

SPAMと判断するには、誰かが最初のSPAMを受け取らないといけないので、誰かは犠牲になりますね。

1日200通よりは格段に減ると思います。

2004/11/21 12:32:15
id:virus No.3

virus回答回数183ベストアンサー獲得回数12004/11/21 12:37:23

ポイント16pt

http://popfile.sourceforge.jp/index.php

POPFile: JP POPFileDocumentationProject

うまく行かないとは思いませんが、それでどれくらいのものが捕捉出来るか、ですね。

最近の「スパムキット」(見たことはないので推定)では、個別にメールアドレスや宛先名を本文に埋め込んでくれたり、%RANDAM_STR みたいな形で変数を埋め込むと、そこにランダムな文字とか文章を挿入してくれるみたいですから、本文のハッシュ値だけでは特定アドレス宛に来たスパムしか識別出来ない可能性もあります。

また送信元や宛先にしても、ウィルス同様に詐称するものが増えてますのでこれらの情報もあてに出来ません。

POP File等にしても、理論的には少し違いますが、ある意味では似たような考え方をより一般化した手法でフィルタ定数を自動生成・更新してるわけですね。それでもあの程度・・・と言うことは、貴方の手法一つだけでPOP File等を越える事は難しいと思います。

id:nekomilk

うーん。難しいそうですね…。

ヘッダは確かに詐称されますので、考慮には入れていません。

本文のみを対象にしようと考えています。

今、SPAMを見てみましたが確かに個別のIDが入っているものが多いですね。

リンク先URLに入っているものが多いので、そういうものは除外するとか…。

うーん。なんだかなぁ。難しいですね。

あ、けどまたひとつアイデアが…。

複数アカウントに同時刻付近に受信したメールで何かできないかなぁ。

2004/11/21 12:45:58
id:skura No.4

skura回答回数14ベストアンサー獲得回数02004/11/21 12:44:46

ポイント16pt

http://www.imatrix.co.jp/

【アイマトリックス株式会社】迷惑メール対策なら"マトリックススキャン APEX+"

ここで扱っている製品はハッシュ値を収集しSPAMとして判断しています。

①この製品がメールを数分中継を遅延させます。

②中継を遅延させている間に全世界から集まったハッシュからSPAMか判断します。

③SPAMと判断されればヘッダーなどに細工します。

id:nekomilk

おぉ。あるんですねぇ。

同一性チェックはどうしてるんだろう…?

2004/11/21 12:49:29
id:skura No.5

skura回答回数14ベストアンサー獲得回数02004/11/21 12:49:41

ポイント16pt

追伸

ハッシュを使うメリットとして、SPAMはメールが届く経路などで完全に一致した物は存在しませんよね(ヘッダーも含めると)

ハッシュを使うと類似性が分かるそうで数%の違いは同じと見なし処理をするそうです。

ということで、ハッシュを使ったSPAM判断は実用化されています。

http://www.cloudmark.com/

Cloudmark - Anti Spam and Spam Blocker Solutions

Cloudmark SafetyBarは個人向けにかなりの精度でSPAM判断する製品です。

SPAM DBを用意しているようで情報を収集しながらSPAM判断してますね。

ハッシュかどうか分かりませんが、DB化する物としてお勧めです。

id:nekomilk

少しでも違うとハッシュ値は全く違うものになってしまうので類似度はわからないと思っていました。

cloudmark Safetybarをインストールしてみましたが、ユーザー同士でSPAMを判断して共通のDBをメンテしていくイメージですね。

今は、複数のダミーメールアカウントが同時刻付近に受信した情報から何かできないか考えています。これはimatrixがメールを遅延させてやっているやつですね。

2004/11/21 13:08:20
  • id:Rousseau
    ざんねんだな

    某電化店先12時半ごろだったかなで
    このはてな見て、今帰ってきました。
    このサイトを活用してみたはどうでしょうか?
    IPドメインmailチェック
    http://www.mse.co.jp/safety_svc/ipdo_mail_check.shtml
    で調べてみればいいのでは、とお勧めしようと思いましたが
    先ほど確認したら
    サービス終了中ですかTT

    次のソフトを導入されることをお勧めします。
    Spam mail killer
    BkASPilプラグイン

    もしくはフィルタ搭載のlivedoorGigamailを使用するのもひとつの手かも
    livedoorGigamailはISPmailやFreemailの受信も可能です。
  • id:hnd_info
    スパム

    私はリンクしたページでも書いてますが、本文やメールアドレスでチェックするのではなく、自宅のサーバでしたらIPアドレスでブロックするのが一番だと思います。
    それでも今月は3通届いてますが(^^ゞ
    そのうち2通はYahoo!BBの会員が立ち上げていると思われるメールサーバを中継してきたのでYahoo!BBには連絡しました。

    http://www.hatena.ne.jp/1100333118#
  • id:cx20
    ビル・ゲイツ氏の所には1日400万通!?

    ■ ビル・ゲイツ会長、迷惑メールは毎日400万通近く
    http://www.asahi.com/business/update/1119/111.html

    届くらしいです。ハンパじゃないですね(汗)(^^A
    ただ、社内の迷惑メール駆除システムが活躍していて、本人宛てに届く迷惑メールは数通だとか。
    (ほんとかなぁ?(^^A)

    もし、本当なら自分も欲しいです。

    ちなみに、自分のところには40〜50通くらい届きます(ほとんど海外から)

    メールは、大体は、メッセージルールで「送信元」とか「タイトル」で振り分けてます。
    残ったメールを目視確認でスパムかどうか、振り分けてます。

    これ以上増えると、手に負えないので、やはりスパムフィルタが欲しいところです。
  • id:nekomilk
    Re:スパム

    ありがとうございます。
    海外のIPアドレスをブロックするという事でしょうか?
    海外からも必要なメールが来るので、ちょっと困っています。

  • id:nekomilk
    Re:ざんねんだな

    ありがとうございます。

    >IPドメインmailチェック
    これはどういうものだったのでしょうか?

    >Spam mail killer
    >BkASPilプラグイン
    >もしくはフィルタ搭載のlivedoorGigamailを使用するのもひとつの手
    これらは、ベイジアンフィルタかルール設定のようですね。
    ベイジアンだと誤判断と学習に必要な手間、また判別されたメールの中に必要なメールが埋もれていないかのドキドキ感があり、今は使用していません。
    ルール設定はもう考えていません。手間がかかりすぎます。
    やはり根本的に有効な方法が欲しいです。
  • id:hnd_info
    Re(2):スパム

    >海外のIPアドレスをブロックするという事でしょうか?
    >海外からも必要なメールが来るので、ちょっと困っています。

    海外からのスパムは無条件で閉めてしまいますが、私も海外とのメールのやりとりが必要です。
    そこで私が使っているiptablesは大きな空間で拒否して、そのうち必要な空間だけ許可してアクセス可能です。

この質問への反応(ブックマークコメント)

トラックバック

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません