KUMA TYPE

猫、パソコン、プログラム、映画、ドラマ、アニメ、perl、etc.

【Movale Type】ベイズ理論を利用したスパムフィルタプラグインを作ってみた。【人柱用】

Posted by kumacchi on 2011年1月25日 , No comment

追記 2011.04.25

【MTプラグイン】Bayes Spam Filter Ver.0.20をリリースしました。 – KUMA TYPE

はじめて見よう見まねでMovable Type用のプラグインなるものを作ってみた。というのも英文コメントスパムがサプリメント見聞録の方に大量に書き込まれるようになったからだ。この際最近お気に入りのAlgorithm::NaiveBayesモジュールを使ってベイズ理論とかベイジアンフィルタとか言われている技術を用いたMovable Type(MT)用のコメントスパムフィルタプラグインを作ってみようと思い立った。
【perlメモ】Algorithm::NaiveBayesのサンプル – KUMA TYPE

結局とりあえず動くものができたのでとりあえず設置して２、３日使ってみたが学習させればちゃんとスパムを判別しているようなのでとりあえず配布してみる。ただ、日本語のスパムが来ないのであまり日本語の方のテストはしていない。どれくらい効果が出るかわからない。多分大丈夫なのではないかと思うが分からないのでとりあえず使ってみたいという人柱向けです。

ダウンロード

ダウンロード最新版Ver.0.20

インストール

上からダウンロードすると下のようにBayesSpamFilternnn.zip問ファイルがダウンロードされる。
20110891

解凍するとBayesSpamFilterというフォルダが出てくるのでコレをそのまま<mtディレクトリ>/pluginsの中にまるごとアップロードしてください。

20110892

コレでインストールは終わりです。

パーミッションについて特に注意する必要があるのは下記のファイルその他のファイルに付いては読み込み属性が付いていれば特に問題ない。

BayesSpamFilter (700 又は707)
├ ham (700 又は 707)
├ spam (700 又は 707)
├ debug_log.cgi (606)

使い方

特に使い方と言ってもないのですが、最初はまっさらで馬鹿なので学習させて賢くさせる必要があります。最初から自動でスパムコメントをスパム判定してくれるわけではありません。

学習

MTの設定画面、つまりダッシュボードのメニューでツール＞プラグインと選択してプラグイン設定画面に移動します。

20110893

プラグイン設定画面にBays spam filter n.nnと表示されていれば設置は多分問題ないのでそこをクリックします。

20110894

設定をクリックします。

20110895

設定画面が表示されるので、学習させる場合はここからスパムやハムをプラグインに食べさせてください。食べさせれば食べさせるほどプラグインは賢くなってより正確にスパム判別をしてくれる様になるはずです。

20110896

例えば、スパムコメントがすり抜けた場合は、そのスパムコメントをスパム(spam)のエリアに貼り付けて[変更を保存]をクリックします。この時出来れば、投稿者名・メールアドレス・URL・IPアドレス等の情報も一緒に張り付けると情報が多くなってGoodです。

20110897

逆にスパムではないコメントがスパム扱いになってしまった場合はハム(ham)の領域にそのコメントを貼り付けて[変更を保存]ボタンをクリックします。

20110898

コレを繰り返していけばそのうちスパム判定精度が上がってちゃんと判定してくれるようになるはずです。たまに誤認識したときには同様に学習させます。

動作環境

Movable Type 4系で動作するはずです。~~MT5は文字コードが変わっているので多分動かないと思われます。~~Movable Type version 4.35-jaで動作確認しました。

追記：2011.01.27
Movable Type 5系でも動作することを確認しました。

ライセンス

このプラグインは、Algorithm::NaiveBayesを利用するため同梱しています。Algorithm::NaiveBayesについてのライセンスは下のページに書いてあるとおりです。Ken Williams / Algorithm-NaiveBayes-0.04 – search.cpan.org

このプラグイン自体も同様に所謂perl(Artistic and GPL)ライセンスにします。

免責

自分用に作ったものとをとりあえず配布するレベルなのでクオリティーは期待しないでください。このプラグインを使ってMT自体が不安定になることはないと思いますが、ご利用は自己責任でお願いいたします。効果についても過度の期待はしないでください。

その他

分かち書きは最初KAKASIを使おうと思ったのですが、色々面倒なので自前の超適当な処理で分かち書きぽいことをしています。軽くていいど思うんだけど。

ちなみにサプリメント見聞録の方はスキャナーが撤去されてしまい更新できない。(´；ω；｀)

タグ : Movable Type, コメントスパム, ベイズ理論

カテゴリ： Movable Type

【アニメ】『みどりのマキバオー』の感想

Posted by kumacchi on 2011年1月24日 , No comment

無料動画GyaO!でアニメ『みどりのマキバオー』を見終わったので感想。

みどりのマキバオー｜無料動画 GyaO![ギャオ]｜アニメ

(続きを読む)

タグ : Gyao, アニメ

カテゴリ：特撮・アニメ・マンガ

コレガの無線LANルータ『CG-WLBARGNH』にGALAXY Tabがつながらない件

Posted by kumacchi on 2011年1月23日 , No comment

下記の二つの記事に関係するのですが、弟が最近買ったGALAXY Tabが家で無線LANになかなかつながらないらしく毎回無線LANルーターを再起動しないとGALAXY Tabとwifiがつながらないというので調べてみました。どうせルーターのファームウェアが古いか何かだろうと思って弟にルーターの型番を聞こうかと思ったのですが前に記事にした覚えがあったので自分のブログを検索で出てきたのが下の記事です。この記事の時にファームウェアをVer.1.20にアップデートしたと記録されています。今回調べてみると最新のファームウェアは2009年3月5日とだいぶ前にVer.1.3がリリースされていました。CG-WLBARGNHを買った記事も２年以上もまえで思ったより昔で時のたつ速さに驚きです。

更新内容は以下のとおりです。
直接関係ありそうな更新はないようですが、一部製品との接続性の向上や動作の安定化が行われているのでもしかしたらこれで現象が改善するのではないかと思いました。

・最新ファームウェアの確認機能が正常に働かない現象を修正しました。
・PPPoE設定の接続ユーザIDと接続パスワード入力に記号が使用できるように修正しました。
・アクセス制限が10件以上登録できてしまう問題を修正しました。
・Intel Wireless clientとの接続性を向上しました。
・一部のインターネット回線にて通信が可能でもリダイレクト機能が働いてしまう現象を修正しました。
・一部のCATV(DHCP環境下)で動作不安定な事象を修正しました。

引用元：「CG-WLBARGNH」ダウンロード | コレガ

早速、最新ファームウェアのダウンロードページをメールで送って、どうせ必要だろうと思ってCG-WLBARGNHのマニュアルPDFもダウンロードしてファームウェア更新のページを表示して待機、マニュアルを見ながら電話でサポートしてファームウェアを最新版にアップデートしました。

結果的には、ルーターの電源を入れなおさなくても接続できるようになったようです。ただ、GALAXY Tabがどういう仕様なのかよく知らないのでなんとも言えませんが、ルーターのエリアに入っても自動的にWifiにならなくてGALAXY TabのWifiボタンを押せばつながるという状態の様です。外ではWIRELESS GATEとか使っているのでそっちはエリアに入れば自動で切り替わるようなことをいっていたような気がするのでやっぱりまだなにか問題があるのかも知れません。とりあえずはルーターの電源を入れなおさなくて良くなった分楽になったようです。同じように接続が不安定で困っている人はルーターのファームウェアが最新か確認しているとよろしいのではないかと思います。

関連リンク

タグ :

カテゴリ： PC・インターネット, その他

【海外ドラマ】『クローザーシーズン2』の感想

Posted by kumacchi on 2011年1月22日 , No comment

無料動画GyaO!（ギャオ）で『クローザーシーズン2』を視聴した感想。現在はシーズン3ほ配信中。アメリカで2005年から放映されている刑事ドラマ。

クローザーシーズン3｜無料動画 GyaO![ギャオ]｜ドラマ・アジア

(続きを読む)

タグ : Gyao, 海外ドラマ

カテゴリ：ドラマ

メイリオフォントを入れてみた。

Posted by kumacchi on , No comment

メイリオフォントはマイクロソフト系OSの新しいシステムフォントでWindows Vista以降のOSで利用されるようになったゴシック系のフォントです。XPでもいくつかの方法で利用出来るようになるので実際にインストールして使ってみることにしました。私は下のページからダウンロードしてインストールしました。日本語については均等幅ですがそれ以外はプロポーショナルで基本的にはプロポーショナルフォントの扱いです。

ダウンロードの詳細 : Windows XP 向け ClearType 対応日本語フォント

ダウンロードすると以下のファイルがダウンロードされるので

20110883

実行すると以下のような画面が表示されるので画面の支持に従ってインストールを行います。

20110884

実際にMS Pゴシックとメイリオでグログの文章の視認性を比べてみたのが下です。文字間の詰まった感じがなくなって視認性が高くなっています。このブログではスタイルシートで行間の幅を大きくとっていますが、その指定しないとかなり行間詰まった感じで窮屈さを感じますが、メイリオフォントを使うと行間も適度にひらいて視認性は上がるらしい様です。文字間の幅が増える関係で表示に必要な領域は多くなるようですが読みやすくなる方が利点は多いと思う。

MS Pゴシック

20110889
メイリオ

20110888

メイリオ – Wikipedia

特に問題がなければこれからはメイリオフォントを使っていきたいと思う。とりあえず利用している各ブラウザのゴシック体のフォントの指定はメイリオにしてみた。テキストエディタなどでも利用してみようと思う。

XPを使っている人でまだメイリオフォントを試していない人は一度試してみるといいと思う。

タグ :

カテゴリ： PC・インターネット, その他

弟がGALAXY Tabを買ったので触らせてもらった。

Posted by kumacchi on 2011年1月21日 , No comment

弟に頼まれてメールアドレスの設定だけやってみた。あとは弟に飲みに連れていってもらって飲みながらちょこちょこ触らせてもらったり話を聞いた。ドコモの3Gなので居酒屋の中でも普通に使えていた。いい時代になったものだと思った。レスポンスについてはブラウザでアドレス欄にURLを入力しようと思ってタッチしても反応が鈍いような気がした。youtubeは普通に視聴できた。弟はGALAXY Tabを買うに当たって色々な物を実際に触ってみてこれに決めたらしいが、全体的なレスポンスや写真の閲覧時のレスポンスはiPadのほうがよかったそうだ。しかし結局GALAXY TabにしたのはiPadがドコモではないのもあるが大きすぎるのと、やはりFlashが見られないというのは致命的なのだそうでGALAXY Tabにしたらしい。

CA350447

Google Earthやストリートビューもサクサク動いていたし音声認識からの英語への変換など海外旅行や外人サンに道を尋ねられた時などに便利な機能だなーと思った。PDFファイルもサクサク見れた。弟にGALAXY Tabを使ってあるPDFファイルをページをめくったりページを拡大縮小しながらプレゼンぽいことをされたがなかなかいいプレゼンテーションツールだと思った。気になったのはGALAXY TabはフルFlash対応なのだと思っていたがフラッシュのウェブフォトギャラリーソフトIMAGINが正常に動作しなかった。完全にPCと同じというわけでは無いようだ。またちょっとどこかをクリックするとすぐにダイアログが出てくるがWindowsの様に閉じるボタンがあるわけではなく本体の戻るボタンを押す方法しかわからなかった。文字入力には慣れが必要だと思った。外を飛び回って仕事する人にはいいアイテムだなーと思った。家の中でもベッドでちょっとネットしたい時やトイレに篭るときの暇つぶしにもいいだろうなーと思った。色々なサイトを見たが、気の利いたブログなどはちゃんとスマートフォン専用の表示が用意されてたりインターネットの違った一面を垣間見た気がした。スマートフォンがこれからのインターネットの一端を担うのは確実なのでまだ持ってない人は早めに何らかのスマートフォンを入手して乗り遅れないようにした方がいいのではないかと思った。自分も含めて。

CA350448