【perlメモ】シンプルな分かち書きのperlモジュールがあった
Text::TinySegmenter – search.cpan.org
過去にベイズ理論のperlモジュールを利用したMTの簡単なスパム対策プラグインとか面白半分に作ったりしてましたが、分かち書きはKAKASIやMeCabなどを利用すると導入がかなり大掛かりになるため、簡単なわかち書きの処理でごまかしていました。
今日私が作った変なものよりもっと良いの無いのかなと探していた処、下記のサイトでわかち書きのperlモジュールがあることを発見。
日本語の文章を単語に分割する(分かち書きをする) – DoboWiki
辞書がいらず簡易なわかち書きとしては十分んではないかと思います。
使ってみた。
use utf8;
use Text::TinySegmenter;
$/ = undef;
my $str = <DATA>;
binmode STDOUT,":utf8";
print $str;
my @words = Text::TinySegmenter->segment($str);
foreach my $w (@words){
print "$w ";
}
__DATA__
昨夜午後11時頃に愛猫と一緒に就寝した。
午前0時30分頃に頭の側面と後頭部に湿った嫌な感触を感じて目が覚めた。多分寝返りを打った拍子にその湿った何かに乗ってしまったのだろう。
覚えのある臭いが鼻を突いた。魚と湿ったスナック菓子が混じり合ったような臭いだ。
私の腕枕で寝ていたはずの猫はいなくなっていた。たぶん叱られると思って逃亡したのだろう。そう、多分これは猫のゲロだ。
真っ暗闇の中、恐る恐る起き上がり後頭部を触ってみると何かがべっとりとくっついている。手探りで枕の上を触るとねっとりとしている。いつもなら猫に文
句の一つもいうのだがあまりの大惨事に怒る気力も湧かない。電気を点けるため恐る恐るロフトベッドからにじり降りるとにする。
と、足元の方の手をついた所でまたしても手のひらになにやらねっとりとしたものを感じる。ここにもゲロっていた。圧倒的な絶望感。
やれやれ。
うんざりしながらロフトベッドを降りて電気を付ける。時刻は0時30分位だった。就寝してからまだ1時間半しか経っていない。
結果
$ perl b.pl
—- オリジナル —–
昨夜午後11時頃に愛猫と一緒に就寝した。
午前0時30分頃に頭の側面と後頭部に湿った嫌な感触を感じて目が覚めた。多分寝返りを打った拍子にその湿った何かに乗ってしまったのだろう。
覚えのある臭いが鼻を突いた。魚と湿ったスナック菓子が混じり合ったような臭いだ。
私の腕枕で寝ていたはずの猫はいなくなっていた。たぶん叱られると思って逃亡したのだろう。そう、多分これは猫のゲロだ。
真っ暗闇の中、恐る恐る起き上がり後頭部を触ってみると何かがべっとりとくっついている。手探りで枕の上を触るとねっとりとしている。いつもなら猫に文句の一つもいうのだがあまりの大惨事に怒る気力も湧かない。電気を点けるため恐る恐るロフトベッドからにじり降りるとにする。
と、足元の方の手をついた所でまたしても手のひらになにやらねっとりとしたものを感じる。ここにもゲロっていた。圧倒的な絶望感。
やれやれ。
うんざりしながらロフトベッドを降りて電気を付ける。時刻は0時30分位だった。就寝してからまだ1時間半しか経っていない。
—- 分かち書き後 —–
昨夜 午後 1 1 時頃 に 愛猫 と 一緒 に 就寝 し た 。
午前 0 時 3 0 分頃 に 頭 の 側面 と 後頭 部 に 湿っ た 嫌 な 感触 を 感じ て 目 が 覚め た 。 多分 寝返り を 打っ た 拍子 に その 湿っ た 何か に 乗っ て しまっ た の だろ う 。
覚え の ある 臭い が 鼻 を 突い た 。 魚 と 湿っ た スナック 菓子 が 混じり 合っ た よう な 臭い だ 。
私 の 腕枕 で 寝 て い た はず の 猫 はい なく なっ て い た 。 たぶん 叱 られる と 思っ て 逃亡 し た の だろ う 。 そう 、 多分 これ は 猫 の ゲロ だ 。
真っ 暗闇 の 中 、 恐る 恐る 起き 上がり 後頭 部 を 触っ て みる と 何か が べっ とり とくっつい て いる 。 手探り で 枕 の 上 を 触る とねっとり とし て いる 。いつも なら 猫 に 文句 の 一つ もいう の だ が あまり の 大惨事 に 怒る 気力 も 湧か ない 。 電気 を 点ける ため 恐る 恐る ロフトベッド から にじり 降りる と に する 。
と 、 足元 の 方 の 手 を つい た 所 で また して も 手 の ひら に なに やら ねっとり とし た もの を 感じる 。 ここに も ゲロっ て い た 。 圧倒 的 な 絶望 感 。
やれ やれ 。
うんざり し ながら ロフトベッド を 降り て 電気 を 付ける 。 時刻 は 0 時 3 0 分位 だっ た 。 就寝 し て から まだ 1 時間 半し か 経っ て い ない 。