namazuでサーバーを立てたい (481ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
1(25): 名無しさん＠ディストリいっぱい 2001/05/07(月)05:02 AAS
この板の過去ログを検索したくても不便です。
そこでnamazuを使って検索用のサーバーを立てようと思います。みんなのために。
namazuのインストールは終了しました。動作もばっちりです。
ただログを収集するのが大変です。
自動的にログを収集してくれるスクリプトってないですか？
っていうかそんなの持ってる人いたらください。
あと
外部ﾘﾝｸ:cocoa.2ch.net
↑ここからログを拾うとdatファイル形式なのでhtmlで表示されません。
ログはどこから拾ってくればいいんでしょうか？
省1
11(3): 名無しさん＠お腹いっぱい。 2001/05/07(月)11:49 AAS
datファイルから直接 index を作成するためには、
1. 外部ﾘﾝｸ:cocoa.2ch.net から dat ファイルを拾う
2. 1. で拾ったファイルを、***.dat といったファイルから
*** というファイル (.html はいらない）へ、dat2html で
html 変換する（別ディレクトリへ）
3. 変換されたファイルに対して、mknmz
4. その index から、.namazurc にて
REPLACE REPLACE $indexdir/ 外部ﾘﾝｸ[cgi]:cocoa.2ch.net
といった変換をすればよい
過去ログ倉庫から index を作成するのは、そのまま wget,
省4
14(4): 名無しさん＠お腹いっぱい。 [sage ] 2001/05/07(月)12:57 AAS
適当だが>>13
$cnt=1;
# ここで適当なHTMLヘッダを出す
$fff=shift;
open(TH,$fff) || die "open error\n";
$_=<TH>;
chop $_;
$num=@dat=split(',',$_);
print "<title>".$dat[4]."</title>\n";
print '</HEAD>'."\n";
省17
23(3): 名無しさん＠お腹いっぱい。 2001/05/07(月)15:10 AAS
>>21
typoを2箇所発見。diff とるまでもないので、修正したスクリプトを
そのまま貼りつける。
# 今、Linuxが手元にないので、誰かテスト頼む
#!/bin/sh
export dat2html=/usr/local/bin/dat2html.pl
export workdir=/home/2ch
export wgetdir=$workdir/wget
export datdir=$wgetdir/linux/dat
export namazudir=$workdir/namazu
省11
27(3): 名無しさん＠お腹いっぱい。 2001/05/07(月)15:32 AAS
おお、なんだかすごいことになりそうな予感。
ここまでくれば、実際に>>1にテストしてもらって、
不具合があればここでわいわいやればあっという間に
出来そう。>>1サーバーの負荷がはたしてどこまで
耐えられるか。この板だけならば、それほどでもないかな。
71(5): 名無しさん＠お腹いっぱい。 2001/05/09(水)10:52 AAS
サーバが違うと区切り文字が違うので、それに対応
パラメタが区切り文字列、区切り文字列の置換文字列、datファイル名となります
Linux板なら /〜/dat2html.pl "," "\xa1\xf7\xa1\xae" foo.dat
モナー、ラウンジなら /〜/dat2html.pl '<>' "" bar.datと指定してください
$sep=shift;
$rep=shift;
print '<HTML><HEAD>'."\r\n";
print '<META HTTP-EQUIV="Content-Type" CONTENT="text/html; CHARSET=EUC-JP">'."\r\n";
$fff=shift;
open(TH,"/usr/local/bin/nkf -e $fff |") || die "open error\n";
省30
209(9): 名無しさん＠お腹いっぱい。 2001/05/27(日)17:11 AAS
ここで、立ち上がったnamazuの検索項目に入ってない板を取り入れ
同じように公開を考えてはいるんですけど
いまいち上手く動いてくれないです。
wget＋namazu を cronで動かし問題無く動いてますが、
ここで公開されたスクリプトの設置が上手くいってないようです。
どなたか、動かした人レスお願いします。（メールも返事が無かったので）
231(3): 209 [sage ] 2001/05/29(火)00:19 AAS
>>1さん＋みなさんのおかげで、namazuテスト成功しました。
まだ、細かな所を詰めないといけないけど
何処の板をnamazu検索に取り入れようかなぁ。
使ってないマシンにLinux系を入れて公開しようと思ってるから
まだ、時間掛かりますが。
247(7): 231 [sage ] 2001/06/06(水)23:54 AAS
ここで出ましたシェルスクリプトの
ファイル名を変換する部分に新規ファイル＆更新ファイルのみの変換と言った処理を
追加したいのですが、どなたか助言お願いします。
mknmzで実際には更新されてないファイルまでインデックス書き直しをしてしまうので・・。
for i in `ls $データdir | egrep "[0-9]+\.dat"`
do j=`echo $i | sed -e 's/\.dat//'`
$dat2html '<>' "" $データdir/$i > $変換先dir/'xxx.2ch.net/test/read.cgi?bbs=xxxx&key='$j
done
258(3): login:ディストリいっぱい 2001/06/17(日)20:27 AAS
過去ログの検索結果のところに広告の文字が表示されるのを回避するために過去ログ分の
ファイルは6行目から31行目まで削除する処理を追加。
でも2重3重に行削除を行うのを防止するために毎回kakoディレクトリを削除
することになるのでサーバーの負担倍増。笑
testディレクトリも削除しないとゴミファイルが大量に溜まるようなので毎回削除。
これにより一層サーバーの負担増加。笑
作業不合理化・・・
#!/bin/sh
LANG=ja
export LANG
省26
272(10): 2001/07/21(土)22:57 AAS
namazu ベースの２チャンネル検索サイト
試験的に公開します。
まだ、不都合があるかもしれないので気が付いたら指摘してください。
外部ﾘﾝｸ:www12.tok2.com
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.830s*