[過去ﾛｸﾞ] なろう系小説 保存、オススメ、評価スレ in Download その23 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
644(2): 2018/12/19(水)10:32 ID:Mf3eZloV(1/9) AAS
ログイン機能が追加されたら完了だからすぐ直るとは思うんだが
ついでに感想も投稿できるようになると少しお手軽になる
647: 2018/12/19(水)10:56 ID:Mf3eZloV(2/9) AAS
スクリプトで大量の小説ぶっこぬきしてるような人がいるからかと
651: 2018/12/19(水)11:06 ID:Mf3eZloV(3/9) AAS
自分が使ってる解析用のキャッシングするプロキシでも提供すればええんかな
どれくらいの利用者がいてネット転送量になるかわからんが、
小説毎のプリセット辞書とか色々と統計とったデータあるで
まぁリーダーアプリ作ってるような人なら、その辺自前でできるだろうけど
656(1): 2018/12/19(水)11:46 ID:Mf3eZloV(4/9) AAS
ダウソ的ネタでｗ
ツール作ってる経験則だけどダウンロード時に圧縮(Acctpt-Type: gzip)してない
アプリ(使ってるAPIがデフォルトで無効にしてたり)が多いんだろうな
検索用APIの説明にも圧縮推奨・圧縮してくれて何度か見たし
小説ってのは同じ文字似た文字列が多くなるから圧縮率が高くなりそうなんだが
gzip でも rar でも60％くらいにしか縮まない。
いわゆるソリッド形式にすれば改善するけど更新が頻繁でサイズも小さい粒度だからデメリットの方が大きいのがネック
https://i.imgur.com/MkrGhDV.png
こういう圧縮用プリセット辞書(画像はあらすじ専用の事前学習辞書で10万作品から生成)
を使うと安定して40％くらいまで縮むようになる
省1
660: 2018/12/19(水)13:03 ID:Mf3eZloV(5/9) AAS
見えないブラウザビューを内部で動かしてページ抜き取ってるか、HTTP操作のAPIから取得してるかの違いやろうね
663(1): 2018/12/19(水)14:54 ID:Mf3eZloV(6/9) AAS
認証制、取得できるのは1日200作品4000部以内みたいな制約だけで
想定しない大量のアクセスは防げると思うんだがな
認証ゲートウェイのサーバロジックもコード1000行かからずに作れるし
あと圧縮必須なんかとの合わせ技で従来の半分ぐらいのコストなりそうな
668(1): 2018/12/19(水)15:51 ID:Mf3eZloV(7/9) AAS
>>666
サーバ代がけっこう洒落にならんのよ
それだけで100万単位の節約になる
699(1): 2018/12/19(水)21:02 ID:Mf3eZloV(8/9) AAS
API には無いから自分はそのページをパースしてる
702: 2018/12/19(水)22:53 ID:Mf3eZloV(9/9) AAS
「スクリプトやキュー登録による一括ダウンロード」 について禁止します
みたいな規制でもよかったんだがな。 今からでもそう修正されないかな
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.403s*