[過去ﾛｸﾞ] Regular Expression(正規表現) Part15 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
589: 2021/03/31(水)03:07 ID:AtIsL56M(1/6) AAS
regexエンジンって皆さんどういう基準で選んでますか？
ちょつとググるとcommon lispのcl-ppcreがダントツというベンチが出てきますが本当でしょうか？（このスレで言及が見当たらないもので…）
perl風なのがちょっと気になりますが
590: 2021/03/31(水)03:15 ID:AtIsL56M(2/6) AAS
(試せばいいんだけど、環境構築で折れました…)
594: 2021/03/31(水)12:11 ID:AtIsL56M(3/6) AAS
>>591-593
言葉足らずでしたごめん、線形にコードした化学式から部分構造マッチで設計に活かそうかと(古典的だけど)
chemspider.com等から100GB(100万エントリー)のテキストにまとめたが、重複や興味あるデータ以外はawk/sedでメモリに載せずに10GBまでは落とせるかも
コマンドライン引数で正規表現文字列を取り、そのままパイプで渡せる言語(cl、python等)なら速ければ何でもいいかなと
有名なperl/grepもパイプから読むけど、検索効率のためになんかキャッシュしてるようで、すぐメモリが膨らんでクラッシュする
595(2): 2021/03/31(水)12:32 ID:AtIsL56M(4/6) AAS
あんまり後処理できないけど、sedのg/re/pはスケーラブルみたい
g/re/commandのcommandでちょっと実験する限り、command中でmatch情報が使われてなければ保持しないのかな？
保持するmatch情報を指定出来き、match情報を得るたびに外部ファイルへ追記できる処理系が必要なのだろうか
601: 2021/03/31(水)14:18 ID:AtIsL56M(5/6) AAS
いや合ってるのかな…シェルの知識が乏しいので
基本はスループット最大化を目指してエンジンとパイプ前後のバッファリングモードを調整で合ってますよね？
linux/bashだと改行待ちで詰まりやすいのでstdbufが効くならそれで、効かないなら強制フラッシュ
win/pwsh6&7のパイプラインは逆にバッファリング殆ど貯めないようで、pythonだとio.Streamでかなり改善しました
>>600
詳しく！
regex highwayあたりでググってもノイズだらけです
603: 2021/03/31(水)19:14 ID:AtIsL56M(6/6) AAS
>>602
RDkitもちろん使ってるよー
SMILESの検索性上げたのがInChIで、その辺扱ったり、代表的な特徴量を生成するライブラリは沢山あるんだけど、もうやり尽くされた感じで
既存のデータが正規表現で扱う想定のフォーマットだから、まずは正規表現で引っ掛けて独自フォーマットに変換、という感じです
あと、勝手にオンラインから拾って来てくれたり便利なんだけど、10GB単位のリクエスト送りまくるとアク禁食らいそうだから、こっそりゴッソリ落としてきたw
PowerShellの正規表現がちゃんとコンパイルできる事や、パイプの属性が細かく指定できてかなり速い事に気付いた、灯台下暗し
ちょっとスレチぎみですまなかった
省1
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.024s