[過去ﾛｸﾞ]
Regular Expression(正規表現) Part15 (1002ﾚｽ)
Regular Expression(正規表現) Part15 http://mevius.5ch.net/test/read.cgi/tech/1568640311/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
必死ﾁｪｯｶｰ(本家)
(べ)
自ID
ﾚｽ栞
あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
589: デフォルトの名無しさん [sage] 2021/03/31(水) 03:07:25.18 ID:AtIsL56M regexエンジンって皆さんどういう基準で選んでますか？ ちょつとググるとcommon lispのcl-ppcreがダントツというベンチが出てきますが本当でしょうか？（このスレで言及が見当たらないもので…） perl風なのがちょっと気になりますが http://mevius.5ch.net/test/read.cgi/tech/1568640311/589
590: デフォルトの名無しさん [sage] 2021/03/31(水) 03:15:02.21 ID:AtIsL56M (試せばいいんだけど、環境構築で折れました…) http://mevius.5ch.net/test/read.cgi/tech/1568640311/590
594: デフォルトの名無しさん [sage] 2021/03/31(水) 12:11:49.60 ID:AtIsL56M >>591-593 言葉足らずでしたごめん、線形にコードした化学式から部分構造マッチで設計に活かそうかと(古典的だけど) chemspider.com等から100GB(100万エントリー)のテキストにまとめたが、重複や興味あるデータ以外はawk/sedでメモリに載せずに10GBまでは落とせるかも コマンドライン引数で正規表現文字列を取り、そのままパイプで渡せる言語(cl、python等)なら速ければ何でもいいかなと 有名なperl/grepもパイプから読むけど、検索効率のためになんかキャッシュしてるようで、すぐメモリが膨らんでクラッシュする http://mevius.5ch.net/test/read.cgi/tech/1568640311/594
595: デフォルトの名無しさん [sage] 2021/03/31(水) 12:32:32.23 ID:AtIsL56M あんまり後処理できないけど、sedのg/re/pはスケーラブルみたい g/re/commandのcommandでちょっと実験する限り、command中でmatch情報が使われてなければ保持しないのかな？ 保持するmatch情報を指定出来き、match情報を得るたびに外部ファイルへ追記できる処理系が必要なのだろうか http://mevius.5ch.net/test/read.cgi/tech/1568640311/595
601: デフォルトの名無しさん [sage] 2021/03/31(水) 14:18:33.85 ID:AtIsL56M いや合ってるのかな…シェルの知識が乏しいので 基本はスループット最大化を目指してエンジンとパイプ前後のバッファリングモードを調整で合ってますよね？ linux/bashだと改行待ちで詰まりやすいのでstdbufが効くならそれで、効かないなら強制フラッシュ win/pwsh6&7のパイプラインは逆にバッファリング殆ど貯めないようで、pythonだとio.Streamでかなり改善しました >>600 詳しく！ regex highwayあたりでググってもノイズだらけです http://mevius.5ch.net/test/read.cgi/tech/1568640311/601
603: デフォルトの名無しさん [sage] 2021/03/31(水) 19:14:36.42 ID:AtIsL56M >>602 RDkitもちろん使ってるよー SMILESの検索性上げたのがInChIで、その辺扱ったり、代表的な特徴量を生成するライブラリは沢山あるんだけど、もうやり尽くされた感じで 既存のデータが正規表現で扱う想定のフォーマットだから、まずは正規表現で引っ掛けて独自フォーマットに変換、という感じです あと、勝手にオンラインから拾って来てくれたり便利なんだけど、10GB単位のリクエスト送りまくるとアク禁食らいそうだから、こっそりゴッソリ落としてきたw PowerShellの正規表現がちゃんとコンパイルできる事や、パイプの属性が細かく指定できてかなり速い事に気付いた、灯台下暗し ちょっとスレチぎみですまなかった 目処が付いたら効率的な正規表現とかまた相談に来ます http://mevius.5ch.net/test/read.cgi/tech/1568640311/603
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
1.991s*