[過去ﾛｸﾞ] PowerShell -Part 3 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
138(1): 2018/10/31(水)19:25 ID:zoWehdgp(1/5) AAS
今更ながらに気が付いた話。
大容量のcsvファイルをimport-csvで読むとメモリーの問題があり・・・・
と思い込んでいたんだけど。
.NETが基本なんで、もしかして中身はIEnumerable利用なんかな？
と思い、ためしに130万件で20項目のデータを使って
import-csv をそのままパイプでgroup-objectにつないで集計してみたら
何の問題もなく結果が得られた。
そうだよね、遅延実行してくれてるんだよね。
処理速度は別として、1億件でもメモリー圧迫なしで処理できるんだ。
自作コマンドレット作ると、デカいデータをPowerShell使った処理が
省3
141(1): １３８ 2018/10/31(水)22:05 ID:zoWehdgp(2/5) AAS
PCで時間計測してみた
８１９万件２０項目のCSVファイルで２項目を指定したクロス集計。
CSV読み込みからクロス集計まで。
環境はmac mini。OSはwin7
結果：１７分１６秒
まあ許せるんじゃないでしょうか。
ついでなんでSASで同じことをやってみた、読み込みからクロス集計。
結果：０分９秒
・・・・・・がっくり
145: 2018/10/31(水)22:26 ID:zoWehdgp(3/5) AAS
統計関係で有名なソフト
データ加工がめちゃ便利で速い。値段が高い。
GoogleやAppleが会社（仕事環境：オフィスや会社の環境）は
SASの本社（SAS Institute）を参考にしたそうだ。
147: 2018/10/31(水)22:37 ID:zoWehdgp(4/5) AAS
私のデスクトップ環境で、ソフト年間レンタル初年度１２０万、次年度６０万円
個人じゃ買えないよね〜。でも金融機関や大手の分析BI系（統計やマイニング）は
ほとんどこのソフト。DBもETLもいらないんであとはExcelがあればいいという感じ。
このソフト入れると、DBはただの元データ置き場になっちゃって、皆これをDB代わり
にも使ってしまうことが多い。ただ高いので結構利用部門とか限定される事も多い。
148: １３８ 2018/10/31(水)22:50 ID:zoWehdgp(5/5) AAS
ついでに、機械学習（マイニング・AI)専用のKNIME（これはフリー）で
同じこと（８１９万件２０項目のCSV読み込みと２項目のクロス集計）をやってみた。
結果：３分４８秒
PowerShell遅かったけど、十分実用性あると思うわ。
一般のツール使ったらやはり１０分位はかかると思うんで。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.038s