[過去ﾛｸﾞ]
PowerShell -Part 3 (1002ﾚｽ)
PowerShell -Part 3 http://mevius.5ch.net/test/read.cgi/tech/1539074808/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
必死ﾁｪｯｶｰ(本家)
(べ)
自ID
ﾚｽ栞
あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
138: デフォルトの名無しさん [] 2018/10/31(水) 19:25:39.36 ID:zoWehdgp 今更ながらに気が付いた話。 大容量のcsvファイルをimport-csvで読むとメモリーの問題があり・・・・ と思い込んでいたんだけど。 .NETが基本なんで、もしかして中身はIEnumerable利用なんかな？ と思い、ためしに130万件で20項目のデータを使って import-csv をそのままパイプでgroup-objectにつないで集計してみたら 何の問題もなく結果が得られた。 そうだよね、遅延実行してくれてるんだよね。 処理速度は別として、1億件でもメモリー圧迫なしで処理できるんだ。 自作コマンドレット作ると、デカいデータをPowerShell使った処理が 可能だな。 と気が付いた次第。 皆にとっては当たり前かもしれんけど、いま気が付いたよ。 http://mevius.5ch.net/test/read.cgi/tech/1539074808/138
141: １３８ [] 2018/10/31(水) 22:05:02.46 ID:zoWehdgp PCで時間計測してみた ８１９万件２０項目のCSVファイルで２項目を指定したクロス集計。 CSV読み込みからクロス集計まで。 環境はmac mini。OSはwin7 結果：１７分１６秒 まあ許せるんじゃないでしょうか。 ついでなんでSASで同じことをやってみた、読み込みからクロス集計。 結果：０分９秒 ・・・・・・がっくり http://mevius.5ch.net/test/read.cgi/tech/1539074808/141
145: デフォルトの名無しさん [] 2018/10/31(水) 22:26:30.11 ID:zoWehdgp 統計関係で有名なソフト データ加工がめちゃ便利で速い。値段が高い。 GoogleやAppleが会社（仕事環境：オフィスや会社の環境）は SASの本社（SAS Institute）を参考にしたそうだ。 http://mevius.5ch.net/test/read.cgi/tech/1539074808/145
147: デフォルトの名無しさん [] 2018/10/31(水) 22:37:39.56 ID:zoWehdgp 私のデスクトップ環境で、ソフト年間レンタル初年度１２０万、次年度６０万円 個人じゃ買えないよね〜。でも金融機関や大手の分析BI系（統計やマイニング）は ほとんどこのソフト。DBもETLもいらないんであとはExcelがあればいいという感じ。 このソフト入れると、DBはただの元データ置き場になっちゃって、皆これをDB代わり にも使ってしまうことが多い。ただ高いので結構利用部門とか限定される事も多い。 http://mevius.5ch.net/test/read.cgi/tech/1539074808/147
148: １３８ [] 2018/10/31(水) 22:50:51.47 ID:zoWehdgp ついでに、機械学習（マイニング・AI)専用のKNIME（これはフリー）で 同じこと（８１９万件２０項目のCSV読み込みと２項目のクロス集計）をやってみた。 結果：３分４８秒 PowerShell遅かったけど、十分実用性あると思うわ。 一般のツール使ったらやはり１０分位はかかると思うんで。 http://mevius.5ch.net/test/read.cgi/tech/1539074808/148
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.026s