[過去ﾛｸﾞ]
PowerShell -Part 3 (1002ﾚｽ)
PowerShell -Part 3 http://mevius.5ch.net/test/read.cgi/tech/1539074808/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
138: デフォルトの名無しさん [] 2018/10/31(水) 19:25:39.36 ID:zoWehdgp 今更ながらに気が付いた話。 大容量のcsvファイルをimport-csvで読むとメモリーの問題があり・・・・ と思い込んでいたんだけど。 .NETが基本なんで、もしかして中身はIEnumerable利用なんかな？ と思い、ためしに130万件で20項目のデータを使って import-csv をそのままパイプでgroup-objectにつないで集計してみたら 何の問題もなく結果が得られた。 そうだよね、遅延実行してくれてるんだよね。 処理速度は別として、1億件でもメモリー圧迫なしで処理できるんだ。 自作コマンドレット作ると、デカいデータをPowerShell使った処理が 可能だな。 と気が付いた次第。 皆にとっては当たり前かもしれんけど、いま気が付いたよ。 http://mevius.5ch.net/test/read.cgi/tech/1539074808/138
149: デフォルトの名無しさん [sage] 2018/11/01(木) 00:33:44.20 ID:PBz6MbCm >>138 PowerShell は遅延実行だったのか Ruby では、外部イタレータのEnumerator なら遅延実行になる Enumeratorから、to_a して配列の実体を作ると、全部読み込まれてしまうから、 ずっと、Enumeratorを返すメソッドをチェーンしていって、最後にストリーム処理する Java のStream とか、C# のLinq みたいな感じ http://mevius.5ch.net/test/read.cgi/tech/1539074808/149
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.031s