[過去ログ] くだすれPython(超初心者用) その44【Ruby禁止】 (1002レス)
上下前次1-新
抽出解除 必死チェッカー(本家) (べ) 自ID レス栞 あぼーん
このスレッドは過去ログ倉庫に格納されています。
次スレ検索 歴削→次スレ 栞削→次スレ 過去ログメニュー
リロード規制です。10分ほどで解除するので、他のブラウザへ避難してください。
75: デフォルトの名無しさん [sage] 2019/07/29(月) 23:05:50.23 ID:S/NmWbT9(1) AAS
100GB近くあるテキストファイルを50万行ずつに分割する処理の途中で
誤って処理を止めてしまったのですが、途中(仮に500)からイテレータを始める方法を検討いただきたいです。
ファイルの読み込みはpandasのread_tableでchunksizeを50万で指定しています。
skiprowsを50×10万行で指定したらmemory errorを起こしました。
読み込みだけで一回10秒程度かかるため、dataframeを作成せずにイテレータをインクリメントしたいです。
上下前次1-新書関写板覧索設栞歴
スレ情報 赤レス抽出 画像レス抽出 歴の未読スレ AAサムネイル
ぬこの手 ぬこTOP 0.041s