【node.js】サーバサイドjavascript 5【Nashorn】 (796ﾚｽ)
上下前次1-新
78: 2018/04/03(火)18:21 ID:DyW1PQoq(1) AAS
axiosでdatファイルやsubjectファイルを取得するソフトを作っているのですが、文字化けしてしまいます。
jconvやiconv-liteなどのパッケージを使ったり、環境もDigitalOceanのドロップレットを使ったり
ローカルのWindows10で動かしたり色々しているのですが、どうしても文字化けが治りません。
どなたか、ご教示いただけませんでしょうか。
79(1): 2018/04/04(水)02:04 ID:dci/EUEW(1/3) AAS
dat ファイルって、5ch の？
HTML に、文字コードを付けていないのだろ。
どうせ、CP932 だろ
強制変換すれば？
80: 2018/04/04(水)02:30 ID:h2UR4/YM(1/2) AAS
ほんそれ
81: 2018/04/04(水)02:37 ID:RW7X0/F+(1) AAS
>>79
ご回答ありがとうございます。
axiosで取得した時にSHIFT_JISのコードをaxiosが勝手にutf-8扱いしてデコードしていたために
おかしくなっていただけでした。
82: 2018/04/04(水)02:52 ID:h2UR4/YM(2/2) AAS
>axiosが勝手にutf-8扱いしてデコード
そうか？
鯖がUA観て送信塩湖変えてる可能性は？
83: 2018/04/04(水)02:55 ID:dci/EUEW(2/3) AAS
スクレイピングなら、Ruby で、Selenium WebDriver, Mechanize の方が簡単
JavaScript, Node は、面倒くさい。
まだ、Electron の方がマシ
84: 2018/04/04(水)09:11 ID:jx2XXyxV(1/3) AAS
electronてnodeじゃんｗｗｗｗｗ
85: 2018/04/04(水)14:38 ID:dci/EUEW(3/3) AAS
参考までに。
Ruby で、Selenium WebDriver で、Chrome のHeadless mode で、
5ch をスクレイピングしたら、文字化けもせずに、テキストが取得できた
ブラウザが、CP932 を自動的に、UTF-8 に変換しているのかな？
driver.navigate.to "2chｽﾚ:linux
element = driver.find_element(:css, 'div[data-id="8"] > div.message > span')
puts "内容 :#{element.text}"
86: 2018/04/04(水)14:45 ID:YO5zcEko(1) AAS
以前ならnodeでスクレイプはjsdomとjqueryが定番だったイメージ
最近は知らんけど
87: 2018/04/04(水)15:49 ID:jx2XXyxV(2/3) AAS
最近はヘッドレスChrome使う。(puppeteerなどのラッパーを使って)
seleniumと比べて挟むレイヤーが少なくて同じ以上の事ができる。
他のブラウザでやんなきゃならないときはSeleniumだね。セットアップが非常にめんどくさいけど。
88: 2018/04/04(水)16:43 ID:s/NBnuXV(1) AAS
Windows環境でもpuppeteerのヘッドレスChrome動くようになった？
89(1): 2018/04/04(水)17:14 ID:jx2XXyxV(3/3) AAS
MBPだから分からん。
90(1): 2018/04/04(水)17:22 ID:hx9HkNum(1) AAS
>>89
MBPでもWindowsは動くから分からない理由にならん
91: 2018/04/04(水)18:31 ID:JZ99J8cJ(1) AAS
macOSだからわからん
92: 2018/04/05(木)17:30 ID:PWNYpPzv(1) AAS
>>90
MBPだから(いちいちwindows環境用意するのは面倒、従って)分からん
93: 2018/04/05(木)18:15 ID:rXLddpo5(1) AAS
MBPだから面倒とはよく分からんな
AT互換機やVMと大してWindowsセットアップの手間は変わらんのに
94: 2018/04/05(木)18:38 ID:xSbyKHuy(1) AAS
それ面倒って言ってるのと同じ
95(1): 2018/04/15(日)11:55 ID:GDtrufJB(1/2) AAS
Node.jsではグローバル変数はglobalの属性にすると知りました
jsファイルにグローバル変数のように書いてる変数はグローバル変数ではなかったのでしょうか？
96(1): 2018/04/15(日)12:03 ID:GDtrufJB(2/2) AAS
エントリーポイントのjsファイルも、
実際にはモジュールのように独自の名前空間に閉じ込められていたということなのでしょうか
97: 2018/04/15(日)12:30 ID:ZEcSoj1Y(1) AAS
>>95
グローバル変数がグローバルオブジェクトのプロパティだというのはNode固有の話ではない。
ブラウザだとwindow、Nodeだとglobalでそのグローバルオブジェクトにアクセスできるというだけ。
>>96
仮に閉じ込められているとしても、その「外」が無ければどっちと捉えても同じ。
上下前次1-新書関写板覧索設栞歴
あと 699 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.014s