[過去ﾛｸﾞ] スレ立てるまでもない質問はここで 152匹目 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
156(2): 2019/12/04(水)22:30 ID:OZw1Nhi/(1) AAS
スレ違いだったら誘導お願いします。
毎日定時刻に特定サイトにログインし、特定ボタンを押下 という操作を自動で行うプログラムを作りたいです。
今のところAWSにlinuxのサーバを借りて、curlでリクエストを投げるコマンドをcronで仕込むぐらいしか思いつかないのですが、もっと良い方法はないでしょうか。
157: 2019/12/04(水)22:50 ID:t4W7XDa3(1/2) AAS
>>156
もっと良いとは？
158(1): 2019/12/04(水)22:58 ID:9qyS2PwK(1) AAS
>特定ボタンを押下
AWS Lambda には、Ruby もあるけど、
ボタンを押すのは、ブラウザのユーザーアクションだろ
curl, wget で出来ないだろ
Ruby, Selenium WebDriver でブラウザを操作しないといけないのでは？
たいていの結合・統合テストも、このやり方
漏れはこれで、ログインもしてる
159: 2019/12/04(水)23:18 ID:t4W7XDa3(2/2) AAS
JSで非同期に生成される要素や値が不要ならcurlでも対応可能だよ
ログインはPOSTしてクッキーを保存して以降のリクエストで利用する
160(1): 158 2019/12/05(木)02:40 ID:fTTGdtWT(1) AAS
curl, wget の場合に、
ログイン後に、ボタンを押すにはどうするの？
HTML を解析して、送信先URL に、Form 送信(POST)するとか？
161: 2019/12/05(木)10:34 ID:27PI528t(1) AAS
POSTすればいいんじゃないかな
もっと良い方法というのがサーバーを借りずにやりたいという意味なら、PowerShellでHTTPリクエストを投げるのはどうだろう
162: 2019/12/05(木)11:52 ID:wdnl8B6T(1/2) AAS
>>160
ボタン押した時に発行されるHTTPを「cURLとしてコピー」して
クッキーやCSRFトークンに適切な値を渡すようにして使う
163: 2019/12/05(木)14:34 ID:3TTfjFki(1) AAS
socketをcloseしないままプログラムを終了したせいなのか分からないのですが
socket通信をしようとすると
OSError: [WinError 10048] 通常、各ソケット アドレスに対してプロトコル、ネットワーク アドレス、またはポートのどれか 1 つのみを使用できます。
というエラーが出るようになってしまいました。
どうしたら治りますか？
Pythonを使っています。
164: 2019/12/05(木)15:18 ID:2uRKrxFi(1) AAS
再起動
165(1): 156 2019/12/05(木)20:49 ID:2SLK2uQw(1) AAS
様々なご意見ありがとうございました。渡す値はID/PWだけで動的に変わる項目等もないのでやはりcurlでPOSTするのがシンプルで良いですかね。
ちなみにPC起動せずにやれるのがベストだったのでサーバは借りざるを得ないかな、と思っていました。
166: 2019/12/05(木)21:40 ID:wdnl8B6T(2/2) AAS
>>165
PC起動せず、サーバーも借りずにってことなら
ScrapingできるWebサービス(GASとか)を使うかモバイルからアクセスするか
Webサービスの場合は無料枠でもいけるところがあるだろうけど
そのサービス特有の書き方が必要な部分が出てくるからちょっと面倒
AWSとかの無料枠使うかPCを時間起動するほうが汎用性高い
モバイルはルートとってるデバイスなら可能
通常アプリでスクリプトをスケジュール実行できるのがあるかどうかは知らない
167(1): 2019/12/07(土)15:22 ID:XadNGNX+(1) AAS
>>155
OSやVisual Studioの入っているCドライブをSSDにするのは時間的に厳しいんですが、
ソースファイルや中間ファイルが入るプロジェクトフォルダをSSDに移したら、
それなりに速くなりますかね？
168(1): 2019/12/10(火)20:36 ID:9UB0kZ9H(1) AAS
3Dレンダリングのパイプラインについて解説されている技術資料とかありませんか？
もしくはソフト3Dレンダラーを自作するチュートリアル的な物とか
今時の技術も含めて基礎的な解説がされている物を探しています
最適化を含む実践的な部分は理解の妨げになるので無しか別記されている方が助かります
ググっても
ゲーム関係→まずはUnityを・・・
DirectX/OpenGL関係→××はDirectXがやってくれるので気にする必要はありません・・・
みたいな記事ばかり出ててきて低レベルの部分に関する記事を見つけられないです
169(1): 2019/12/10(火)23:05 ID:LOypIkS3(1) AAS
動画ﾘﾝｸ[YouTube]
動画ﾘﾝｸ[YouTube]
外部ﾘﾝｸ:open.gl
外部ﾘﾝｸ:www.realtimerendering.com
170(1): 2019/12/11(水)14:45 ID:H3x5MOt+(1) AAS
外部ﾘﾝｸ[pdf]:stanford.edu
171(1): 2019/12/11(水)19:00 ID:Frn0mJBL(1) AAS
>>167
3Dの基本は3軸中の点を回転させたり平行移動させるのが主題だ。
ポリゴンは、カメラからの前後を確認しながら、三角形をブレゼンハムのアルゴリズム等でペイントするだけ。
陰をつけたかったら、法線を計算する外積がいる。
補完は線形と2次補完がある。
基本的にここら辺。
172(1): 2019/12/13(金)04:31 ID:q789ZA0W(1) AAS
C言語でC++の様な静的なポリモーフィズムは実現可能ですか？
173: 2019/12/13(金)08:07 ID:tUjSgpCS(1) AAS
もちろんCはセックスですから性的なオーガズムは可能ですよ
174: 2019/12/13(金)08:08 ID:MI2czHtQ(1) AAS
>>172
構造体に関数ポインタのテーブルを持たせればそれっぽいことはできるよ
175: 2019/12/13(金)08:24 ID:ysGzQi5M(1) AAS
macOS10.15 Catalina 不具合・互換性問題 統合スレ3
2chｽﾚ:mac
176: 2019/12/13(金)09:20 ID:Y1ch60SS(1) AAS
〜の環境構築手順
新規プロジェクトの作成手順
みたいなメモにつけるタグを#howtoにしてるんだけどもうちょっとかっこいい英単語ない？
177: 2019/12/13(金)13:53 ID:+9OE4qBy(1) AAS
素直に#手順書でよくない？
#SOP
#Runbook
外部ﾘﾝｸ:en.wikipedia.org
178: 168 2019/12/13(金)21:09 ID:wVI96F7k(1) AAS
>>169-171
ありがとう。英語ばかりで捗っていませんが読んでいます
179: 2019/12/14(土)07:55 ID:R2tGPxDj(1/2) AAS
海外のサイトで質問したいんだけど
print文って英語で何て言うの？
print statementなのか、それともprintだけで良いのか
「print文を挿入したが結果〇〇でした」みたいなこと書きたいときにどっちで書くのが良い？
180(1): 2019/12/14(土)08:45 ID:Mmv8Rj84(1) AAS
print statementを使ってく方がいい
拙い英語でしかも技術的な質問を投げるときは、堅苦しくても正確な表現を使った方が誤解の余地がなくていい
181: 2019/12/14(土)12:25 ID:R2tGPxDj(2/2) AAS
>>180
ありがとうございます
182: 2019/12/14(土)17:45 ID:Ax5byS8E(1) AAS
予約語は "print" とか引用符に入れると間違えがない
183(1): 2019/12/15(日)02:41 ID:sltsdgsx(1) AAS
すいませんwebprog板は人がいないんでこっちで
ウェブスクレイビングしてhtmlと画像を保存してます。
既に保存した画像は重複して保存しないようなデータベースを作りたいです。
つまり、pythonのset型とkey-value型を併せ持った構造にしたいんですが、どんな方法が良いでしょうか？
184(1): 2019/12/15(日)03:56 ID:pFDibfNW(1) AAS
>>183
保存する前に既に保存した画像かどうかチェックすればいいだけでは？
画像そのものでしか比較できないならダウンロードしてからハッシュで比較
テキストやURLで比較できる部分があるならそれで比較してハッシュ比較は保険
185(1): 2019/12/15(日)06:03 ID:fpSJINfx(1) AAS
ブラウザのキャッシュは、SQLite などのDB に、保存してる。
NoSQL でも良いけど
URL をキーにすれば？
ただ、HTML は動的に内容を読み込むものは、内容が毎回異なる。
その日のニュースサイトとか、ランキングサイトとか
だから、クローリングした日時やダウンロードした日時も、保存しておけばよい。
それか内容をハッシュ値に変換して、保存してあるものと比べるとか
クローリングした日時が保存してあれば、同じURL をクローリングしなくて済む。
または、ある程度期間を空けたりできる
こういう高機能なものは、Ruby のAnemone などのアプリを探した方がよい
ただし、Anemoneでも、5ch のように最初に、空のHTMLを送ってきてから、
Ajax を使って、動的に内容を読み込むようなものは、取得できない
そういうページは、Selenium WebDriver で、ブラウザを自動操作しないと無理
上下前次1-新書関写板覧索設栞歴
あと 817 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.025s