2016-09-01から1ヶ月間の記事一覧

Windows コマンドbatで処理時間の計測をするメモ

システム負荷検証でbatファイル内のコマンドの処理時間を計測したいので調査。単純に開始時間と終了時間を%time%でとって差分を表示すれば良いかなと思ったら、datetime型の変数ではなく、単なる文字列が返ってくるだけなので簡単には計算が出来ない模様。qi…

動的サイトのスクレイピング

cloud9上で動的サイトのスクレイピングを行おうと調査。 静的サイトは以下のサイトを参考にScrapy+scrapinghub(サイト)で処理したので、 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ scrapinghubの提…