Ruby Advent Calendar 2014 17日目Ruby Advent Calendar 2014、17日目の記事になります。 スクレイピング時にアクセス元のIPアドレスを分散させたいConoHa VPSではVPS1契約ごとに最大16個の追加IPアドレスを購入できます。1つあたり200円と安価で、最安のプランで契約し追加IPアドレスを16個オプションで追加すれば、17個のIPアドレスを持つVPSサーバーの出来上がりです。月額4,180円で、1IPアドレスあたり月額約246円です。非常に安価ですね。 さて、スクレイピング時にアクセス元のIPアドレスを分散させたいということは割とあるかと思います。その是非はここでは置いておくとして、ConoHa VPSを利用することで安価にその土壌となるサーバーを入手できることがわかりました。ただし、Rubyにおいてスクレイピングに有用なgemであ
Mechanize#get などによって取得されたリソースは、Mechanize::Page のインスタンスとして返される。その際の Mechanize::Page の初期化プロセスの中で、取得したリソースの文字エンコーディングを推定している。 エンコーディング候補 以下で得られるエンコーディングを、エンコーディング候補として @encodings に格納する。 ボディのデータから推定する Mechanize::Util.detect_charset(body) NKF.guess を利用して文字エンコーディングを推定する。 推定できた場合は ISO-2022-JP, EUC-JP, SHIFT_JIS, UTF-8, UTF-16, UTF-32 の様なエンコーディング文字列が得られる。 推定できなかった場合はデフォルト値として ISO-8859-1 を得る。 レスポンスヘッダから推定す
久しぶりに Mechanize を触ったのでメモ プログラムからウェブサイトをブラウズするためのライブラリ。 以下を読めばだいたい分りそう。 mechanize-2.2 Documentation Nokogiri Ruby勉強会で話させて頂いてときのスライドで雰囲気は伝わるかと。 (APIが古すぎてコードとかはもう動きません) http://www.slideshare.net/Sixeight/its-mechanize-for-it-ruby-as-a-finder インストール $ gem install mechanize か source 'http://rubygems.org/' gem 'mechanize' を Gemfile に書いて bundle install しましょう。 Google で検索する例 require 'mechanize' agent = Mec
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Rails3とSinatra触ってみたもののWebアプリもWebサイトもネタが浮かばなかったので、軽くbot作ってみることにしました。 ネタ 最近１週間の結果 (日本将棋連盟) http://www.shogi.or.jp/kisen/week/kekka.html 将棋棋戦の結果。日々更新されるので、これをツイートします。RSSとかないのでそれなりに需要もあるかと思いました。 作成過程 素人の覚え書きなので、突っ込みなどあればお願いします＞＜ スクレイピング なにはともあれまずはここから Mechanizeというgemでできるらしい 参考：はてなダイアリー スクレイピングだけなら中のNokogiriだけでもいいのかも agent = Mechanize.new agent.get('http://www.shogi.or.jp/kisen/week/kekka.html') agent.
mechanize-0.9.3 Documentation 自分にとって Mechanize による自動化はたいがい無理を通す行為である。分かりやすく言えば API なんかない、あるいはあっても足りないみたいな状態で、それでもどうにか自動化したいから Mechanize を使う。 Mechanize が持っている標準的な機能だけで済んでいる場合はまだかなりマシで、実際のところ無理というか「無茶」なレベルに突入してしまうことが、なぜかそれなりにあったりする。具体的には HTML が壊れているのでパースに失敗して、あるはずの要素がなくなっていたりする場合などである。 今回はそんな無茶の一部をご紹介。 パーサを Hpricot に変えるずばり基本でしょう。 Mechanize は 0.9 以降デフォルトパーサを Hpricot から Nokogiri に切り替えているが、そもそも Nokogir
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く