目次 |
スクレイピングツールとは
スクレイピングツールとは、簡単に言うと、ポータルサイトなどの多くの商品やサービスが載っているサイトから、必要な情報を集めてくるツールになります。
データをCSVなどに一覧で起こすことも可能で、例えば、特定の商品価格の比較なんかが一瞬でできたりします。
※予めお伝えしますが、この記事は削除するかもしれません。
というのも、弊社もスクレイピングサービスは行っておりますが、これを月額で販売されているデータ屋さんが多いので（もちろんそういった会社様のツールはもっと簡単にデータ収集ができますが）怒られてしまう可能性があります。。
これから新しい地域に、お店を新規出店したりとか、商品の値決めの際の参考に、その他もろもろ様々な活用が考えられるツールになります。
実は無料のツールがたくさんあります。
スクレイピングツールで検索するとまとめられているサイトなどもあり、いろいろあるのが確認できます。
ただ、今までのものは、PHP、Ruby、Pythonを使わないとできないよというようなものでした。
見た感じ「素人にはちょっとレベルが高いです。。」と思うはずです。
次に、ワードプレスなどにプラグインとして導入できるものもあるようですが、このデータを販売してる人のレビューを見ると精度が低そうな感じでした。
そこからいろいろ見ていると、さらに便利なものがありました。
グーグルクロームの拡張機能に無料で!
なんと、探していくと、クロームの拡張機能から導入が可能とありました。
そこで、有名っぽい「Scraper」を一度確認してみたのですが、
う〜ん。。
確かに、データ収集できそうですが、私の確認できた範囲ですと、
「指定ページのみ収集」ができるものだと思います。(確認できていませんが。)
もちろん、それでいいかもしれませんが、その場合、取得したいページをURL指定して一ページずつ収集し無いといけない。
ちょっとがんばったら手で収集できるレベル
そこで見つけたのが、もう一つの拡張機能のツール「Web Scraper」です。
階層を渡り歩ける優れもの
この「Web Scraper」の優れているところは、階層をもぐったり、ページをまたいだりしてデータ収集してくれるところです。
ポータルサイトの場合、例えば、エステサロンのポータルの場合
※やんわりぼかしてます。
①地域の選択があって
②お店の一覧ページがあって
③ページの選択があって
④そしてお店の詳細ページ
という構造のページが多くなっていますが、この構造を指定すれば、一つ一つのページをまたいでデータを取得してくれる優れものです。
サンプルでジモ◯ィのデータを
こちらのサイトは、ユーザーが自由に複数投稿できますので、「大阪 家具」と絞っても50商品の一覧ページが1000ページ以上表示されます。
※さっきよりもぼかしてます。
一回の取得で獲得できるデータは、おそらく「表示ページリンク数」に依存しており、このサイトの場合一回で8ページくらい取得できると思います。
コツがいりますが、データにするとこんな感じ。
今回の指定は、「商品名・設置URL・商品画像URL・価格」で並べましたが、特に問題なく1000件を超えるリストが生成されました。
まとめ
使い方は、取得時のリンクに動画がありますので、おそらくわかると思います。
無料で、この精度で収集できれば、とても強い味方です!
この記事を消す前にシェアしてくださいね 笑
