WordPressの「Scrapes」スクレイピングプラグインの使い方
WordPressで使えるウェブスクレイピング用のプラグインは沢山あります。その中でも有効性が高いプラグインは少ないのが現状です。
今回ご紹介する「Scrapes」のプラグインは高機能で簡単な設定で使用が可能です。プログラムの知識も不要で、概ねどこのレンタルサーバーでも動きます。
一度システムの設定を行えば、後はスケジュール通りにウェブスクレイピングしてくれて何もせずに記事が増え続けます。
記事の取り込みだけでなく、画像やタグ、カスタムフィールドなど細かい部分にも対応しています。また、カテゴリーやアイキャッチ画像も自動で設定されます。つまり、初期設定さえすれば後は何もしなくとも記事が増えるのです。
コンテンツのスクレイピングだけではなく、Amazonなどのアフィリエイト商品をスクレイピングして、記事に並べることもできます。使う人のアイデア次第でワードプレスブログの制作方法が拡がります。
もちろん、単一のサイトだけではなく、複数のサイトからウェブスクレイピングが可能です。
プラグインは海外仕様のため、解りにくい部分もあるので、今回は設定や使い方を解説致します。
設定方法
有料プラグインのため、約24ドル掛かります。一度購入すれば有効期限も無く、お使い頂けます。日本では似たような和製プラグインは30000や40000円で販売されていますが、海外で購入したほうが格安で数ランク上ぐらい高機能です。
なお、Envatoで購入して、「Scrapes」をインストールしてください。
プラグインの有効化とライセンス認証して、スクレイピングの設定をしていきます。
サイドバーに「Scrapes」が追加されました。
スクレイピングをするサイトの設定をしていきます。
設定を新規追加する項目です。設定するシステムの名前などを決めます。
「Name」・・好きな名前を設定します。
「Task type」・・個別記事かサイト全体といった設定ができます。今回は、サイト全体の記事をスクレイピングするため、「Serial」を選択します。
スクレイピングをするサイトの全般的な設定項目です。
スクレイピングをするサイトのURLを記述します。
スクレイピングする記事の位置を選択していきます。まずは青いボタンをクリックします。
赤いマーカーの部分を選択して、スクレイピングする位置を決定します。
すると自動でスクレイピングする位置のソースコードが記述されます。
次のページに関する項目を設定します。まずは青いボタンをクリックします。
サイトの次のページに当たる部分の項目を選択します。この例では赤い部分が選択位置です。
すると自動で次のページ部分へのソースコードが記述されます。
カテゴリーに関する設定項目です。
記事部分に関する設定項目です。
記事のタイトル部分を設定します。まずは青いボタンをクリックします。
赤いマーカーの部分を選択して、スクレイピングするタイトルの位置を決定します。
「Detect automatically」・・この項目では、プラグインが自動的にコンテンツ部分を検出してスクレイピングします。
「Select from source」・・自分で記事のソースコード部分を設定して、取得するようにします。
アイキャッチ画像の設定をします。まずは青いボタンをクリックします。
記事のアイキャッチ画像にあたる画像部分を選択します。
すると自動でアイキャッチ画像部分へのソースコードが記述されます。
スクレイピングする際にオプションの設定ができます。著者の情報やコメントの許可、取得した記事を公開するかそれとも下書きにするかといった設定が可能です。
更に細かい記事の設定ができます。
一度に記事を取得する投稿数や取得のスケジュールを設定できます。
WordPressで実行するため、「WordPress」を選択します。
一度にどれぐらいの記事を取得するかが設定できます。「Unlimited」では取得数に制限を設けません。上記の例では、「100」に設定されています。
この場合、一度100個の記事が取得可能です。
記事を取得する際のスケジュール時間は設定できます。例えば、「5 Minutes」であれば5分ごとに記事の取得が行われます。
記事を取得する際のプロセスのタイムアウトの設定時間などができます。
設定を保存します。
全ての設定が終わると、実際にシステムが起動してスクレイピングが始まります。
システムがアクティブになり、後は自重で記事が取得され続けます。実際に記事が取得されました。
まとめ
WordPress プラグイン「Scrapes」の使い方を紹介しました。
簡単な設定で、後は自動的にシステムが起動してスクレイピングを続けます。
Amazon やアフェリエイトなどの商品リンクを自動で取得して、記事に貼り付けるといった方法が効果的かなと思いました。
何よりも一番ありがたいのは自動的にシステムが動いて、記事を制作してくれるということでしょうか。
なお、このプラグインでスクレイピングする際は記事の著作権には十分に注意してください。あくまでも自分の趣味の範囲内でご使用ください。
使い方を間違えなければ、良いスクレイピングツールとなりそうです。