WordPress用自動スクレピングと自動記事作成プラグイン「Scrapes」
「Scrapes」は、インターネット上のWEBサイトから、自動収集した記事やコンテンツを自分の運営するWordPressサイトに自動投稿するスクレイピングプラグインです。お気に入りの記事をコレクションしたり、アフィリエイト商品や動画コンテンツなどを自動収集して、自動的に記事を作成してくれるシステムです。
使い方はとても簡単で、特別なスキルなどは必要ありません。またのHTML、CSS、PHPといったプログラムや技術のスキルは必要なく、誰でも使えるWordPressプラグインです。
スクレイピングしたいURLをプラグインに登録すると、後は自動的にコンテンツを収集して記事にします。複数のURLを登録可能です。スクレイピングしたい位置や箇所も詳細に登録できて、自分好みにカスタマイズが可能です。
但し、他のコンテンツを収集して公開するということは、著作権にも触れるため十分に注意してください。自分のコレクションや趣味の範囲で利用する分には問題ありません。また、他の人のコンテンツを収集して公開しても、検索エンジンはコピーコンテンツと見なして、検索上位に表示されることありません。検索エンジンから除外される可能性もありますので十分に注意してください。
Scrapesは、無料プラグインではなく有料プラグインです。24ドル必要ですが、使用制限等はなく長年使うことができます。WordPressにはスクレイピングプラグインは他にも沢山あります。しかし、上手く動かないことや使用方法が難しいなど難点もありますが、その中でもScrapesは、簡単で使い易いです。
また、動作環境もPHP5.2で動くため、様々なレンタルサーバーで使用できます。初心者の方にとって使いやすいプラグインです。
海外のプラグインのため、使うときに表記などは全て英語ですが、ブラウザのGoogle翻訳を使って使用すれば特に問題はありません。一度使い方を覚えれば後は簡単にスクレイピングができます。購入の際は、envato.comを利用します。海外サイトのため戸惑うこともありますが、特に問題なく購入できました。
このページでは、WordPressプラグイン「Scrapes」の特徴や内容を紹介します。
プラグインの特徴
Photo by Scrapes
コーディングやプログラムのスキル無しで使えるように設計されています。
最小システム要件で高性能を達成することを目指しています。例えば、PHP 5.2.4以降およびWordPress 3.5以降の全てのシステム環境で動作します。殆どのレンタルサーバでサポートされている最小限の要件で動作します。
複数のURLからコンテンツを自動的に収集します。特に制限等はありません。またバックグラウンドで動作するため、1度設定すれば後は何もせずに自動でコンテンツが収集されます。
収集するコンテンツのスクレイピングする位置なども詳細に登録できて、画像や動画といったコンテンツにも対応しています。
正規表現もサポートされており、スクレイピングしたコンテンツ内のテキストを検索し、置換または削除します。
スクレイピングの際は、すべてのタスクの最終実行時間、前回完了時刻、次回実行時刻、合計実行数を表示します。何分、何時間間隔で自動収集といった設定もできます。
プラグイン稼動中は実行、一時停止、編集、コピー、ゴミ箱の操作で即座に制御できます。
プラグインによりカテゴリを自動作成することもできて、新しく作成されたカテゴリに自動的に作成された投稿のカテゴリを設定します。
タイトルやコンテンツ、抜粋記事、タグなども自動で設定されます。また、自動的に作成される投稿のカスタムフィールドを設定します。アイキャッチ画像も自動的に設定します。
過去に同一の投稿記事がある場合、重複しないように保存するか削除するか設定ができます。
記事を収集する際はプロセスのタイムアウトが設定できて、タスクがHTTP要求の応答を待つ最大時間を設定します。つまり、 1つの記事が上手く取得できない場合にタイムアウトを設けます。
最新のWordPressに対応できるようにバージョンアップがされています。
使い方
この画面でスクレイピングしたいURLの設定を登録します。
自分でシステムの好きな名前を設定します。
スクレイピングしたいサイトのURLを登録します。
コンテンツのどこの位置や箇所でスクレイピングするか、どういった条件で行うかなど細かい設定が多数用意されています。
自動設定の投稿エディター画面では、コンテンツをどのように表示させるか、記事のデザイン設計を細かくカスタマイズできます。
URLの登録や詳細設定ができました。更に条件設定を複数増やして登録できます。後はこの設定部分から、自動的に記事投稿が開始されます。
Q&A
- スクレイピングとは何ですか？
- スクレイピングは、他のWEBサイトのコンテンツをあなたのWordPressサイトへ、設定した時間間隔で1回または複数回自動的にコピーするWordPressプラグインです。使い方は簡単で、プログラミングスキルを必要としません。単一記事からサイト全体までスクレピングします。
- プラグインが動作する最小要件は何ですか？
- スクレイピングは、最小限のシステム構成でも最大のパフォーマンスを発揮するように設計されています。サーバーのハードウェア構成、接続速度、物理的な要件がパフォーマンスに影響を与えます。プラグインが動作する際にレンタルサーバーで必要な最小要件は以下のとおりです。
- PHP 5.2.4+
- dom、mbstring、iconv、json、およびsimplexml拡張
- PHPの設定可能な最大実行時間
- WordPress 3.5以上
- どんなWEBサイトもスクレイピングできますか？
- ブラウザで開いている殆ど全てのWEBサイトからコンテンツを取り出すことができます。
- ログインが必要なWEBサイトもスクレイピングできますか？
- 一部のWEBサイトでは、ログイン情報を覚えておくために、ブラウザにCookieを使用しています。このような場合、プラグインのCookieオプションを使用すると、ログインに必要なページをスクレイピングすることがあります。
- 複数のウェブサイトを同時にスクレイピングできますか？
- 技術的には、プラグインにはスクレイピングの制限はありません。スクレイピングのプロセス中に、タスクは10〜30MBのRAMを消費する可能性があります。
- 使用中のテーマとプラグインに互換性がありますか？
- 他のテーマとプラグインに互換性があります。また、他のプラグインとエラーを起こすこともなく、問題はありません。
- 複数のドメインで使用できますか？
- 異なるドメイン間で使用する場合は、新たなライセンスを購入する必要があります。
但し、同じドメイン内であれば、サブドメインを作成しても使用可能です。
例えば、”http://abc.com”ドメイン名で認証コードを登録した場合に以下の環境で使用できます。- http(s)://localhost
- http(s)://127.0.0.1
- http(s)://abc.com
- http(s)://www.abc.com
- http(s)://sub.abc.com（または他のサブドメイン）
- ライセンス認証の際に「購入コードが既に存在しています。別の購入コードを入力してください。」メッセージ、どうすればよいですか？
- 恐らく認証の際にドメイン名を間違って登録したか、一度認証したドメイン名とは異なるドメイン名を登録しようとしているのだと思います。ライセンス認証をリセットするには、カスタマーサポートから購入コードをお送りください。リセットが可能です。
まとめ
スクレイピングはアイデア次第でサイトのコンテンツが充実します。また、Amazon商品や楽天商品などのアフィリエイトを自動で追加して記事にしたりもできます。効果的な使い方としては、動画や2chなどのアンテナサイトも作成が可能です。動画を扱うブログのアンテナサイトなども制作可能です。
個人の利用できる範囲内でプラグインを使えば良いWordPressサイトが出来そうです。