ホーム > コンピュータ > webツール > サイトマップ > Visual SEO Studio

ベクトルドロー・レベルゼロ+

Visual SEO Studioで、robots.txtが存在しないサイトをクロールする[Web]

新規作成日 2015-10-05
最終更新日

概要

Visual SEO Studioでサイトをクロールする時、robots.txtを使用していない場合、 デフォルト設定では、index.htmlしか認識してくれません。オプションで、robots.txtを無視する設定でクロールする必要があります。

ダウンロード先

Visual SEO Studio(外部サイト)

インストール

Visual SEO Studioをインストールしました。

クロールするサイトを設定する。

プロジェクト名を登録し、googleアカウントにログインすることで、グーグルウェブマスターに登録されたサイトをクロールリストに登録します。

前回のクロールできなかったセッションを削除します。

順番に操作してきた場合、クロールできなかったセッションが残っているので削除します。

このページから操作している場合は、この操作は必要ありません。

サイトが登録されています。

前回サイトを登録したので、起動すると一覧にサイトが表示されます。クロールするサイトを選択し、OKをクリックします。

バージョンの確認

操作を説明する前に、バージョンを確認します。古いバージョンの場合、機能が存在しない場合があります。

Open Session Managementを選択します。

順番に、操作してきた場合は、前回のクロールできなかったセッションが残っています。まず、これを削除します。

StartPageタグから、Open Session Managementを選択します。

セッションを削除します。

赤い×アイコンをクリックし、セッションを削除します。

確認ダイアログが表示されます

確認ダイアログが表示されます。

セッションを削除されました。

セッションが削除されました。右側の×アイコンをクリックするとタブを閉じることができます。

クロールする

あらためて、robots.txtが存在しないサイトをクロールします。

「Crawl a site...」をクリックします
メインメニュー、あるいは、左の枠にある「Crawl a site...」をクリックします
URL」に、クロールするサイトのドメインを入力します。
「Start URL」に、クロールするサイトのドメインを入力します。ドロップダウンリストで選択できます。後は、デフォルトで、「Crawl」をクリックし、動作を確認します。
「Crawl Setting」のタブです。
「Advance Settings」のタブです。

「Advance Settings」のタブです。

「Ignore robots.txt 'Disallow' directives」のチェックボックスにチェックを入れ、「Crawl」ボタンをクリックします。

クロールが始まります。

クロールが始まります。

今回は、きちんとクロールが進行します。

クロールが完了しました

クロールが完了しました。

次は、サイトマップを作成します。

Visual SEO Studio
Copyright (C) 2011-2016 kukekko All Rights Reserved.
kukekko@gmail.com
ご連絡の際はアドレスの@は半角にしてください。 また、お問い合わせページのURLの明記をお願いします。
「掲載内容は私自身の見解であり、所属する組織を代表するものではありません 」。
inserted by FC2 system