データパイプラインのソースとしてのGoogle Search Consoleの設定方法 ​

Google Search Consoleをデータパイプラインのソースとして設定し、Google Search Console APIから検索アナリティクスのパフォーマンスレポート、サイトデータ、サイトマップデータを抽出して、送信先に同期します。

このガイドでは、機能と前提条件の確認、データパイプラインのソースとしてのGoogle Search Consoleへの接続、パイプラインの設定に加え、サポートされるオブジェクト、同期モード、スキーマの処理、機密データの処理、および既知の制限事項について説明します。

サポートされている機能 ​

Google Search Consoleをパイプラインのソースとして使用する場合、次の機能がサポートされます。

• クラウド接続: HTTPS経由でGoogle Search Console APIに接続します。オンプレミスエージェントは不要です。

• 複数プロパティの自動同期: ドメインプロパティやURLプレフィックスプロパティを含め、コネクションがアクセスできるすべてのSearch Consoleプロパティが自動的に同期されます。 Workatoにプロパティピッカーはありません。詳細については、アクセス可能なすべてのプロパティが自動的に同期されるを参照してください。

• 対応する検索タイプ: レポートオブジェクトは、web、image、video、newsの検索タイプを同期します。各レポート行にはsearch_type列が含まれます。詳細については、合成列を参照してください。

• オブジェクト単位の選択: サポートされる検索アナリティクスレポートと、サイトおよびサイトマップのテーブルから選択します。完全なリストについては、サポート対象オブジェクトを参照してください。

• 増分同期: すべてのレポートオブジェクトは、レポートの日付範囲を限定することで増分同期されます。詳細については、同期モードを参照してください。

• スキーマドリフトの検出と処理: 新しいフィールドを自動同期でスキーマの変更を自動的に検出して適用するか、新しいフィールドをブロックでスキーマを固定します。

• フィールドレベルのデータ保護：データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。

• 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は15分です。

前提条件 ​

Google Search Consoleをデータパイプラインのソースとして接続するには、次のものが必要です。

• 少なくとも1つのSearch Consoleプロパティに、所有者、フルユーザー、または制限付きユーザーとしてアクセスできるGoogleアカウント。 Workatoは、このアカウントがアクセスできるすべてのプロパティを同期します。これらのいずれかの権限レベルでアクセスできるプロパティがアカウントにない場合、コネクションは失敗します。詳細については、アクセス可能なすべてのプロパティが自動的に同期されるを参照してください。
• Google Search Console APIが有効になっているGoogle Cloudプロジェクト、そのプロジェクトのOAuth 2.0クライアント、およびそのクライアントのIDとシークレットを使用して作成したCustom OAuth profiles。コネクションフォームではCustom OAuth profilesが必要です。設定手順については、Google Search Consoleへの接続を参照してください。

サポートされるコネクションタイプ ​

Google Search ConsoleのデータパイプラインはOAuth 2.0認証をサポートします。

• OAuth 2.0: 作成したGoogle Cloud OAuthアプリから構築されたCustom OAuth profilesを使用してWorkatoを承認します。設定手順については、Google Cloud OAuthアプリを作成するを参照してください。サービスアカウント認証はサポートされていません。

Google Search Consoleへの接続 ​

次の手順を実行して、Google Search Consoleをデータパイプラインのソースとして接続します。

パイプラインの設定 ​

次の手順を実行して、Google Search Consoleをデータパイプラインのソースとして設定します。

[minute] [hour] [day of month] [month] [day of week]

0 8 * * *

サポートされるオブジェクト ​

Google Search Consoleのデータパイプラインは、Google Search Console APIからデータを同期します。次の表に、サポートされているオブジェクトをカテゴリー別に示します。各オブジェクトは宛先内の個別のテーブルとして同期されます:

検索アナリティクスレポート ​

次のレポートは、clicks、impressions、ctr、positionの指標を返します。すべてのレポートは、date、country、deviceでグループ化されます。 Page Reportにはpageディメンションが、キーワードレポートにはqueryディメンションが、Keyword Page Reportには両方が追加されます。名前にby Pageを含むレポートはページ単位で結果を集計し、名前にby Siteを含むレポートはプロパティ単位で結果を集計します。 Workatoは、すべての検索タイプとアクセス可能なすべてのプロパティについて、各レポートを同期します。

Keyword Page Reportはpageとqueryの両方でグループ化されるため、レポートの中でカーディナリティが最も高くなります。返される行数とGoogle APIの割り当て消費量が最も多くなります。詳細については、検索アナリティクスの割り当てを参照してください。

プロパティとサイトマップのデータ ​

次のテーブルは、Search Consoleプロパティと、それらに送信されたサイトマップに関する設定データを同期します。 Sitemap Contentsには、サイトマップに記載されたコンテンツタイプごとに1行が含まれます。各オブジェクトに含まれるプロパティについては、アクセス可能なすべてのプロパティの自動同期を参照してください。

同期モード ​

Google Search Consoleのデータパイプラインは、完全同期と増分同期をサポートします。各オブジェクトの同期モードを確認するには、サポートされるオブジェクトの表を参照してください。

フル同期 ​

完全同期では、実行のたびにオブジェクトのすべてのレコードを読み取り直し、送信先テーブルを置き換えます。 Google Search Console APIは、これらのリソースを完全なリストとして返し、変更されたレコードのみを要求する方法を提供していないため、Sites、Sitemaps、Sitemap Contentsでは完全同期を使用します。

増分同期 ​

検索アナリティクスレポートは、変更日時フィールドを持つ行単位のレコードではありません。各レポートはGoogleのレポートデータに対するクエリーであるため、増分同期ではレコードごとのカーソルでフィルタリングする代わりに、クエリーの日付範囲を限定します。

• 確定済みデータのみ: Workatoは確定済みのSearch Consoleデータのみを同期し、毎回の同期対象は今日から3日前までとなります。各日付のデータは、その日付がこの締切日より古くなった後に同期されます。
• ロールバック期間: Googleが直近の値を修正する場合があるため、定期的な増分同期では毎回、前回の同期の締切日より前の7日間のデータも再取得します。再取得した行は、重複を作成するのではなく送信先の既存の行を更新するため、直近の日付の指標値は実行ごとに変わることがあります。このウィンドウは、最初の履歴同期には適用されません。
• 過去のデータの同期: 初回の同期では、設定した開始日から締切日までのすべての日付のデータを抽出します。開始日の適用方法については、過去のデータの同期は2年以内に限定を参照してください。

削除追跡 ​

レポートオブジェクトは削除の追跡をサポートしていません。これらは集計された指標であり、Search Console APIはこれらの削除を示す情報を提供していません。

SitesとSitemapsは実行のたびに完全同期されます。これらは完全同期オブジェクトであるため、送信先は各実行の結果を前回と比較し、存在しなくなったレコードを削除済みとしてマークします。 Search Console API自体は、これらの削除を示す情報を提供していません。 Workatoは、削除時ではなく、次回の完全同期時に削除を検出します。

Sitemap Contentsも完全同期されますが、削除の追跡はサポートしていません。

スキーマとデータ型の処理 ​

Google Search Consoleからデータを同期する際のスキーマとデータ型には、次の考慮事項が適用されます。

スキーマ ​

すべてのオブジェクトには、Workatoが定義した固定のスキーマがあります。スキーマはアカウントやプロパティによって変わりません。

データ型 ​

Workatoは、次のレポート列をマッピングします。

• dateは日付列として同期されます。
• clicksとimpressionsは整数として同期されます。
• ctrとpositionは小数として同期されます。
• country、device、page、queryは文字列として同期され、行内で空になる場合があります。

合成列 ​

Workatoは、宛先テーブルに次の合成列を追加します:

機密データの処理 ​

Google Search Consoleのレポートは集計済みであり、Workatoはどのフィールドにもマスキングやフィルタリングを行わず、Googleが返す値をそのまま送信します。

パイプライン設定中にフィールドレベルのデータ保護でHashオプションを使用し、PIIが宛先に到達する前に保護します。詳細については、パイプラインを構成手順を参照してください。

制限事項 ​

Google Search Consoleをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます。

アクセス可能なすべてのプロパティが自動的に同期される ​

Workatoは、コネクションのGoogleアカウントがアクセスできるすべてのSearch Consoleプロパティを検出して同期します。 Workatoでは、パイプラインを特定のプロパティに限定することはできません。プロパティを同期対象から除外するには、Search Consoleでそのプロパティへのアカウントのアクセス権を削除します。

同期される内容は、各プロパティの権限レベルによって決まります。

• 所有者とフルユーザー: すべてのオブジェクトが同期されます。
• 制限付きユーザー: 検索アナリティクスレポートとSitesが同期されます。 SitemapsとSitemap Contentsには、そのプロパティは含まれません。
• 未確認ユーザー: このレベルではデータにアクセスできないため、プロパティはスキップされます。

過去のデータの同期は2年以内に限定 ​

開始日を空白にすると、今日から1年前の日付を起点に過去のデータの同期が開始されます。今日から2年以上前の開始日は、今日から2年前の日付に置き換えられます。 Search Consoleのデータ保持範囲外の日付では、エラーは発生せず、行も返されません。

1日あたりの行数上限 ​

Search Console APIは、1日、検索タイプ、プロパティごとに最大50,000行を、クリック数で並べ替えて返します。 1日の行数がこの上限を超えると、APIはエラーやその他の通知なしに残りの行を除外し、Workatoはそれらを取得できません。レポートがpageまたはqueryでグループ化される場合、Googleはさらに一部の行を返さないことがあります。 Googleは、この上限の割り当て増加を認めていません。

検索アナリティクスの割り当て ​

Googleは、検索アナリティクスのクエリー数を、プロパティごとおよびGoogleユーザーごとに1分あたり1,200クエリーに制限しています。 Googleは負荷に基づく割り当ても適用しており、広い日付範囲と、pageおよびqueryの両方でグループ化されたレポートが、この割り当てを最も速く消費します。割り当てに関するエラーが発生すると、Workatoは待機して再試行します。割り当ての消費量を減らすには、より最近の開始日を設定します。

サポートされていないSearch Consoleデータ ​

Google Search Consoleのデータパイプラインは、次のデータを同期しません。

• URL検査データ
• searchAppearanceディメンション
• 時間単位のレポートデータ
• discoverとgoogleNewsの検索タイプ
• ディメンションと指標のカスタムの組み合わせ

最小同期頻度 ​

サポートされる最小同期間隔は15分です。