Google BigQueryをデータパイプラインの宛先として設定する
このページでは、Google BigQueryをデータパイプラインの宛先として設定する手順について説明します。 このコネクションにより、Workatoはソーススキーマを使用して、ソースアプリケーションからGoogle BigQueryインスタンスにデータをレプリケートできます。
サポートされている機能
Google BigQueryをパイプライン宛先として使用する場合、次の機能がサポートされます。
- ソーススキーマに基づく宛先テーブルの自動作成
- フルデータロードおよび増分データロードのサポート
- 明示的なフィールドマッピングを使用しないフィールドレベルのデータレプリケーション
- スキーマドリフトの処理および更新操作
前提条件
Google BigQueryをパイプライン宛先として使用するには、次の設定とアクセス権が必要です。
- BigQueryが有効になっているGoogle Cloudプロジェクト
- データを書き込む予定のGoogle BigQuery内のデータセット
- BigQueryでテーブルを作成し、データを書き込む権限を持つユーザーアカウント（OAuth 2.0）またはサービスアカウント
必要な権限については、Google BigQueryコネクション設定ページを参照してください。
Google BigQueryに接続する
Google BigQueryコネクターは、次の認証方法をサポートしています。
サービスアカウント認証
サービスアカウントを使用すると、個人ユーザーアカウントなしで認証できます。 安定した中断のないパイプラインコネクションのため、Workatoではサービスアカウント認証を推奨しています。
Google BigQueryをデータパイプラインの宛先として接続するには、次の手順を実行します。 このコネクションにより、パイプラインはBigQueryデータセット内のターゲットテーブルにレコードを書き込めます。
OAuth 2.0
OAuth 2.0認証でGoogle BigQueryをデータパイプラインの宛先として接続するには、次の手順を実行します。
OAuth 2.0で接続
Create > コネクションを選択します。
Google BigQueryを検索し、アプリとして選択します。
接続先のGoogle BigQueryインスタンスを識別できる、一意のコネクション名をConnection nameフィールドに入力します。
ロケーションドロップダウンを使用して、コネクションを保存するプロジェクトを選択します。
Authentication typeドロップダウンメニューを使用してOAuth 2.0を選択します。
Googleでサインインをクリックします。
WorkatoによるGoogleアカウントへのアクセスを承認するよう求められたら、許可をクリックします。
サービスアカウント
サービスアカウント認証でGoogle BigQueryをデータパイプラインの宛先として接続するには、次の手順を実行します。
サービスアカウントで接続
サービスアカウントとカスタムロール
サービスアカウントにカスタムロールを使用する場合は、WorkatoでプロジェクトIDを直接指定する必要があります。 カスタムロールでは、SetupのSelect projectドロップダウンが読み込まれないため、プロジェクトIDを手動で指定する必要があります。
Googleサービスアカウントを作成して必要な権限を割り当てる手順については、Google BigQueryコネクション設定ページを参照してください。
Create > コネクションを選択します。
Google BigQueryを検索し、アプリとして選択します。
接続先のGoogle BigQueryインスタンスを識別できる、一意のコネクション名をConnection nameフィールドに入力します。
ロケーションドロップダウンを使用して、コネクションを保存するプロジェクトを選択します。
Authentication typeドロップダウンメニューを使用してService accountを選択します。
サービスアカウントのメールアドレスをGCPプロジェクトサービスアカウントメールフィールドに入力します。
サービスアカウントの秘密鍵を秘密鍵フィールドに入力します。
任意です。 Advanced settingsセクションを展開し、コネクションでリクエストするスコープを選択します。
接続を選択して、コネクションを確認および保存します。
宛先アクションの設定
パイプラインを開始する前に、Google BigQueryのデータセットが新規作成されており、空であることを確認してください。 これにより、初回同期中のエラーを防ぎ、パイプラインが競合なしで送信先テーブルを作成できるようになります。
Workatoアカウントにサインインし、設定するデータパイプラインレシピを開きます。
宛先アプリのターゲットテーブルにデータをロードアクションをクリックします。 このアクションでは、パイプラインが宛先でデータをレプリケートする方法を定義します。
宛先アプリのターゲットテーブルにデータをロードアクションの設定
Your Connected Destination AppフィールドでGoogle BigQueryを選択します。
このパイプラインで使用するGoogle BigQueryコネクションを選択します。 または、+ 新規コネクションをクリックして新しいコネクションを作成します。
Google BigQueryコネクションを選択
Load data to target table in destination appアクションは、ソースからGoogle BigQueryへオブジェクトスキーマを自動的にレプリケートします。 明示的なフィールドマッピングは不要です。
Workatoパイプラインは、ソーススキーマに基づいて送信先テーブルを自動的に作成します。 また、パイプラインはデータレプリケーションと更新操作をサポートするために、ステージテーブルおよび一時テーブルを作成します。
プロジェクトドロップダウンを使用して、データの書き込み先となるGoogle BigQueryプロジェクトを選択します。
Google BigQuery宛先を設定
Datasetドロップダウンを使用して、データの書き込み先となるデータセットを選択します。
Locationドロップダウンを使用して、データセットが存在する地理的な場所を選択します。
保存を選択してパイプラインを保存します。
Last updated: