Google Cloud Storageを使用してBoxのCSVデータをGoogle BigQueryに読み込むレシピ
このユースケースでは、Box、Google Cloud Storage、およびGoogle BigQueryを接続して強力な自動化を作成する手順を説明します。
このレシピの機能
このレシピは、新しいCSVファイルがないかBoxフォルダを監視し、各ファイルのコンテンツをダウンロードして、そのコンテンツをGoogle Cloud Storageにアップロードしてから、データをGoogle BigQueryテーブルに読み込みます。
このレシピはどのように使用できますか？
このレシピはCSVデータを処理するための汎用的なアプローチを提供し、Box、Google Cloud Storage、およびGoogle BigQuery間の自動化されたワークフローを促進します。 部門ごとのニーズに応じた次の利用状況例を検討してください:
- マーケティングキャンペーンを追跡: キャンペーンパフォーマンスデータの収集と分析を簡素化します。 メトリクスを含むCSVファイルをBoxに保存することで、データをGoogle BigQueryと統合し、詳細なレポートとダッシュボードを作成できます。
- 営業リードを管理: Boxに保存されたCSVファイルから営業リードまたは顧客データを自動的に転送します。 これにより、営業チームはGoogle BigQueryで最新データを利用でき、営業追跡とパフォーマンス監視を向上できます。
- 運用KPIを監視: 運用ログまたはサプライチェーンデータをBoxからGoogle BigQueryへ自動的にアップロードします。 これにより、運用マネージャーは手動でデータを入力することなく、主要なパフォーマンス指標を監視し、プロセス改善の対象領域を特定できます。
レシピの作成
新しいCSVファイルがないかBoxフォルダを監視し、各ファイルのコンテンツをダウンロードして、そのコンテンツをGoogle Cloud Storageにアップロードしてから、データをGoogle BigQueryテーブルに読み込むレシピを作成するには、次の手順を完了します:
ユースケースは例示のみを目的としています
このユースケースは一例です。 このレシピをワークフローに合わせて適応させるには、トリガー、アクション、または条件ロジックの変更が必要になる場合があります。
Workatoにサインインします。
レシピを作成する予定のプロジェクトを選択します。
Box、Google Cloud Storage、およびGoogle BigQueryのコネクションを作成します:
Boxコネクションを作成します。
Boxコネクションの作成
このステップでは、WorkatoとBoxアカウント間のコネクションを作成します。
Box connectorは、Authorization code grant認証とclient credentials認証の両方をサポートしています。
認可コード付与認証を使用してBoxコネクションを設定するには、次の手順を実行します:
作成 > コネクションをクリックするか、Cを2回押します。
New connectionページでBoxを検索して選択します。
コネクション名フィールドに、Workatoが接続するBoxインスタンスを識別する名前を入力します。
コネクションを作成
ロケーションドロップダウンメニューを使用して、このコネクションを保存する予定のプロジェクトを選択します。
Authentication typeドロップダウンメニューを使用して、Authorization code grantを選択します。
任意です。 Advanced settings（詳細設定）を展開して、Requested permissions (Oauth scopes)（要求された権限（OAuthスコープ））オプションを選択します。
次のスコープから選択できます:
- ファイルとフォルダの読み取り
- ファイルとフォルダの読み取りおよび書き込み
- アプリユーザーの管理
- 管理対象ユーザーの管理
- グループの管理
- Webhookの管理
- エンタープライズプロパティの管理
- 保持ポリシーの管理
- グローバルコンテンツマネージャー
- 管理者がユーザーに代わって呼び出しを実行可能
- 署名リクエストの管理
- Box Relayの管理
接続をクリックします。 これにより、Boxサインインダイアログが開きます。
Boxアカウントのメールアドレスとパスワードを入力します。
Boxにログイン
Authorizeをクリックします。
要求された権限を確認し、Boxへのアクセスを許可をクリックします。
Boxへのアクセスを許可
Google Cloud Storageコネクションを作成します。
Google Cloud Storageコネクションの作成
この手順では、Workatoとお使いのGoogle Cloud Storageアカウントの間にコネクションを作成します。
WorkatoでGoogle Cloud Storageコネクションを作成するには、サービスアカウントが必要です。
作成 > コネクションをクリックするか、Cを2回押します。
新規コネクションページでGoogle Cloud Storageを検索して選択します。
コネクション名フィールドに、Workatoが接続するGoogle Cloud Storageインスタンスを識別する名前を入力します。
Google Cloud Storageに接続
ロケーションドロップダウンメニューを使用して、このコネクションを保存する予定のプロジェクトを選択します。
プロジェクト識別子フィールドに有効なGoogle CloudプラットフォームプロジェクトIDを入力します。 ナビゲーションメニューでプロジェクトを選択をクリックすると、Google Cloud ConsoleでプロジェクトIDを確認できます。
GCSプロジェクトサービスアカウントメールフィールドにサービスアカウントのメールアドレスを入力します。
ダウンロードしたJSONファイルの秘密鍵を秘密鍵フィールドに入力します。 -----BEGIN PRIVATE KEY-----から-----END PRIVATE KEY-----までの秘密鍵をコピーする必要があります。
任意です。 バケットに制限フィールドに、コネクションがアクセスできるバケットのカンマ区切りリストを入力します。 例: bucket-1,bucket2。
任意です。 Advanced settings（詳細設定）を展開し、Requested permissions（リクエストされた権限）（OAuthスコープ）ドロップダウンメニューを使用して、このコネクションでリクエストする権限を選択します。
Googleでサインインをクリックします。
Google BigQueryコネクションの作成。
Google BigQueryコネクションの作成
このステップでは、WorkatoとGoogle BigQueryアカウント間のコネクションを作成します。
Google BigQueryコネクターは、OAuth 2.0とサービスアカウント認証の両方をサポートしています。
OAuth 2.0認証を使用してGoogle BigQueryコネクションをセットアップするには、次の手順を実行します:
作成 > コネクションをクリックするか、Cを2回押します。
New connection（新規コネクション）ページでGoogle BigQueryを検索して選択します。
Connection name（コネクション名）フィールドに、Workatoが接続されるGoogle BigQueryインスタンスを識別する名前を入力します。
Google BigQueryに接続
ロケーションドロップダウンメニューを使用して、このコネクションを保存する予定のプロジェクトを選択します。
認証タイプドロップダウンメニューを使用して、OAuth 2.0を選択します。
Googleでサインインをクリックします。
プロジェクトに戻り、Create > Recipeをクリックするか、C+Rを押します。
新しいレシピを作成
Nameフィールドにレシピの名前を入力します。
Locationドロップダウンメニューから、レシピを保存する予定のプロジェクトを選択します。
ビルドを開始をクリックします。
レシピの構築を開始
Pick a starting pointをクリックし、Trigger from an appを選択します。
Select an app and trigger eventをクリックします。
BoxのNew event in folderトリガーを設定します。
BoxのNew event in folderトリガーを設定
このトリガーは、新しくアップロードされたCSVファイルがないかBoxを監視し、ファイル名が.csv拡張子で終わる場合にのみレシピをアクティブにします。
Boxを検索し、アプリとして選択します。
アプリとしてBoxを選択
New event in folderトリガーを選択します。
New event in folderトリガーを選択
前の手順で作成したBoxコネクションを選択します。
フォルダドロップダウンメニューを使用して、イベントを監視するフォルダを選択します。
監視するイベントドロップダウンメニューを使用して、ファイルがアップロードされましたを選択します。
トリガー条件を設定トグルをクリックします。
Boxの名前Step 1データピル（ファイル/フォルダソースStep 1オブジェクトの下にネスト）をトリガーデータフィールドにマッピングします。
トリガー条件を設定
条件ドロップダウンメニューを使用して、次で終わるを選択します。
値フィールドに.csvと入力します。
保存をクリックします。
+ Add stepをクリックし、Action in appを選択します。
Add step > Add action in appをクリック
BoxのDownload fileアクションを設定します。
BoxのDownload fileアクションを設定
このステップでは、BoxにアップロードされたCSVファイルのコンテンツをダウンロードします。
Boxを検索し、アプリとして選択します。
アプリとしてBoxを選択
Download fileアクションを選択します。
Download fileアクションを選択
BoxのIDStep 1データピル（ファイル/フォルダソースStep 1オブジェクトの下にネスト）をファイルIDフィールドにマッピングします。
ファイルIDをマッピング
任意です。 ファイル転送のチャンクサイズと単位（例: B、KB、MB）を指定します。 デフォルトは10MBで、最小は32KB、最大は10MBです。 チャンクサイズを大きくするとスループットは向上しますが、API制限を超過する可能性があります。
保存をクリックします。
+ Add stepをクリックし、Action in appを選択します。
Google Cloud StorageのUpload objectアクションを設定します。
Google Cloud StorageのUpload objectアクションを設定
このステップでは、ファイルストリーミングを使用してBoxのCSVファイルコンテンツをGoogle Cloud Storageのバケットにアップロードします。
Google Cloud Storageを検索し、アプリとして選択します。
Google Cloud Storageを選択
Upload objectアクションを選択します。
Upload objectアクションを選択
前の手順で作成したGoogle Cloud Storageコネクションを選択します。
バケット名ドロップダウンメニューを使用して、BoxのCSVファイルコンテンツをアップロードするバケットを選択します。
名前フィールドにオブジェクトの名前を入力し、ジョブIDPropertiesデータピルをマッピングして、.csvを追加してファイル拡張子を指定します。
オブジェクト名を設定
BoxのファイルコンテンツStep 2データピルをオブジェクトコンテンツフィールドにマッピングします。
保存をクリックします。
+ Add stepをクリックし、Action in appを選択します。
Google BigQueryのLoad data from Google Cloud Storage into BigQueryアクションを設定します。
Google BigQueryのLoad data from Google Cloud Storage into BigQueryアクションを設定
このステップでは、Google Cloud StorageからGoogle BigQueryのテーブルにCSVファイルコンテンツデータを読み込みます。
Google BigQueryを検索し、アプリとして選択します。
Google BigQueryを選択
Load data from Google Cloud Storage into BigQueryアクションを選択します。
Load data from Google Cloud Storage into BigQueryアクションを選択
前の手順で作成したGoogle BigQueryコネクションを選択します。
プロジェクトドロップダウンメニューを使用して、クエリの課金対象となるプロジェクトを選択します。
データセットドロップダウンメニューを使用して、CSVファイルデータを読み込むテーブルを含むデータセットを選択します。
テーブルドロップダウンメニューを使用して、CSVファイルデータを読み込むテーブルを選択します。
Source URIフィールドを見つけて、次のアクションを実行します:
gs://と入力します。
Google Cloud StorageのバケットStep 3データピルをマッピングします。
/と入力します。
Google Cloud Storageの名前Step 3データピルをマッピングします。
Source URIを設定
ソース形式ドロップダウンメニューを使用して、CSVを選択します。
自動検出ドロップダウンメニューを使用して、はいを選択します。 このフィールドにより、Google BigQueryはテーブルに読み込まれるデータのスキーマとオプションを自動的に推測できます。
必要に応じてテーブル列を変更しますか?ドロップダウンメニューを使用して、フィールドの追加を許可とフィールドの緩和を許可を選択します。 これらのオプションにより、スキーマに新しい任意フィールドを追加したり、既存の必須フィールドを任意に変更したりできます。
作成処理ドロップダウンメニューを使用して、必要な場合に作成を選択します。 このオプションは、テーブルがまだ存在しない場合にテーブルを作成するようGoogle BigQueryに指示します。
保存をクリックします。
Google Cloud Storageを使用してBoxのCSVデータをGoogle BigQueryに読み込むレシピをテストして実装する準備ができました。
レシピ設定の例。
Google Cloud Storageを使用してBoxのCSVデータをGoogle BigQueryに読み込むレシピ
Last updated: