SQLベースの変換
Workatoでは、社内アプリケーションのSQL TransformationsおよびSQL Collectionを使用して、データに対してSQLベースの変換を実行し、データベースコネクターと連携できます。
SQL Transformations
SQL Transformationsは、SQL(structured query language)クエリを使用してバルクデータに変換を適用できる強力なツールです。
SQL Transformationsは、複数の異なるソースから抽出されたデータに対して大容量かつ複雑な変換を実行するためのツールを提供します。 SQL Transformationsはストリーミングメカニズムを使用して、さまざまなソースからデータを取得します。 これにより、シンプルなSQLクエリを使用してデータを操作できます。 SQL TransformationはFileStorageとネイティブに統合されているため、出力データをファイルとして保存し、ジョブ間または異なるレシピ間で使用できます。
レシピ例: SQL Transformationsを使用してSalesforceアカウントを抽出し、データを変換してSnowflakeにロードする
このレシピでは、Salesforceから新規または更新されたアカウントを抽出し、特定の金額を下回るすべてのアカウントを除外して、フィルター済みのレコードをSnowflakeテーブルにロードします。
Salesforceからデータを抽出し、変換してSnowflakeにロードする
レシピのウォークスルー
Export new/updated accountsトリガーを使用して、新規/更新済みアカウントをSalesforceから一括でエクスポートします。
SQL TransformationsのQuery dataアクションを使用して、バルクCSVデータをクエリします。 カスタムSQLクエリを指定して、データに対して変換を実行します。
Upload file to internal stageアクションを使用して、変換済みデータをSnowflakeの内部ステージに直接渡します。
ストリーミング
上記のすべてのレシピステップでは、ストリーミングを使用してワークフローに大容量データを渡します。
機能
SQL Transformationsは次の操作をサポートしています:
- 同じアクション内で複数のソースのデータをクエリします。
- さまざまなバルクソースに接続して、数百万件のレコードを取得し、変換します。
- クエリの実行と出力データセットの生成で高いパフォーマンスを発揮し、変換を数秒で完了できます。
- 結合やその他のSQL関数を含む複雑なselectクエリを使用します。
SQL Transformationsの詳細を確認してください。
SQL Collection by Workato
SQL Collection by Workatoは、データをバッチで操作するためのツールを提供します。 SQL Collectionを使用すると、データベース、アプリケーション、Webサービスなど、複数のシステムにまたがる関連データを集約してクエリできます。
SQL Collectionは、バッチ増分を使用し、データ量が少ない受信データに効果的なツールです。 SQL collectionsを使用すると、各ソースから送られるデータに対してリスト(テーブルに類似)を作成できます。 その後、別のアクションでクエリを実行して、これらのソースにまたがるデータを操作できます。
制限事項
SQL Collection by Workatoを使用して作成したリストと関連するクエリ出力は、ジョブの期間内にのみ存在し、ジョブまたはレシピをまたいで使用することはできません。
レシピ例: SQL Collectionを使用してSalesforceアカウントを抽出、変換し、Snowflakeにロードする
このレシピでは、Salesforceから新規または更新されたアカウントを抽出し、特定の金額を下回るすべてのアカウントを除外して、フィルター済みのレコードをSnowflakeテーブルにロードする方法を示します。
Salesforceアカウントを抽出し、データを変換してSnowflakeにロードする
レシピのウォークスルー
SalesforceバッチトリガーのNew/updated accountsを使用して、新規/更新済みアカウントをSalesforceからバッチで取得します。
Create accounts listアクションを使用して、SQL Collectionsでアカウントレコードのリストを作成します。
Query lists SQL Collectionsアクションを使用してSQLクエリを定義し、アカウントリストを操作します。
Upsert batch of rowsアクションを使用して、出力配列をSnowflakeのテーブルにロードします。
SQL Collection by Workatoの詳細をご確認ください。
Last updated: