SQLベースの変換

Workatoでは、独自のアプリケーションであるSQL TransformationsとSQL Collectionを使用して、データに対してSQLベースの変換を実行し、データベースコネクタと統合することができます。

SQL Transformations

SQL Transformationsは、SQL（構造化クエリ言語）クエリを使用して大量のデータに変換を適用できる強力なツールです。

SQL Transformationsは、複数の異なるソースから抽出されたデータに対して、大量かつ複雑な変換を実行するためのツールを提供します。SQL Transformationsはストリーミング機構を使用して様々なソースからデータを取得します。これにより、簡単なSQLクエリを使用してデータを操作することができます。SQL TransformationはFileStorageとネイティブに統合されており、出力データをファイルとして保存し、ジョブや異なるレシピ間で使用することができます。

サンプルレシピ：Salesforceのアカウントを抽出し、データを変換してSnowflakeにロードする（SQL Transformationsを使用）

このレシピは、Salesforceから新規または更新されたアカウントを抽出し、特定の金額未満のすべてのアカウントをフィルタリングし、フィルタリングされたレコードをSnowflakeのテーブルにロードします。

Salesforceからデータを抽出し、変換してSnowflakeにロード

レシピのウォークスルー

1

Export new/updated accountsトリガーを使用して、Salesforceから新規/更新されたアカウントを一括でエクスポートします。

2

SQL TransformationsのQuery dataアクションを使用して、一括CSVデータをクエリします。データの変換を実行するためにカスタムSQLクエリを提供します。

3

Upload file to internal stageアクションを使用して、変換されたデータを直接Snowflakeの内部ステージに渡します。

ストリーミング

前述のすべてのレシピステップは、大量のデータをワークフロー内でストリーミングを使用して処理します。

特徴

SQL Transformationsは以下の操作をサポートします：

• 同じアクション内で複数のソースからデータをクエリ。
• 様々なバルクソースに接続して数百万のレコードを取得し、変換。
• クエリの実行と出力データセットの作成において高性能で、数秒で変換を完了。
• 結合や他のSQL関数を含む複雑なSELECTクエリを使用。

詳しくはSQL Transformationsをご覧ください。

SQL Collection by Workato

SQL Collection by Workatoは、データをバッチで操作するためのツールを提供します。SQL Collectionを使用して、データベース、アプリケーション、ウェブサービスなど、複数のシステムにまたがる関連データを集計およびクエリすることができます。

SQL Collectionは、バッチインクリメントを使用し、低ボリュームの受信データに効果的なツールです。各ソースからのデータに対して（テーブルに似た）リストを作成するためにSQLコレクションを使用できます。次に、これらのソースにまたがるデータを操作するために、別のアクションでクエリを実行できます。

制限事項

WorkatoのSQL Collectionで作成したリストや関連するクエリの出力は、そのジョブの期間内でのみ存在し、ジョブ間や異なるレシピ間で使用することはできません。

サンプルレシピ：SQL Collectionを使用してSalesforceのアカウントを抽出、変換、Snowflakeにロード

このレシピは、Salesforceから新規または更新されたアカウントを抽出し、特定の金額未満のすべてのアカウントをフィルタリングし、フィルタリングされたレコードをSnowflakeのテーブルにロードする方法を示します。

Salesforceのアカウントを抽出し、データを変換してSnowflakeにロード

レシピのウォークスルー

1

SalesforceのバッチトリガーであるNew/updated accountsを使用して、Salesforceから新規/更新されたアカウントをバッチで取得します。

2

Create accounts listアクションを使用して、SQL Collectionsでアカウントレコードの配列のリストを作成します。

3

Query lists SQL Collectionsアクションを使用してSQLクエリを定義し、アカウントリストを操作します。

4

Upsert batch of rowsアクションを使用して、出力された配列をSnowflakeのテーブルにロードします。

詳しくはSQL Collection by Workatoをご覧ください。