サンプルユースケース - データエンリッチメント
ソースから抽出したデータを宛先に送信する前に、1つまたは複数のソースからの追加情報でデータをエンリッチする必要がある場合がよくあります。 データ量が増えると、データを一時的に保存してエンリッチし、その後宛先にロードすることが難しくなります。
SQL Transformationsを使用すると、ユーザーは任意の数のデータソースをパイプライン化し、大量のデータを簡単に扱うことができます。 ユーザーはSQL結合操作を使用してファイル間のデータをマージ/集約し、受信データを追加情報でエンリッチして、その場で操作を実行し、任意の宛先に送信するか、Workato FileStorage内に保存できます。
サンプルレシピ：Salesforceから商談を取得し、取得したデータをエンリッチしてSFTPサーバーに送信する
次のシナリオを考えてみます。
会社は、Salesforceからすべての商談情報を一括で抽出し、コスト、価格、特定の地域詳細などの追加製品詳細でエンリッチして、エンリッチされたデータを外部SFTPサーバー上のパートナーファイルシステムに送信する必要があります。
SQL Transformationsを使用すると、これらの複雑なプロセスをわずか5ステップで簡単に実行できます。
指定した頻度で実行されるスケジューラートリガーを設定します。
必要なすべての商談レコードをCSVコンテンツとして一括取得できるSalesforceの一括アクションを設定します。
エンリッチメントに使用する予定のデータがGoogle Driveなどのさまざまなソースで利用可能な場合は、ダウンロードアクションを使用してそれらのコンテンツも取得します。
SQL TransformationsコネクターのQuery CSVアクションを設定します。 このステップでは、さまざまなすべてのソースからデータをパイプライン化し、追加データで商談をエンリッチできるクエリを作成できます。
最後のステップでは、Workatoがデータを宛先であるSFTPサーバーに送信します。
データエンリッチメントにSQL Transformationsを活用する方法
このセクションでは、Query CSVアクションの各セクションを設定して、データエンリッチメントにSQL Transformationsを活用できるようにする方法について説明します。
一緒に進める
このレシピリンクを参照して、一緒に進めながらサンプルレシピを独自のワークフローに合うように変更してください。
データソースのセットアップ
SQL Transformationsがクエリを実行するさまざまなデータソースを接続します。 この例では、3つの異なるデータソースがあります。
ソース#1を接続するには、次のフィールドに入力します。 この例では、ソース#1はオンプレミスシステムからの受信抽出データです。
データソース名
Data source nameにわかりやすい名前を付けます。例：contacts_extract。
データソースタイプ
データソースタイプを選択します。 この例では、これはCSV content streamです。
CSVストリーム入力
データソースをCSVコンテンツストリームとして設定したら、CSVストリーム入力を設定できます。 ここで、オンブレミスファイルトリガーから送られてくるファイルコンテンツを渡します。
データスキーマ
データスキーマを設定します。 これは、いくつかのサンプル連絡先データを含むCSVファイルをインポートすることで簡単に実行できます。
CSVヘッダー行を無視
これによりユーザーは、受信データに、無視してデータの一部として扱わない見出し列があるかどうかを指定できます。
列区切り文字
CSVファイルで列を区切るために使用する区切り文字を選択します。 使用可能なオプションには、,（カンマ）、;（セミコロン）などがあります。
ソース#2を接続するには、次のフィールドに入力します。 これは、ソースから抽出したデータをエンリッチするために使用される製品価格リストデータを指すソースです。
データソース名
Data source nameにわかりやすい名前を付けます。例：product_price_lookup。
データソースタイプ
データソースタイプを選択します。 この例では、これはCSV content streamです。
CSVストリーム入力
データを取得するには、CSV参照データピルを指定します。 この例では、Google Driveのダウンロードアクションからのコンテンツを使用します。
データスキーマ
データスキーマを設定します。 これは、いくつかのサンプル連絡先データを含むCSVファイルをインポートすることで簡単に実行できます。
Source #3を設定します。
このステップでは、この例は商談データのエンリッチメントに使用する予定の特定の地域詳細を取得します。 このデータは頻繁に再利用する予定で、あまり変更されないため、Workato独自の内部永続ファイルストレージシステムであるFileStorageを使用して保存および処理すると簡単です。
次のフィールドを設定します。
データソース名
Data source nameにわかりやすい名前を付けます。例：region_lookup。
データソースタイプ
データソースタイプを選択します。 この例では、これはFileStorageファイルです。
FileStorageファイルパス
履歴データファイルが利用可能なFileStorage内のパスを指定します。
データスキーマ
データスキーマを設定します。 これは、いくつかのサンプル連絡先データを含むCSVファイルをインポートすることで簡単に実行できます。 スキーマは、ソースから渡される列の順序に左から右へ一致します。
クエリのセットアップ
次に、データソースに対して動作し、変換済みの出力を生成するクエリを設定します。 この例では、クエリは3つすべてのデータソース間でデータを結合し、製品価格データを使用して総収益、総コスト、総利益を計算します。 さらに、region_lookupデータソースと結合することで、国と地域の詳細も追加されます。 WITH ... AS ... 関数は、サブクエリを作成し、そのデータをメインクエリで簡単に使用するのに役立ちます。
出力のセットアップ
出力の形式を定義します。
この例では、エンリッチされたレコードファイルをSFTPサーバーに送信します。 この例ではエンリッチされたレコードファイルをSFTPサーバーに送信するため、出力タイプとしてCSV contents streamを選択しました。 つまり、Query CSV dataアクションからのCSVコンテンツ出力データピルをSFTPアップロードファイルアクションのコンテンツ入力セクションに渡すことができ、コンテンツはQuery CSVアクションからSFTPサーバーに自動的にストリーミングされます。 また、データソースの設定と同様に、ここでは出力CSVコンテンツで使用する区切り文字と、列ヘッダーを含めるかどうかを選択できます。
以下のフィールドに入力します:
出力タイプ
出力のタイプを選択します。 CSVコンテンツストリームを使用して、コンテンツをダウンストリームアクションにストリーミング可能なデータピルとして共有します。
ヘッダー行を含める
データの列名をファイルにヘッダー行として追加する必要がある場合は、はいに設定します。 これは、ファイルを使用してレポートを生成する予定がある場合に便利です。 デフォルト値はいいえです。
列区切り文字
CSVファイルで列を区切るために使用する区切り文字を選択します。 使用可能なオプションには、,（カンマ）、;（セミコロン）などがあります。
Upload file to SFTPアクションを選択します。
以下のフィールドに入力します:
ファイル名
フォルダを含む完全なパスを指定します。 ファイルを追加する前に、フォルダが存在している必要があります。
追記
Yesの場合、既存のファイルにコンテンツを追加します。 Noの場合、ファイルがすでに存在する場合は上書きします。 デフォルトはいいえです。
ファイルの内容
アップロードする予定のファイルコンテンツ。 Step 4 Query CSV dataアクションからCSVコンテンツデータピルを渡します。
次に読む
Last updated: