データソースの設定

Data Sources設定では、SQLクエリを実行するための1つ以上のソースを指定できます。レシピの設定中に複数のデータソースを追加できます。レシピがアクティブになった後に既存のデータソースを変更するか、新しいデータソースを追加するには、まずレシピを停止してから変更を行います。

データソースの設定方法

データソースを設定するには、次の手順を実行します。

Add data sourceを選択して、1つ以上のデータソースを含めます。

各データソースについて次のフィールドを設定します。

データソース名
クエリで参照するために、データソースの名前（accountsやemployeesなど）を指定します。
データソースタイプ
SQL Transformationsがデータを取得するデータソースのタイプを選択します。

データソースタイプとしてData tableを選択した場合は、使用可能なリストから特定のデータテーブルを選択します。テーブルを選択した後に追加の設定は不要です。

予約文字の利用状況

Data tablesのテーブル名と列名の先頭に@文字を使用しないでください。これはSQLで予約されており、クエリ実行中にエラーが発生する可能性があります。

データソースタイプとしてContent streamまたはFileStorage fileを選択した場合は、データのFile formatを選択します。オプションには、CSV、Excel、Parquet、Avro、JSONがあります。選択内容に基づいて、追加のフィールドが表示されます。

Worksheet（Excelファイルのみ）
取得予定のデータを含むExcelワークシートの名前を入力します。
Range（Excelファイルのみ）
データを取得するExcelワークシート内のセル範囲（例：B5:C20）を指定します。範囲を指定する際は、ヘッダー行を無視します。データ範囲が動的な場合は、任意の範囲を含め、空の行またはnull行を無視するようにクエリを設定します。
jq expression（JSONファイルのみ）
JSONデータをCSV形式に変換するためのjq expressionを指定します。例：.items[] | [ keys[] as $k | .[$k] ] | @csv。

AVROとPARQUETのサポート

パフォーマンスの最適化やスキーマ処理など、AvroファイルとParquetファイルの設定に関するガイダンスについては、AvroファイルとParquetファイルの変換を参照してください。

ファイル形式を選択した後、Column schema typeを設定します。この設定は、受信データのスキーマを定義する方法を決定します。

受信データの構造が設計時に確立されている場合は、Definedスキーマを使用します。このオプションを使用すると、列とその想定データ型を明示的に定義できます。

Definedスキーマを設定するには、次のフィールドを入力します。

データスキーマ
データソースファイルの列名を指定します。名前を手動で入力するか、データソースのサンプルを指定してスキーマを自動生成できます。 Excelファイルの場合は、特定の要件に合わせてスキーマを調整するために、列名を手動で入力する必要があります。
Column relaxation
ソースデータにスキーマで定義されている列より多くの列が含まれる可能性があり、エラーを発生させずに差異を許可する場合は、Yesを選択します。スキーマとデータの完全一致を強制するには、Noを選択します。 Noを選択したときに追加の列が存在する場合は、エラーが返されます。
Contains header（CSVファイルとExcelファイルのみ）
データに列名を含むヘッダー行があるかどうかを選択します。データにヘッダー行が含まれている場合は、Yesを選択します。列を順序で照合するには、Noを選択します。
Header matching（CSVファイルとExcelファイルのみ）
指定されたスキーマを受信データヘッダーと名前で照合するか、順序で照合するかを選択します。ヘッダーが存在する場合に列を名前で照合するには、Namedを選択します。スキーマにデータヘッダーとは異なる可能性がある列名が含まれる場合に、スキーマ列を左から右の順にデータにマッピングするには、Orderedを選択します。 Contains headerがYesに設定されている場合に表示されます。
Column delimiter（CSVファイルのみ）
CSVデータ内の列を区切る文字（,（カンマ）や;（セミコロン）など）を選択します。デフォルトはカンマです。

DEFINEDスキーマでは列はどのように照合されますか

スキーマ内の列は、上から下の順で、実際のデータと左から右の順に照合されます。これにより、実際のデータに列名が含まれていない場合でも、列を正しく識別できます。 Column relaxationがNoに設定されている場合、スキーマ内の列数と実際のデータの列数が一致しないと、Workatoはエラーを返します。

Column relaxationがYesに設定されている場合、Workatoは、スキーマで定義されていない追加の列に任意の列名（例：column_1、column_2）を割り当てます。これらの任意の名前は、Add header in outputがYesに設定されている場合、出力にも表示されます。

データの構造が実行時に変化する場合は、Dynamicスキーマオプションを使用します。データピルを使用してスキーマを渡し、列名と型を指定します。 Column relaxationがサポートされているため、列数が完全に一致する必要はありません。 Workatoは、ヘッダーが存在する場合は名前で、存在しない場合は順序でデータを照合します。

Dynamicスキーマを設定するには、次のフィールドを入力します。

データスキーマ
データピルを使用してスキーマを入力し、実行時に必要な列名と型を指定します。 Excelファイルの場合は、データが配置されているシート名を指定します。受信データの構造が固定されておらず、データソース間で異なる場合は、この方法を使用します。
Column relaxation
ソースデータにスキーマで定義されている列より多くの列が含まれる可能性があり、エラーを発生させずに差異を許可する場合は、Yesを選択します。スキーマとデータの完全一致を強制するには、Noを選択します。 Noを選択したときに追加の列が存在する場合は、エラーが返されます。
Contains header（CSVファイルとExcelファイルのみ）
データに列名を含むヘッダー行があるかどうかを選択します。データにヘッダー行が含まれている場合は、Yesを選択します。列を順序で照合するには、Noを選択します。デフォルト設定はYesです。
Header matching（CSVファイルとExcelファイルのみ）
指定されたスキーマを受信データヘッダーと名前で照合するか、順序で照合するかを選択します。ヘッダーが存在する場合に列を名前で照合するには、Namedを選択します。スキーマにデータヘッダーとは異なる可能性がある列名が含まれる場合に、スキーマ列を左から右の順にデータにマッピングするには、Orderedを選択します。
Column delimiter（CSVファイルのみ）
CSVデータ内の列を区切る文字（,（カンマ）や;（セミコロン）など）を選択します。デフォルトはカンマです。

動的スキーマのユースケース

動的スキーマが動作する具体的なユースケースについては、次の例を参照してください。

Salesforceトリガー出力を使用した動的スキーマの例では、Salesforceトリガーからのさまざまなデータ構造を動的に処理する方法を示します。スキーマは、Salesforceによって提供されるフィールドに合わせて手動操作なしで自動的に調整されます。
前のクエリのスキーマを使用した動的スキーマの例では、ソーススキーマデータピルと出力スキーマデータピルを使用して、あるクエリから別のクエリにスキーマを渡す方法を示します。これにより、以前のクエリ出力に基づく動的更新が可能になります。

Add data sourceを選択して、追加のデータソースを指定します。これにより、変換に必要なデータをまとめることができます。

データソースの例：AWS S3コネクターからのCSVファイルコンテンツ

この例では、データソースの名前はemployeeで、データはS3ダウンロードファイルアクションからのファイルコンテンツから取得されます。スキーマには従業員関連の情報が含まれており、CSVデータは区切り文字として,（カンマ）を使用します。

さらに、ユーザーはCSVヘッダー行を無視することを選択しています。

データソース設定の例1

データソースの例：Workato FileStorageに保存されたCSVファイル

この例では、データソースの名前はzipcodeで、パスSQL/zipcode_data.csv内のWorkato FileStorageに保存されたファイルから取得されます。

前の例と同様に、列の区切り文字は,（カンマ）であり、ユーザーはクエリの実行中にファイルからのデータのCSVヘッダー行を無視することを選択しています。

データソース設定の例2

データソースの例：Google DriveコネクターからのExcelファイルコンテンツ

この例では、データソースの名前はsales_dataです。 Google Driveダウンロードファイルアクションから取得されたExcelファイルからデータを取得します。スキーマには売上関連の列が設定され、ExcelデータはQ1_Salesという名前のワークシートと範囲A3:E100から取得されます。

データソース設定の例3

データソースの例：Salesforceトリガー出力を使用した動的スキーマ

この例ではSalesforceトリガーを使用し、Salesforce出力内のオブジェクトスキーマデータピルを通じてスキーマが動的に更新されます。フィールド名、フィールドラベル、マッピング済みタイプなどのSalesforceデータは、トリガーによって返されるレコードに応じて異なる可能性があるため、このレシピではColumn schema typeをDynamicに設定します。

Salesforce動的スキーマのデータソース設定例

スキーマはSalesforce出力からのフィールドに合わせて自動的に調整され、オブジェクトフィールドへの変更や更新を手動操作なしで処理します。

データソースの例：前のクエリのスキーマを使用した動的スキーマ

次の例では、動的スキーマをあるクエリステップから次のステップに渡します。最初のクエリの出力スキーマデータピルは、2番目のクエリの動的スキーマセクションでデータソースとしてマッピングされます。

前のクエリデータからスキーマを渡すデータソース設定例

フィールド名やフィールドタイプなどのデータ構造は、以前に処理されたレコードによって異なる可能性があるため、動的スキーマオプションが選択されています。スキーマは、手動設定を必要とせずに、前のクエリの出力構造に一致するように自動的に調整されます。

次に読む

サンプルユースケース

次のユースケースでSQL Transformationsを活用する方法については、ステップバイステップの手順を示したガイドを参照してください。

Last updated:

データソースの設定 ​