データパイプラインのトラブルシューティング ​

データパイプラインの問題の特定 ​

失敗したオブジェクト実行を確認し、詳細なエラー情報にアクセスするには、Runs（実行）タブを使用します。

失敗した実行を見つけて調査するには、次の手順を実行します:

オブジェクト同期エラーの解決 ​

ソースまたは宛先システムの問題によって、オブジェクト実行エラーが発生することがよくあります。 パイプラインは、失敗したオブジェクト実行を後続の同期で再試行します。

ソース側のエラーを修正すると、パイプラインは次回のスケジュール済み同期でデータを復旧できます。

たとえば、503 Service UnavailableエラーはターゲットAPIに問題があることを示します。 Postmanやcurlなどのツールを使用して未加工のコンテンツをエンドポイントに送信し、応答を確認するには、エンドポイントをテストします。

詳細については、APIエンドポイント管理FAQを参照してください。

ソースの削除済みフィールド ​

データパイプラインは、ソースアプリケーションでフィールドが削除された場合、履歴参照用に宛先でフィールドを保持します。

削除されたフィールドとそのデータを完全に削除するには、宛先テーブルから列を手動で削除します。 このアクションはパイプラインの動作に影響しません。

Salesforce連携に関する考慮事項 ​

WorkatoデータパイプラインでSalesforceをソースとして使用する場合は、次の動作と制限事項を考慮してください:

オブジェクトサポート ​

Workatoパイプラインは、クエリ可能なSalesforceオブジェクトのみを同期できます。 パイプラインは、クエリ可能でないオブジェクトのデータにアクセスしたり抽出したりできません。

サポートされている多くのオブジェクトはSalesforceのgetUpdated()およびgetDeleted() APIに対応しており、これによりパイプラインは増分同期の変更を検出できます。 一部のクエリ可能なオブジェクトはこれらのAPIをサポートしていないため、パイプラインはそれらの更新や削除を追跡できません。

一部のSalesforceオブジェクトには、増分同期と削除追跡に必要なSystemModstampやIsDeletedなどのフィールドが含まれていません。 これらのフィールドがないとパイプラインでサポートできないため、Workatoはこれらのオブジェクトをパイプライン設定から除外します。

サポートされていないフィールド ​

Workatoは、base64や埋め込みJSONなどの複合型を持つフィールドをサポートしていません。 これらのフィールドは、パイプラインの設定時にオブジェクトフィールド選択メニューに表示されません。

スキーマ処理 ​

Workatoパイプラインは、Salesforceでフィールドのデータ型が変更されても宛先スキーマを更新しません。 フィールドの型を変更した場合は、Snowflakeでスキーマを手動で更新する必要があります。

フィールドサイズの変更は異なる動作をします。 Salesforceでフィールドサイズを大きくすると、パイプラインは新しいサイズを宛先に反映します。 フィールドサイズを小さくしても、宛先列のサイズは変更されません。

削除済みレコード ​

Salesforceは削除されたレコードをごみ箱に移動し、組織の設定に応じて15～30日間保持します。 この期間中、パイプラインは削除を取得して宛先に同期します。

Salesforceがこれらのレコードを完全に削除した後、パイプラインは削除を検出または同期できません。 完全削除後にパイプラインが実行されると、削除されたレコードは宛先に残ります。 この問題を回避するには、完全削除前に削除を取得できる十分な頻度でパイプラインの同期をスケジュールします。

Snowflake連携に関する考慮事項 ​

WorkatoデータパイプラインでSnowflakeを宛先として使用する場合は、次の動作と制限事項を考慮してください:

宛先でのレコードの追跡 ​

Workatoは、実行の識別と削除ロジックをサポートするために、Snowflake内の各宛先テーブルに追跡列を追加します:

• _workato_run_id: 各レコードを挿入した実行を識別します。 この列を使用して、予期しないデータを追跡し、特定の実行を分離し、データをログと関連付けて、それを処理したパイプラインを特定します。
• _workato_is_deleted: サポートされているオブジェクトの削除を追跡します。

複数のパイプラインが同じスキーマに書き込む場合、_workato_run_idは実行間の重複や競合の検出に役立ちます。

権限 ​

パイプラインを正常に実行するには、Snowflakeコネクションに、テーブルを作成および変更し、ステージを作成し、ステージング操作を実行する権限が必要です。

テーブルとステージングの動作 ​

Workatoはデータをアップロードするために、Snowflakeに永続ステージを作成します。 また、更新を宛先テーブルにマージする前にステージングするため、一時テーブルも作成します。

コネクション設定 ​

データパイプライン用に新しいSnowflakeコネクションを作成します。 コネクション設定時に、使用する予定のスキーマを指定する必要があります。 このフィールドを空白のままにすると、デフォルトでpublicスキーマになります。

キーバリュー認証 ​

Snowflakeコネクションでキーバリューペア認証を使用することを、Workatoはサポートまたは推奨していません。 代わりに標準の認証方法を使用してください。