データパイプラインの監視と管理 ​

データパイプラインには、同期アクティビティの監視、パフォーマンスの追跡、構成の管理を行うための次のオプションがあります:

• パイプラインステータスの監視：リアルタイムの同期アクティビティと過去の傾向を表示します。

• 同期されたオブジェクトとステータスの表示：各オブジェクトの現在の同期ステータスを確認し、必要に応じて再同期をトリガーします。

• オブジェクト実行の監視：同期の進行状況を追跡し、エラーを確認し、パフォーマンスメトリクスを分析します。

• コネクションの管理：既存のコネクションを検証し、ソースまたは送信先を切り替え、認証情報を更新します。

パイプラインステータス ​

パイプラインを開始すると、選択したオブジェクトが並列に同期され、宛先が継続的に更新されます。 最初の実行では、履歴データが宛先にロードされます。

パイプラインステータスサイドバーには、同期の進行状況とパイプラインアクティビティに関するリアルタイム更新が表示されます。 パイプラインのステータスに基づいて、異なる詳細が表示されます:

オーケストレーションアクティビティの監視 ​

データオーケストレーションダッシュボードでは、ワークスペース内のすべてのパイプラインについて、パイプライン実行ステータス、同期時間、データ量を監視できます。 ダッシュボードには、実行結果、行数、平均所要時間のトレンドを含む30日間のアクティビティが表示されます。 パイプラインステータスでフィルターし、日次実行タイムラインを確認して、特定の同期を開いて問題を調査できます。

ダッシュボードを開くには、Workatoでプラットフォーム > データオーケストレーションに移動します。

データオーケストレーションダッシュボード

詳細については、オーケストレーションアクティビティを監視セクションを参照してください。

同期済みオブジェクトとステータスを表示 ​

オブジェクトタブには、パイプラインで選択されたすべてのオブジェクトと現在の同期ステータスが表示されます。 このタブを使用して同期ステータスを監視し、必要に応じて特定のオブジェクトを再同期します。

オブジェクトタブ

各行には次の詳細が表示されます:

• オブジェクト名

• ソースオブジェクトの名前。

• 最後のステータス

• このオブジェクトの最新の同期結果。 Workatoはこれを同期済み、失敗、同期中...、再同期中...、またはキュー登録済みとしてマークします。

• Re-sync

• オブジェクト行にカーソルを合わせるか、オブジェクト詳細パネルを開いて、再同期オプションにアクセスします。 これにより、そのオブジェクトの1回限りの同期がトリガーされます。 次にスケジュールされた同期を待たずに、オブジェクトデータを直ちに抽出してロードします。

  オブジェクトを再同期

サイドバーには次のパイプラインアクティビティの概要が表示されます:

• 次の同期までの時間

• 最後の同期の時刻と結果

• 過去30日間の成功した実行と失敗した実行の合計

• 進行中またはキュー登録済みのオブジェクト再同期数

  オブジェクトサイドバー

オブジェクト実行 ​

実行タブでは、実行の進行状況、エラー、パフォーマンスに関するリアルタイムのInsightsを確認できます。 このタブを使用して、オブジェクト実行ステータスの追跡、実行履歴の確認、パイプラインアクティビティの分析、失敗のトラブルシューティングを行います。

実行タブにアクセスして利用するには、次の手順を実行します:

同期タイプ ​

パイプラインは、現在の状態と構成に基づいて、異なる同期タイプを自動的に適用します:

完全同期: パイプラインの開始時に1回実行されます。 構成設定に基づいて、ソースのすべての履歴レコード、または特定の日付以降のレコードのみをロードします。 これは、最初のパイプライン実行中に発生する完全同期です。

増分同期: ソースの変更を追跡して適用するために、スケジュールされた間隔で実行されます。

再同期: 特定のオブジェクトに対する1回限りの手動同期。 通常のスケジュール外で、そのオブジェクトの現在のデータを直ちに再ロードします。

詳細については、同期タイプと実行ガイドを参照してください。

コネクションを表示および管理 ​

コネクションタブには、データパイプラインで使用されるソースコネクションと宛先コネクションが表示されます。

コネクションタブ

各コネクションには、その名前、認証タイプ、構成の詳細が表示されます。

コネクションを切り替えられるのは、パイプラインが実行中でない場合のみです。 アクティブな場合は、コネクションを変更する前にパイプラインを停止します。

コネクションを切り替えるには:

パイプラインは、今後のすべての同期に新しいコネクションを直ちに適用します。

同時実行 ​

パイプラインは、スケジュールされた各同期中に、選択されたオブジェクトを並列に処理します。 Workatoは同時実行を自動的に管理し、システムの可用性に基づいて最適化します。

パイプラインは、バッチごとに最大100個のオブジェクトを並列に処理します。 100個を超えるオブジェクトを含むパイプラインは、連続するバッチで処理されます。 同時実行設定を手動で構成することはできません。

パイプラインを編集 ​

パイプラインを編集をクリックして、同期頻度、ソースオブジェクト、フィールド設定を変更します。 変更は今後の同期に適用され、以前に同期されたデータには影響しません。

データパイプラインを編集

パイプラインの一時停止と再開 ​

パイプラインを保持したまま、すべての同期を停止するにはパイプラインを停止を選択します。 パイプラインが同期中の場合、直ちに停止します。 抽出とロードが完了したオブジェクトは、成功した実行としてカウントされます。 パイプラインは残りの実行をキャンセルし、キャンセル済みとしてマークします。 これらの実行では、データは宛先に同期されません。

停止中、パイプラインはデータを抽出しません。 ログと履歴実行データは参照用に引き続き利用できます。

データパイプラインを停止

同期を再開するにはパイプラインを開始を選択します。 スケジュールに関係なく、パイプラインは次の増分同期で直ちに再開します。 この実行が完了すると、構成された同期頻度に従います。 パイプラインの一時停止中に実行されなかった同期は再試行されませんが、キャンセルされた実行で未処理となったデータは、次の成功した同期中に取り込まれます。 パイプラインの一時停止中に同期頻度を更新した場合、パイプラインは再開時に更新された構成を適用します。

パイプラインで新しいフィールドをブロックを使用している場合、一時停止中に行われたスキーマ変更は自動的には適用されません。 これらの変更は、パイプラインの再開後に有効になります。

デプロイメントに関する考慮事項 ​

RLCMマニフェストまたはデプロイメントパッケージを使用して、データパイプラインをエクスポートおよびデプロイできます。

データパイプラインマニフェスト

パイプラインに有効なソースコネクションと宛先コネクションが含まれていない場合、Workatoはデプロイメントをブロックします。 これにより、システムがスキーマを正しくロードできるようになり、構成中のエラーを回避できます。 パイプラインをエクスポートまたはデプロイする前に、必要なすべてのコネクションを含める必要があります。

プロダクションで異なるコネクションを使用する予定がある場合は、まずテストコネクションを使用してパイプラインをデプロイし、その後ターゲットEnvironmentで適切なプロダクションコネクションに切り替えます。

同じパイプラインがターゲットEnvironmentですでにアクティブな場合も、Workatoはデプロイメントをブロックします。 更新されたバージョンを同じEnvironmentにデプロイする前に、実行中のパイプラインを停止する必要があります。

レシピ内のデータパイプライントリガー ​

データパイプラインの同期が完了したときにレシピをトリガーするには、PipelineOps by Workatoコネクターを使用できます。 これにより、データが宛先にロードされた直後にレシピを実行できます。

これらのトリガーを使用して、ロード後の変換の実行、パイプラインアクティビティの監視、カスタマイズされたエラーアラートまたはステータスレポートの送信を行います。

ステップバイステップの例については、レシピを使用したデータパイプラインの監視ガイドを参照してください。

失敗した実行のトラブルシューティング ​

実行タブには、失敗した各オブジェクト実行の詳細なエラー情報が表示されます。 失敗した実行は、実行履歴に失敗ステータスで表示されます。

失敗した実行

失敗した実行をクリックして、その詳細を開きます。 右側のパネルには、Errorタイプ、Error ID、Run IDが表示されます。 ソーストリガーまたは宛先アクションを選択して、その実行の特定のエラーメッセージを表示することもできます。

失敗した実行の詳細

エラーの特定方法とトラブルシューティング方法の詳細については、データパイプラインのトラブルシューティングを参照してください。

パイプラインログを確認 ​

Workatoのロギングサービスは、すべてのパイプライン同期の詳細情報をキャプチャします。 これらのログを使用して、パイプラインアクティビティの追跡、実行成功の確認、同期全体および個別のオブジェクト実行にわたるエラーのトラブルシューティングを行います。

データパイプラインログ

特定のログを見つけるには、次の手順を実行します:

一般的なログタイプ ​

Workatoは、パイプライン同期プロセスの各ステージについて構造化されたログイベントを生成します。 これらのイベントは、同期アクティビティを追跡し、オブジェクトレベルで問題を特定するのに役立ちます:

• PIPELINE_SYNC_START: パイプラインが、選択されたすべてのオブジェクトにわたる新しい同期を開始しました。
• OBJECT_RUN_START: パイプラインがオブジェクト実行の処理を開始しました。
• OBJECT_SCHEMA_SYNCHRONISATION_COMPLETED: パイプラインが1つのオブジェクト実行のスキーマ更新を完了しました。
• OBJECT_EXTRACTION_COMPLETED: パイプラインが1つのオブジェクト実行について、ソースからのデータ抽出を完了しました。
• OBJECT_LOADING_COMPLETED: パイプラインが1つのオブジェクト実行について、宛先へのデータロードを完了しました。
• OBJECT_MERGE_COMPLETED: パイプラインが1つのオブジェクト実行について、増分変更を宛先にマージしました。
• OBJECT_RUN_COMPLETED: パイプラインが1つのオブジェクト実行のすべての操作を完了しました。
• PIPELINE_SYNC_COMPLETED: パイプラインが、選択されたすべてのオブジェクトにわたる同期を完了しました。
• PIPELINE_SYNC_CANCEL: パイプラインが同期完了前に停止しました。

ログエントリの詳細を表示 ​

任意のログ行をクリックして、その完全なコンテキストを表示します。 各ログエントリには、パイプラインと対応する同期を識別するためのpipeline_id、pipeline_sync_id、workato_pipeline_idなどの値が含まれます。

ログ詳細を表示

ログエントリには、ソースシステムと宛先システム、オブジェクト名、レコード数、失敗したオブジェクト実行のエラーメッセージもキャプチャされます。

ログエントリの例 ​

次の例は、PIPELINE_SYNC_COMPLETEDログエントリを表示しています。 同期時間、パイプライン識別子、関連するシステム、オブジェクトとレコードのメトリクスが含まれます:

{
  "context": {
    "event": "PIPELINE_SYNC_COMPLETED",
    "start_time": "2025-04-15T14:00:17.088Z",
    "end_time": "2025-04-15T14:03:45.562Z",
    "pipeline_id": "dpr-ARQRRwxR-w4xLrt",
    "workato_pipeline_id": "1275",
    "pipeline_sync_id": "019639c0-1ae3-77fd-8eb9-14b20e4fed38",
    "source": "SALESFORCE-70612",
    "destination": "SNOWFLAKE-72522",
    "duration": "208 seconds"
  },
  "number_of_objects": 8,
  "number_of_objects_successful": 8,
  "number_of_objects_failed": 0,
  "number_of_records_extracted": 900,
  "number_of_records_loaded": 900
}