データパイプラインのOrchestrateと監視 ​

Workatoは、データパイプラインをOrchestrateし、パイプラインの健全性を監視できる堅牢なツールを提供します。 これらのツールにより、さまざまなシステム、アプリケーション、データベース間でシームレスなデータフローを実現できます。 これらのツールを使用すると、複雑なデータワークフローを設計、自動化、管理できます。

データパイプラインオーケストレーションツール ​

• データフローの設計と管理

• Workatoは、ドラッグアンドドロップインターフェースを使用してデータパイプラインを設計できる視覚的なワークフロー（レシピ）ビルダーを提供します。 視覚的な要素を使用して、さまざまなアクション、トリガー、変換を接続することで、ワークフローシーケンスを作成できます。

• 条件付き実行

• Workatoのデータパイプラインオーケストレーションツールは、条件付きロジックと分岐をサポートしており、さまざまなシナリオや条件に適応する動的なワークフローを作成できます。 ルールと条件を定義して、特定の基準に基づいてデータをルーティングし、適切に処理および取り扱われるようにできます。

• カスタムエラー処理

• Workatoでは、レシピ内にカスタムのエラー処理ロジックを設計できます。 これには、失敗したステップの再試行、通知メッセージの送信、例外を管理するための代替ワークフローの実行など、エラーの種類に基づく条件付きアクションを含めることができます。

監視ツールとダッシュボード ​

Workatoは、効率的なデータオーケストレーションプロセスを促進する堅牢な監視ツールとダッシュボードを提供します。 これらのツールは、データフローの追跡、問題の特定、円滑な運用の確保に不可欠です。

• データパイプラインのリアルタイム監視

• Workatoは、ワークフローの任意のステップで発生するエラーを自動的に検出するリアルタイム監視機能を提供します。 これには、WebサービスからのHTTPエラー、データ検証エラー、統合アプリケーションからのシステム固有のエラーが含まれます。 エラーが検出されると、Workatoはレシピの実行を停止するか、事前定義されたエラー処理手順をトリガーできます。 これにより、問題やボトルネックを迅速に特定し、潜在的な中断を最小限に抑えられます。

• ダッシュボード

• Workatoのダッシュボードでは、傾向、外れ値、レシピの問題を包括的に把握できるため、ユーザーは問題の発生時に効率的に対処できます。 これには、ジョブグラフ、レシピ詳細テーブル、プラン利用状況、アプリコネクション概要などのセクションが含まれます。 ダッシュボードでは、ワークスペース内のレシピを360°の視点で把握できる運用メトリクスも提供されます。

• 通知とアラート

• Workatoでは、エラーに応じた自動通知とアラートを設定できます。 これにより、適切なチームメンバーに問題が迅速に通知されます。 通知は、指定した受信者にメールで送信されます。

監査とログ ​

オブザーバビリティは、Workatoのデータオーケストレーションソリューションの重要な側面です。 当社のログサービスとジョブレポートを活用して、データオーケストレーションパイプラインのパフォーマンスとステータスに関するInsightsを得ることができます。 これにより透明性が確保され、プロアクティブな監視と問題解決が容易になります。

• ジョブ履歴とデバッグ

• Workatoは、成功した実行とエラーを含め、各レシピ実行について包括的なジョブ履歴を提供します。 この詳細な実行ログは、エラー発生時に存在していたデータと条件に関するInsightsを提供することで、レシピのデバッグに役立ちます。

• 監査証跡

• Workatoは、ユーザーアクティビティを活動監査ログに記録し、管理者が変更の追跡、利用状況の監視、セキュリティポリシーへの準拠の確保のために確認できる監査証跡を提供します。

• 監査ログストリーミング

• Workatoは、活動監査ログのストリーミングをDatadog、Splunkなどの一元化された監視ツールに送信するためのツールを提供します。 この機能はリアルタイム監視用に設定できます。 これは、特に自動化の数が増えるにつれて、一元化された運用を行っている場合に役立ちます。