トリガーによるChange Data Capture（CDC） ​

Change Data Capture（CDC）は、データベース内のデータに加えられた変更をキャプチャして追跡するために使用されるプロセスです。 このプロセスにより、データ変更のリアルタイムまたはほぼリアルタイムの監視と同期が可能になります。 これにより、継続的なポーリングを使用せずに、アプリケーションをデータベースの最新の変更に追随させることができます。

CDCの主な目的は、データベーステーブルに対して行われた挿入、更新、削除などの変更を識別してキャプチャすることです。 これらの変更は、その後、ダウンストリームシステム、データウェアハウス、または分析プラットフォームに伝播され、すべてのシステムが最新のデータにアクセスできるようになります。

WorkatoでのCDCの仕組み ​

Workatoは、指定したアプリまたはシステムの変更を監視するためにトリガーを使用します。 Workatoのトリガーは、変更をリアルタイムで監視し、それらの変更に関する通知を提供することでCDCを処理し、異なるシステム間でのデータレプリケーションと同期を容易にします。

トリガーは順次配信に従い、処理済みジョブの記録を保持し、重複処理を防止し、ジョブが順番に完了するようにします。 トリガーのディスパッチは単一（リアルタイムデータ同期）またはバルク/バッチにすることができます。 大量のデータを扱う場合、バルク/バッチによりスループットが向上します。

CDCでサポートされるデータソース ​

Workatoは、次のデータソースのCDCをサポートしています。

• Software as a Service（SaaS）プラットフォーム
• オンプレミスシステム
• MySQL、PostgreSQL、Snowflakeなどの各種データベース
• Workato FileStorage
• Amazon S3などのクラウドストレージサービス
• Enterprise Resource Planning（ERP）システム

高度な戦略 ​

フィルタリングと条件付きトリガー、大量の変更の処理、パフォーマンスの最適化など、高度なCDC戦略を確認します:

• フィルタリングと条件付きトリガー

• 高度なCDC戦略には、データ変更のフローを管理するためのフィルタリングと条件付きトリガーの使用が含まれます。 これにより、キャプチャしてダウンストリームシステムに伝播する変更をより細かく制御できます。

• 大量の変更の処理

• 大量のデータ変更を扱う場合、バッチ処理とマイクロバッチを使用して効率的に処理および転送できます。 これにより、変更負荷を管理し、タイムリーなデータ同期を確保できます。

• パフォーマンスの最適化

• パフォーマンスの最適化は、ハイウォーターマークを追跡するための組み込みのカーソル管理、自動重複排除、順序どおりの処理などの手法によって実現できます。

• 可変速度データパイプライン

• Workatoは、ほぼリアルタイム/継続的なデータストリーミング、頻繁なポーリングのためのマイクロバッチ、定期スケジュールのためのバッチ処理など、可変速度データパイプラインの設定をサポートしています。 この柔軟性により、特定のビジネスニーズに適合するカスタマイズされたデータ統合戦略を実現できます。