変更データキャプチャ（CDC）レシピの例
このガイドでは、CDC（変更データキャプチャ）に使用できるさまざまなレシピ設計パターンの例を示します。これらの例では、次のソースからデータを一括およびバッチ単位で抽出する方法を示します：
- SaaS
- データベース
- ファイルシステム
- オンプレミスシステム
SaaS
Salesforceからのバッチ抽出
このレシピでは、CDCにバッチトリガーを使用する方法を示します。このレシピは、ソースシステム（Salesforce）から新規/更新レコードをバッチ単位で抽出し、データウェアハウス（Snowflake）にロードします。
Salesforceからのバッチ抽出
レシピのウォークスルー
New/updated records in Salesforce batchトリガーを設定します。このトリガーはSalesforceの変更を監視します。このトリガーは、レコードが追加または更新されると、レコードをバッチでエクスポートします。
Upsert batch of rowsアクションを使用して、Salesforceから抽出したデータをSnowflakeにアップサートします。
データベース
データベースからのスケジュール済み一括抽出
この例では、データベースからデータを一括抽出する方法を示します。このレシピは、PostgreSQLからデータを抽出し、Snowflakeにロードします。
PostgreSQLからの一括抽出
サポートされるデータベース
次のデータベースコネクターは一括アクションをサポートしています：
- Snowflake
- PostgreSQL
- MySQL
レシピのウォークスルー
Schedulerトリガーを設定し、一括抽出の頻度を決定します。
PostgreSQLアクションのExport query resultを使用して、データを一括エクスポートします。
AWS S3 Upload fileアクションを使用して、S2バケットなどの外部ステージングロケーションにファイルをアップロードします。
Bulk load to table from stageアクションを使用して、エクスポートしたデータをSnowflakeのテーブルにロードします。
データベースからのバッチ抽出
この例では、データベースからデータをバッチ単位で抽出し、宛先にロードする方法を示します。
サポートされているデータベース
Workatoのすべてのデータベースコネクターは、以下を含むバッチ抽出をサポートしています：
- Snowflake
- SQL Server
- PostgreSQL
- Oracle
- MySQL
- Redshift
レシピのウォークスルー
PostgreSQLのNew/updated rowsトリガーを使用して、新規/更新レコードをPostgreSQLからバッチ単位でエクスポートします。
SQL serverアクションのUpsert batch of rowsを使用して、エクスポートした行をSQL serverなどのデータウェアハウスにアップサートします。
ファイルシステム
Workatoのファイルコネクターを使用すると、ストリーミングに対応したdownloadアクションを使用して、ファイルシステムからデータを抽出できます。このアクションを一括ロードに対応したダウンストリームシステムと組み合わせることで、ファイルシステムからのデータ抽出と、データベースまたはデータウェアハウスへのロードが容易になります。
また、ダウンロードアクションをアプリコネクターの一括アクションと組み合わせることで、ファイルシステムからデータを抽出し、データ全体をアプリケーションに送信できます。
FileStorageから一括抽出してSnowflakeにロード
この例では、Workato FileStorageに集約されたデータをデータウェアハウス（Snowflake）のデータテーブルにロードする方法を示します。
FileStorageからデータを一括抽出してSnowflakeにロードする
レシピのウォークスルー
New file in Workato FileStorageトリガーを使用して、特定のディレクトリに新しいファイルがないかを監視します。ディレクトリにファイルが追加されると、新しいレシピジョブが開始されます。
Upload file to internal stageアクションを使用して、ファイルをSnowflakeに一括アップロードします。
SFTPからSalesforceへのデータの一括抽出
この例では、SFTP内のリードデータをクラウドCRMシステム（Salesforce）に同期する方法を示します。
SFTPからデータを一括抽出してSalesforceにロード
サポートされているコネクター
次のコネクターは一括ダウンロードをサポートしています。
すべてのファイルコネクター：
- オンプレミスファイル
- Workato FileStorage
- SFTP
- FTP/FTPS
- Google Drive
- Microsoft OneDrive
- Microsoft Sharepoint
- Box
- Dropbox
- BIM 360
- Egnyte
すべてのデータレイクコネクター：
- AWS S3
- Azure Blob Storage
- Google Cloud Storage
レシピのウォークスルー
New fileトリガーを使用して、SFTPに新しいファイルがないかを監視します。パートナーサーバーで新しいファイルが検出されると、新しいレシピジョブが開始されます。
SFTP serverアクションのDownload fileを使用してファイルの内容を取得し、次のアクションにストリーミングします。
SalesforceアクションのCreate leads in bulkを使用して、ストリーミングされた一括データを取り込み、Salesforceにロードしてリードを作成します。
最終更新日: