データオーケストレーション - ETL/ELT ​

Extract, Transform, Load（ETL）およびExtract, Load, Transform（ELT）は、データ統合およびデータウェアハウジングで使用されるプロセスであり、さまざまなソースからデータを抽出、変換、ロードして、データウェアハウスやデータレイクなどのターゲット宛先に取り込みます。

このガイドでは、ELT/ETLの実践的なユースケースを表すサンプルレシピについて、説明付きで解説します。

一括とバッチの比較 ​

一括/バッチアクション/トリガーはWorkato全体で利用できます。 一括処理では、単一のジョブで大量のデータを処理でき、特にETL/ELTに適しています。 バッチ処理はバッチサイズとメモリ制約によって制限されるため、一般にETL/ELTのコンテキストにはあまり適していません。

Extract, Transform, and Load（ETL） ​

ETLは抽出フェーズから始まり、データベース、ファイル、API、Webサービスなど、複数の異種ソースからデータを取得します。 次に、この生データは変換フェーズ（クレンジング、フィルタリングなど）の対象になります そして最後に、通常はデータウェアハウスであるターゲットシステムにロードされます。

サンプルETLレシピ ​

動作する例については、サンプルETLレシピを参照してください。

サンプルETLレシピ

レシピの内訳 ​

サンプルETLレシピは、オンプレミスデータソース（SQL Server）からデータを抽出し、Workato FileStorageに保存されている製品カタログとマージして、この変換済み出力をデータウェアハウス（BigQuery）にロードする方法のセットアップです。 さらに、Workatoのファイルストリーミング機能により、時間やメモリの制約を気にせずにデータを転送できます。 このレシピはETLレシピを構築する際の一般的なガイドとして機能し、オンプレミスデータソースから抽出したデータに基本的な変換を実行してから、データウェアハウスにロードします。

セットアップ ​

このレシピでは、背後で追加の手順は必要ありません。

Extract, Load, and Transform（ELT） ​

ETLと同様に、ELTは抽出フェーズから始まり、さまざまなソースからデータが抽出されます。 ELTは、抽出されたデータをデータレイクや分散ストレージなどのターゲットシステムにロードすることに重点を置いています。 データがロードされると、変換はターゲットシステム内で行われます。

サンプルELTレシピ ​

動作する例については、サンプルELTレシピを参照してください。

サンプルELTレシピ

レシピの内訳 ​

サンプルELTレシピは、クラウドデータソース（Salesforce）からデータウェアハウス（Snowflake）にデータを抽出する方法のセットアップです。 このレシピはELTレシピを構築する際のガイドとして機能し、クラウドデータソースから一括データを抽出してデータベースにロードする基本機能を実行します。

セットアップ ​

• 必要な権限を持つ外部ステージをSnowflakeで設定しておく必要があります。 詳細については、SnowflakeのCREATE STAGEドキュメントを参照してください。