Databricksをデータパイプライン送信先として設定する ​

Databricksをデータパイプラインの送信先として設定します。 このコネクションにより、Workatoはソーススキーマを使用して、ソースアプリケーションからDatabricksワークスペースにデータをレプリケートできます。

サポートされている機能 ​

Databricksをパイプライン送信先として使用する場合、次の機能がサポートされます：

• ソーススキーマに基づく宛先テーブルの自動作成
• フルデータロードおよび増分データロードのサポート
• 明示的なフィールドマッピングを使用しないフィールドレベルのデータレプリケーション
• スキーマドリフトの処理および更新操作

前提条件 ​

次の設定とアクセス権が必要です:

• SQLウェアハウスにアクセスできるDatabricksワークスペース
• Databricks SQLエンドポイントのサーバーホスト名とHTTPパス
• サポートされている認証方法

Databricksに接続する ​

データパイプライン送信先としてDatabricksに接続するには、次の手順を実行します。 このコネクションにより、パイプラインはデータをDatabricksにレプリケートしてロードできます。

宛先アクションの設定 ​

パイプラインを開始する前に、Databricksのスキーマが新規作成済みで空であることを確認します。 これにより、初回同期中のエラーを防ぎ、パイプラインが競合なしで送信先テーブルを作成できるようになります。

識別子の処理 ​

Databricksは、識別子が引用符で囲まれていない限り、デフォルトで大文字と小文字を区別しない識別子システムを使用します。 Workatoパイプラインは、次のルールを適用して、ソース列名を有効なDatabricks識別子に変換します：

• カラム名は大文字に変換されます
• $、スペース、ダッシュなどの特殊文字はアンダースコア（_）に置き換えられます 識別子は、特殊文字および予約語をサポートするためにバッククォート（`）で囲まれます。

これにより、DatabricksでのDelta Lakeテーブル作成とクエリ動作との互換性が確保されます。

例 ​

次のソーステーブル構造:

結果として、Databricksに次のテーブルが作成されます：

CREATE TABLE `account` (`_NAME_`, `CREATED_DATE`, `LIMIT`)

引用符で囲まれていないクエリでは、大文字と小文字に関係なく列を参照できます：

SELECT created_date FROM account;

引用符で囲まれたクエリは、正確な大文字と小文字および形式と一致している必要があります：

SELECT `_NAME_` FROM `account`;

ツール全体で一貫した動作を実現するために、すべてのクエリがDatabricks識別子ルールに従っていることを確認します。