Microsoft SharePointをデータパイプラインのソースとして構成する ​

Microsoft SharePointをデータパイプラインのソースとして設定し、SharePoint Onlineのドキュメントライブラリから.csv、.parquet、.avroファイルを抽出して同期し、宛先に取り込みます。

このガイドを使用して、Microsoft Entraアプリを設定し、SharePointをWorkatoに接続し、パイプラインを構成して、ファイル処理、同期モード、制限事項を確認します。

サポートされている機能 ​

Microsoft SharePointをパイプラインのソースとして使用する場合、次の機能がサポートされます:

• SharePoint Online接続: Microsoft Graph APIを介してHTTPSでSharePoint Onlineに接続します。

• CSV、Parquet、Avroファイル: ドキュメントライブラリのフォルダに直接保存されている.csv、.parquet、.avroファイルからデータを抽出します。

• フル同期および増分同期: 増分同期は、各ファイルの最終更新タイムスタンプに基づいて、新規および更新されたファイルを検出します。詳細については、同期モードを参照してください。

• サイトおよびドキュメントライブラリの選択: 各パイプラインについて、同期対象のSharePointサイトとドキュメントライブラリを選択できます。

• マージ戦略: 行を宛先テーブルに読み込む方法を制御するために、UpsertまたはAppend onlyを選択します。

• スキーマドリフトの検出と処理: 新しいフィールドを自動同期でスキーマの変更を自動的に検出して適用するか、新しいフィールドをブロックでスキーマを固定します。

• フィールドレベルのデータ保護：データがデスティネーションに到達する前に、機密フィールドをハッシュ化するか、そのままレプリケートします。

• 構成可能な同期頻度: 時間ベースの間隔またはcron式を使用して同期をスケジュールします。サポートされる最小間隔は15分です。

前提条件 ​

Microsoft SharePointをデータパイプラインのソースとして接続するには、次が必要です:

• .csv、.parquet、.avroファイルを保存しているドキュメントライブラリを持つSharePoint Onlineサイト
• Azureポータルへアクセスし、Microsoft Entra IDにアプリを登録できること
• アプリケーションのアクセス許可に対して管理者の同意を付与できるMicrosoft Entra管理者です。 Sites.Selectedアクセス許可を使用する場合は、SharePoint管理者または全体管理者が各サイトへのアプリのアクセス権も付与する必要があります。
• 同期対象ファイルのフォルダパスおよびファイル名パターン

サポートされるコネクションタイプ ​

Microsoft SharePointのデータパイプラインでは、次の認証方法がサポートされます:

• クライアント資格情報: Microsoft Graphに対するアプリケーションのアクセス許可を持つ、Microsoft Entra IDに登録されたアプリで認証します。設定手順については、Set up your Microsoft Entra appを参照してください。

レシピ用のSharePointコネクタではサポートされていますが、データパイプラインでは認可コードグラントはサポートされていません。

必要な権限 ​

Workatoアプリに対して、アプリケーションのアクセス許可として次のいずれかのMicrosoft Graphアクセス許可を割り当てます:

パイプラインはファイルの読み取りのみを行うため、書き込み権限は不要です。

Microsoft Entraアプリを設定する ​

AzureポータルでWorkatoアプリを登録し、コネクションの作成に必要な値を収集するには、次の手順を実行します:

https://www.workato.com/oauth/callback

openssl genrsa -out domain.key 2048

openssl req -key domain.key -new -out domain.csr

openssl x509 -signkey domain.key -in domain.csr -req -days 365 -out domain.crt

Sites.Selected用のサイトアクセス権を付与する ​

Sites.Selectedアクセス許可だけでは、SharePoint管理者または全体管理者がアクセス権を付与するまで、アプリはどのサイトにもアクセスできません。このアクセス権付与はWorkato内から開始することはできません。 PowerShellまたはMicrosoft GraphのPOST /sites/{site-id}/permissions呼び出しを使用して、同期対象とする各サイトへのアプリのアクセス権を付与します。

Sites.Selectedの手順については、Microsoft のドキュメントを参照してください。

Microsoft SharePointに接続する ​

Microsoft SharePointをデータパイプラインのソースとして接続するには、次の手順を実行します:

パイプラインの設定 ​

Microsoft SharePointをデータパイプラインのソースとして構成するには、次の手順を実行します:

[minute] [hour] [day of month] [month] [day of week]

0 8 * * *

ファイルスキーマと処理 ​

Microsoft SharePointコネクタは、指定したフォルダに保存されている.csv、.parquet、.avroファイルを読み取ります。これらのファイルは、パイプラインが抽出して宛先に同期する構造とデータを定義します。

Workatoは、選択した参照ファイルからスキーマとデータ型を推論します:

• CSV: Workatoはブール値と数値型を推論し、日付や日時を含むそれ以外の値はすべて文字列として扱います。ロードが完了した後、宛先でこれらのフィールドを適切なデータ型に変換します。
• ParquetおよびAvro: Workatoは、日付型やタイムスタンプ型を含め、ファイル内に組み込まれたスキーマとデータ型を読み取ります。

正確なスキーママッピングを確保するには、一致するすべてのファイルで同じ列構造とデータ形式を維持する必要があります。

同期モード ​

Microsoft SharePointのデータパイプラインでは、フル同期と増分同期がサポートされています。 Workatoは、どちらのモードでも空のファイルをスキップします。

フル同期 ​

フル同期では、フォルダパスとファイル名パターンに一致するファイルを一覧表示し、各ファイルからすべての行を抽出します。

増分同期 ​

増分同期は行レベルではなく、ファイルレベルで行われます。 Workatoは、SharePoint内の各ファイルの最終更新タイムスタンプを増分カーソルとして使用します。パイプラインは各実行時にフォルダ内のファイルを一覧表示し、前回の正常終了した同期の開始時刻以降に新規作成または更新されたファイルのみを処理します。変更されていないファイルはスキップされます。

SharePointではCSV、Parquet、Avroコンテンツに対する行レベルの変更追跡が提供されないため、Workatoは更新されたファイルを常に全件再処理します。再処理された行で既存行を更新し、重複挿入を避けたい場合は、Upsertマージ戦略を使用します。

When first started, this pipeline should pick up records fromフィールドに開始日を設定した場合、初回実行ではその日付以降に更新されたファイルのみが対象になります。

削除追跡 ​

Microsoft SharePointのデータパイプラインは、削除の追跡をサポートしません。 Workatoは、SharePointからファイルを削除しても、そのファイルから読み込んだ行を削除またはマークしません。

スキーマとデータ型の処理 ​

Microsoft SharePointからデータを同期する場合、スキーマとデータ型について次の点に注意してください:

ネストされたデータ ​

ParquetおよびAvroファイルには、ネストされたオブジェクトや繰り返しフィールド (配列) を含めることができます。 Workatoは、これらを個々の列にフラット化するのではなく、単一の列にJSONとしてシリアル化します。 Avroファイルの場合、これはマップや、複数の非NULL型を保持できるunisonフィールドにも適用されます。

Workatoは、Avroのbytesおよびfixed値をBase64エンコードされた文字列として抽出します。 decimal論理型を使用する値は、decimalとして抽出されます。

合成列 ​

Workatoは、Microsoft SharePointオブジェクトから作成される宛先テーブルに、次のシンセティック列を自動的に追加します:

_file、_line、_modifiedという名前は予約済みです。これらの名前のいずれかを持つ列を含むファイルは、スキーマ処理に失敗します。

機密データの処理 ​

SharePointファイルには、PIIや機密性の高い業務情報を含む、あらゆる顧客データを含めることができます。各ファイルのスキーマは顧客が定義するため、Workatoはどの列に機密データが含まれているかを事前に予測できません。

同期前に各オブジェクトのフィールドを確認し、PIIやその他の機密データを含む列には、フィールドレベルのデータ保護でHashオプションを使用してハッシュ化します。詳細については、パイプラインを構成手順を参照してください。

制限事項 ​

Microsoft SharePointをデータパイプラインのソースとして使用する場合、次の制限事項が適用されます:

レシピのコネクションは再利用できない ​

データパイプラインではGraph API (Data-Pipelines only) APIスコープを持つSharePointコネクションが必要であり、このスコープはレシピでは機能しません。パイプライン用に別のコネクションを作成します。詳細については、サポートされているコネクションタイプを参照してください。

入れ子のフォルダはサポートされない ​

パイプラインは、Source Folder pathフィールドで指定したフォルダ内に直接存在するファイルのみを取得します。サブフォルダ内のファイルは同期されません。

CSV、Parquet、Avroファイルのみがサポートされる ​

パイプラインは、Excel、JSON、XML、PDF、画像など、その他のファイル形式からデータを抽出しません。

SharePoint ListsおよびSharePoint Serverはサポートされない ​

データパイプラインは、SharePoint Onlineのドキュメントライブラリからのみファイルを読み取ります。構造化されたSharePoint ListsやSharePoint Server (オンプレミス) デプロイメントはサポートされません。

パイプラインごとのサイトとドキュメントライブラリ ​

各パイプラインは、選択したサイトとドキュメントライブラリから読み取ります。パイプラインは、複数サイトにまたがってファイルを集約したり、テナント内のすべてのファイルを列挙したりすることはありません。

最小同期頻度 ​

サポートされる最小同期間隔は15分です。