On-prem file trigger - フォルダ内の新規 CSV ファイル

1. 動作の仕組み

このトリガーはオンプレミスの1つのフォルダを監視します。ユーザーが定義したスケジュールに基づいて、このトリガーは、そのフォルダ内に新しい CSV ファイルがあるかどうかをチェックします。そして、その CSV ファイルを読み取り、ファイルのメタデータと CSV 行を出力します。

このトリガーは、あるオンプレミスフォルダへ CSV ファイルを頻繁に追加する場合に使用するとよいでしょう。そのようなファイルの例としては、毎週の販売レポートや、他のシステムからの毎日のデータダンプなどが挙げられます。このトリガーを使って構築できるレシピとしては、そうしたファイルを読み取り、他のシステム (Salesforce や各種データベースなど) にレコードをインポートするものなどが考えられます。

重要な注意点:

• このトリガーは バッチ処理 をサポートしています。バッチ処理を用いると、膨大な量のデータをより短時間で処理することができます。

• このトリガーはファイルを処理するたびに、 そのファイル名を変更 して末尾に processing というテキストを追加します。これは、このトリガーが次回実行時に同じファイルを再取得してしまうのを防ぎ、フォルダ内の新しいファイルのみを取得するようにするためです。

ファイルの処理時にトリガーがファイル名を変更

2. 入力項目

このトリガーを機能させるには、以下の4つのセクションを設定する必要があります。

1. スケジュール設定
2. フォルダ設定
3. CSV 設定
4. バッチサイズ

2.1スケジュール設定

これを設定することで、オンプレミスフォルダ内の新しい CSV ファイルをチェックする頻度をトリガーに指示します。スケジュールの設定は、 間隔 と 日時 という2通りの方式で行えます。

間隔 を使用する場合は、一定時間後にチェックを実行するという指示をトリガーに与えることになります。

日時 を使用する場合は、毎日の特定の時刻にチェックを実行するという指示をトリガーに与えることになります。

オプションとして、トリガーを実行する曜日を選択することもできます。これを追加するにはフォーム下部にある Add/remove optional fields を使用してください。

2.2フォルダ設定

これを設定することで、どのオンプレミスフォルダの新しい CSV ファイルをトリガーが監視するか指定します。

オプションとして、トリガーが特定の名前のファイルだけを取得するように命名パターンを定義することもできます。この入力項目を有効化するには、フォーム下部にある Add/remove optional fields を使用してください。

2.3 CSV 設定

これを設定することで、トリガーが CSV ファイルの構造を理解できるようにします。迅速かつ正確な設定のために、サンプルの CSV ファイルをアップロードすることを推奨します。

2.4バッチサイズ

最後に、バッチサイズを設定します。バッチサイズはトリガーが同時に処理する CSV 行の数を決定します。バッチ処理の詳細については、こちら を参照してください。

これは CSV ファイルのデータを Salesforce や各種データベースといった他のアプリにインポートしたいときに便利です。バッチサイズを大きくすると、このデータインポートのスピードが上がります。

しかし、アプリの API には多くの場合、一度に受信できるデータ量の上限があります。そのため、さまざまなバッチサイズを試してみたり、アプリの API 制限を確認したりして、自分にとっての最適な設定を見つけるようにしてください。

3. 出力

このトリガーの出力は以下のようになります。

出力ピル	説明
CSV Rows	この出力ピル CSV Rows は、CSV ファイルに含まれる行のリストを表します。このピルを リピートステップ と併せて使用すると、CSV ファイルに含まれるすべての行をループ処理できます。 このピルを展開すると、CSV ファイルに含まれるすべての列が表示されます。これらの列はマッピングに利用できます。
File path (original)	トリガーがこのファイルを処理する 前の ファイルパス 例: C:/Program Files/sales_report.csv
File path (processed)	ファイルを処理する際、このトリガーはファイル名を変更し、processing としてマークします。この出力はトリガーがファイルを処理した 後の ファイルパスです。 例: C:/Program Files/sales_report.csv.1526632883663.processing
File name (processed)	ファイルを処理する際、このトリガーはファイル名を変更し、processing としてマークします。この出力はトリガーがファイルを処理した 後の ファイル名です。 例: sales_report.csv.1526632883663.processing
File size (bytes)	ファイルサイズ (バイト単位)。
Created time	ファイルが作成された日時。
Last modified time	ファイルが最後に変更された日時。
バッチサイズ	入力で設定した バッチ サイズ。
バッチ番号	このトリガーは、CSV 行を複数のバッチに分割してから、それぞれのバッチをジョブに割り当てて処理します。Batch number は、ジョブが処理中のバッチの ID を表します。ジョブレポート でデバッグを行う必要がある場合に便利です。 バッチ処理の詳細については、こちら を参照してください。
First batch	これが最初のバッチである場合は True となります。そうでなければ False となります。ジョブレポート でデバッグを行う必要がある場合に便利です。
Last batch	これが最後のバッチである場合は True となります。そうでなければ False となります。ジョブレポート でデバッグを行う必要がある場合に便利です。