Jina - テキストを分割アクション
テキストを分割アクションは、JinaでJina Segmenterを使用してテキストを意味的なチャンクに分割します。
入力
| 入力フィールド | 説明 |
|---|---|
| コンテンツ | 分割するテキストを入力します。最大64,000文字です。 |
| チャンクを返す | 任意。テキストチャンクを返すかどうかをはいまたはいいえから選択します。 |
| チャンクの最大長 | 任意。各チャンクの最大長を入力します。 |
| トークナイザー | 任意。トークンのカウントに使用するトークナイザーを、cl100k_baseやgpt2などから選択します。 |
| トークンを返す | 任意。トークン化された入力を返すかどうかをはいまたはいいえから選択します。 |
| 先頭（トークン） | 任意。先頭のN個のトークンのみを返すには、数値を入力します。この設定を末尾（トークン）と併用しないでください。 |
| 末尾（トークン） | 任意。末尾のN個のトークンのみを返すには、数値を入力します。この設定を先頭（トークン）と併用しないでください。 |
出力
| 出力フィールド | 説明 |
|---|---|
| トークン数 | 入力テキスト内のトークン数。 |
| トークナイザー | 使用されたトークナイザー。 |
| 利用状況 | トークンの利用状況。 |
| トークン（利用状況） | トークン数と一致するトークンの利用状況。 |
| チャンク数 | 返されたチャンクの数。 |
| チャンクの位置 | 各チャンクの開始位置と終了位置を示す文字オフセットの配列。 |
| チャンク | テキストチャンクの配列。チャンクフィールドは、チャンクを返すがはいの場合にのみ使用できます。 |
| トークン | トークン化された入力の配列。トークンフィールドは、トークンを返すがはいの場合にのみ使用できます。 |
最終更新日: