Amazon Bedrock Knowledge bases のセマンティックチャンクを試してみる

resource "aws_bedrockagent_data_source" "this" {
  name                 = "${local.prefix}-knowledge-base-datasource"
  knowledge_base_id    = aws_bedrockagent_knowledge_base.this.id
  data_deletion_policy = "DELETE" // "RETAIN"
  data_source_configuration {
    type = "S3"
    s3_configuration {
      bucket_arn = module.datasource.bucket.arn
    }
  }

+  vector_ingestion_configuration {
+    chunking_configuration {
+      chunking_strategy = "SEMANTIC"
+      semantic_chunking_configuration {
+        breakpoint_percentile_threshold = 95
+        buffer_size                     = 0
+        max_token                       = 300
+      }
+    }
+  }
}

Encountered error: File body text exceeds size limit of 1000000 for semantic chunking. [Files: bedrock/bedrock-ug.pdf]. Call to Customer Source did not succeed.

むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました。

ある日、おばあさんが、川のそばで、せっせと洗濯をしていますと、川上から、大きな桃が一つ、「ドンブラコッコ、スッコッコ。ドンブラコッコ、スッコッコ。」と流れて来ました。

「おやおや、これはみごとな桃だこと。おじいさんへのおみやげに、どれどれ、うちへ持って帰りましょう。」

おばあさんは、そう言いながら、腰をかがめて桃を取ろうとしましたが、遠くって手がとどきません。

おばあさんはそこで、「あっちの水は、かあらいぞ。こっちの水は、ああまいぞ。かあらい水は、よけて来い。ああまい水に、よって来い。と歌いながら、手をたたきました。

すると桃はまた、「ドンブラコッコ、スッコッコ。ドンブラコッコ、スッコッコ。」といいながら、おばあさんの前へ流れて来ました。

おばあさんはにこにこしながら、「早くおじいさんと二人で分けて食べましょう。」と言って、桃をひろい上げて、洗濯物といっしょにたらいの中に入れて、えっちら、おっちら、かかえておうちへ帰りました。

夕方になってやっと、おじいさんは山からしばを背負って帰って来ました。

「おばあさん、今帰ったよ。」

「おや、おじいさん、おかいんなさい。待っていましたよ。さあ、早くお上がんなさい。いいものを上げますから。」

「それはありがたいな。何だね、そのいいものというのは。」

こういいながら、おじいさんはわらじをぬいで、上に上がりました。その間に、おばあさんは戸棚の中からさっきの桃を重そうにかかえて来て、「ほら、ごらんなさいこの桃を。」と言いました。

「ほほう、これはこれは。どこからこんなみごとな桃を買って来た。」

「いいえ、買って来たのではありません。今日川で拾って来たのですよ。」

「え、なに、川で拾って来た。それはいよいよめずらしい。」

こうおじいさんは言いながら、桃を両手にのせて、ためつ、すがめつ、ながめていますと、だしぬけに、桃はぽんと中から二つに割れて、

「おぎゃあ、おぎゃあ。」

と勇ましいうぶ声を上げながら、かわいらしい赤さんが元気よくとび出しました。

「おやおや、まあ。」

おじいさんも、おばあさんも、びっくりして、二人いっしょに声を立てました。

「まあまあ、わたしたちが、へいぜい、どうかして子供が一人ひとりほしい、ほしいと言っていたものだから、きっと神さまがこの子をさずけて下さったにちがいない。」

おじいさんも、おばあさんも、うれしがって、こう言いました。

そこであわてておじいさんがお湯をわかすやら、おばあさんがむつきをそろえるやら、大さわぎをして、赤さんを抱き上あげて、うぶ湯をつかわせました。するといきなり、

「うん。」

と言いいながら、さんは抱いているおばあさんの手をはねのけました。

「おやおや、何という元気のいい子だろう。」

おじいさんとおばあさんは、こう言って顔を見合わせながら、「あッは、あッは。」とおもしろそうに笑いました。

そして桃の中から生まれた子だというので、この子に桃太郎という名をつけました。

むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました。

ある日、おばあさんが、川のそばで、せっせと洗濯をしていますと、川上から、大きな桃が一つ、「ドンブラコッコ、スッコッコ。ドンブラコッコ、スッコッコ。」と流れて来ました。

「おやおや、これはみごとな桃だこと。おじいさんへのおみやげに、どれどれ、うちへ持って帰りましょう。」

おばあさんは、そう言いながら、腰をかがめて桃を取ろうとしましたが、遠くって手がとどきません。

おばあさんはそこで、「あっちの水は、かあらいぞ。こっちの水は、ああまいぞ。かあらい水は、よけて来い。ああまい水に、よって来い。と歌いながら、手をたたきました。

すると桃はまた、「ドンブラコッコ、スッコッコ。ドンブラコッコ、スッコッコ。」といいながら、おばあさんの前へ流れて来ました。

おばあさんはにこにこしながら、「早くおじいさんと二人で分けて食べましょう。」と言って、桃をひろい上げて、洗濯物といっしょにたらいの中に入れて、えっちら、おっちら、かかえておうちへ帰りました。

夕方になってやっと、おじいさんは山からしばを背負って帰って来ました。

「おばあさん、今帰ったよ。」

「おや、おじいさん、おかいんなさい。待っていましたよ。

さあ、早くお上がんなさい。いいものを上げますから。」

「それはありがたいな。何だね、そのいいものというのは。」

こういいながら、おじいさんはわらじをぬいで、上に上がりました。その間に、おばあさんは戸棚の中からさっきの桃を重そうにかかえて来て、「ほら、ごらんなさいこの桃を。」と言いました。

「ほほう、これはこれは。どこからこんなみごとな桃を買って来た。」

「いいえ、買って来たのではありません。今日川で拾って来たのですよ。」

「え、なに、川で拾って来た。それはいよいよめずらしい。」

こうおじいさんは言いながら、桃を両手にのせて、ためつ、すがめつ、ながめていますと、だしぬけに、桃はぽんと中から二つに割れて、

「おぎゃあ、おぎゃあ。」

と勇ましいうぶ声を上げながら、かわいらしい赤さんが元気よくとび出しました。

「おやおや、まあ。」

おじいさんも、おばあさんも、びっくりして、二人いっしょに声を立てました。

「まあまあ、わたしたちが、へいぜい、どうかして子供が一人ひとりほしい、ほしいと言っていたものだから、きっと神さまがこの子をさずけて下さったにちがいない。」

おじいさんも、おばあさんも、うれしがって、こう言いました。

そこであわてておじいさんがお湯をわかすやら、おばあさんがむつきをそろえるやら、大さわぎをして、赤さんを抱き上あげて、うぶ湯をつかわせました。するといきなり、

「うん。」

と言いいながら、さんは抱いているおばあさんの手をはねのけました。

「おやおや、何という元気のいい子だろう。」

おじいさんとおばあさんは、こう言って顔を見合わせながら、「あッは、あッは。」とおもしろそうに笑いました。

そして桃の中から生まれた子だというので、この子に桃太郎という名をつけました。

引用：[楠山正雄 桃太郎](https://www.aozora.gr.jp/cards/000329/files/18376_12100.html)

むかし、むかし、あるところに、おじいさんとおばあさんがありましたまいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました

ある日、おばあさんが、川のそばで、せっせと洗濯をしていますと、川上から、大きな桃が一つ、「ドンブラコッコ、スッコッコドンブラコッコ、スッコッコ」と流れて来ました

「おやおや、これはみごとな桃だことおじいさんへのおみやげに、どれどれ、うちへ持って帰りましょう」

おばあさんは、そう言いながら、腰をかがめて桃を取ろうとしましたが、遠くって手がとどきません

おばあさんはそこで、「あっちの水は、かあらいぞこっちの水は、ああまいぞかあらい水は、よけて来いああまい水に、よって来いと歌いながら、手をたたきました

すると桃はまた、「ドンブラコッコ、スッコッコドンブラコッコ、スッコッコ」といいながら、おばあさんの前へ流れて来ました

おばあさんはにこにこしながら、「早くおじいさんと二人で分けて食べましょう」と言って、桃をひろい上げて、洗濯物といっしょにたらいの中に入れて、えっちら、おっちら、かかえておうちへ帰りました

夕方になってやっと、おじいさんは山からしばを背負って帰って来ました

「おばあさん、今帰ったよ」

「おや、おじいさん、おかいんなさい待っていましたよさあ、早くお上がんなさいいいものを上げますから」

「それはありがたいな何だね、そのいいものというのは」

こういいながら、おじいさんはわらじをぬいで、上に上がりましたその間に、おばあさんは戸棚の中からさっきの桃を重そうにかかえて来て、「ほら、ごらんなさいこの桃を」と言いました

「ほほう、これはこれはどこからこんなみごとな桃を買って来た」

「いいえ、買って来たのではありません今日川で拾って来たのですよ」

「え、なに、川で拾って来たそれはいよいよめずらしい」

こうおじいさんは言いながら、桃を両手にのせて、ためつ、すがめつ、ながめていますと、だしぬけに、桃はぽんと中から二つに割れて、

「おぎゃあ、おぎゃあ」

と勇ましいうぶ声を上げながら、かわいらしい赤さんが元気よくとび出しました

「おやおや、まあ」

おじいさんも、おばあさんも、びっくりして、二人いっしょに声を立てました

「まあまあ、わたしたちが、へいぜい、どうかして子供が一人ひとりほしい、ほしいと言っていたものだから、きっと神さまがこの子をさずけて下さったにちがいない」

おじいさんも、おばあさんも、うれしがって、こう言いました

そこであわてておじいさんがお湯をわかすやら、おばあさんがむつきをそろえるやら、大さわぎをして、赤さんを抱き上あげて、うぶ湯をつかわせましたするといきなり、

「うん」

と言いいながら、さんは抱いているおばあさんの手をはねのけました

「おやおや、何という元気のいい子だろう」

おじいさんとおばあさんは、こう言って顔を見合わせながら、「あッは、あッは」とおもしろそうに笑いました

そして桃の中から生まれた子だというので、この子に桃太郎という名をつけました

引用：[楠山正雄 桃太郎](https://www.aozora.gr.jp/cards/000329/files/18376_12100.html)

{
	"schemaType": "ModelInvocationLog",
	"schemaVersion": "1.0",
	"timestamp": "2024-09-08T08:52:32Z",
	"accountId": "123456789012",
	"identity": {
		"arn": "arn:aws:sts::123456789012:assumed-role/smntc-chnkng-kb-role/PMMIDRHPFE-TextSplitterTask-61f77d4a-a31e-42c9-8ed2-9cfea85ff09"
	},
	"region": "us-west-2",
	"requestId": "9f1b3b9c-3604-4993-922d-5887875632fb",
	"operation": "InvokeModel",
	"modelId": "arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-embed-text-v2:0",
	"input": {
		"inputContentType": "application/json",
		"inputBodyJson": {
			"inputText": "むかし、むかし、あるところに、おじいさんとおばあさんがありましたまいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました\n\nある日、おばあさんが、川のそばで、せっせと洗濯をしていますと、川上から、大きな桃が一つ、「ドンブラコッコ、スッコッコドンブラコッコ、スッコッコ」と流れて来ました\n\n「おやおや、これはみごとな桃だことおじいさんへのおみやげに、どれどれ、うちへ持って帰りましょう」\n\nおばあさんは、そう言いながら、腰をかがめて桃を取ろうとしましたが、遠くって手がとどきません\n\nおばあさんはそこで、「あっちの水は、かあらいぞこっちの水は、ああまいぞかあらい水は、よけて来いああまい水に、よって来いと歌いながら、手をたたきました\n\nすると桃はまた、「ドンブラコッコ、スッコッコドンブラコッコ、スッコッコ」といいながら、おばあさんの前へ流れて来ました\n\nおばあさんはにこにこしながら、「早くおじいさんと二人で分けて食べましょう」と言って、桃をひろい上げて、洗濯物といっしょにたらいの中に入れて、えっちら、おっちら、かかえておうちへ帰りました\n\n夕方になってやっと、おじいさんは山からしばを背負って帰って来ました\n\n「おばあさん、今帰ったよ」\n\n「おや、おじいさん、おかいんなさい待っていましたよさあ、早くお上がんなさいいいものを上げますから」\n\n「それはありがたいな何だね、そのいいものというのは」\n\nこういいながら、おじいさんはわらじをぬいで、上に上がりましたその間に、おばあさんは戸棚の中からさっきの桃を重そうにかかえて来て、「ほら、ごらんなさいこの桃を」と言いました\n\n「ほほう、これはこれはどこからこんなみごとな桃を買って来た」\n\n「いいえ、買って来たのではありません今日川で拾って来たのですよ」\n\n「え、なに、川で拾って来たそれはいよいよめずらしい」\n\nこうおじいさんは言いながら、桃を両手にのせて、ためつ、すがめつ、ながめていますと、だしぬけに、桃はぽんと中から二つに割れて、\n\n「おぎゃあ、おぎゃあ」\n\nと勇ましいうぶ声を上げながら、かわいらしい赤さんが元気よくとび出しました\n\n「おやおや、まあ」\n\nおじいさんも、おばあさんも、びっくりして、二人いっしょに声を立てました\n\n「まあまあ、わたしたちが、へいぜい、どうかして子供が一人ひとりほしい、ほしいと言っていたものだから、きっと神さまがこの子をさずけて下さったにちがいない」\n\nおじいさんも、おばあさんも、うれしがって、こう言いました\n\nそこであわてておじいさんがお湯をわかすやら、おばあさんがむつきをそろえるやら、大さわぎをして、赤さんを抱き上あげて、うぶ湯をつかわせましたするといきなり、\n\n「うん」\n\nと言いいながら、さんは抱いているおばあさんの手をはねのけました\n\n「おやおや、何という元気のいい子だろう」\n\nおじいさんとおばあさんは、こう言って顔を見合わせながら、「あッは、あッは」とおもしろそうに笑いました\n\nそして桃の中から生まれた子だというので、この子に桃太郎という名をつけました\n\n引用：[楠山正雄 桃太郎](https://www.aozora.gr.jp/cards/000329/files/18376_12100.html)",
			"dimensions": 1024
		},
		"inputTokenCount": 1256
	},
	"output": {
		"outputContentType": "application/json",
		"outputBodyJson": {
			"embedding": [-0.009575531, -0.0033763358],
			"inputTextTokenCount": 1256
		}
	}
}