社内の規程やマニュアルをAIに読み込ませて検索できるようにしたい。
そう考えてベンダーや情報システム部門に相談したところ、「回答の精度はチャンキング次第です」と説明され、何を指しているのか分からず戸惑っていませんか。
生成AIを社内文書の検索に使う動きがこの数年で広がり、AIが規程や議事録から回答を作る仕組み自体は珍しくなくなりました。
ただし文書をどう分割してAIに渡すかという設計は、ツールを導入するだけでは決まらず、社内で判断が必要な工程として残っています。
この記事では、社内文書のAI検索を設計する際に使う判定基準をもとに、チャンキングの基本的な仕組みと、マニュアル・規程・議事録といった文書タイプ別の分割の向き不向きを整理しています。
チャンキングとは？RAGにおける文書分割の役割
チャンキング（chunking）とは、AIに読み込ませる文章を、検索や回答生成に適した小さなまとまりに分割する処理です。
社内の規程集やマニュアルは数十ページに及ぶことがあり、AIはその全体を毎回読んで答えを探しているわけではありません。
あらかじめ文章を意味のあるまとまりに区切っておき、質問に近い区切り（チャンク）だけを探し出して回答の材料にする、という手順を踏んでいます。
Chunking is the process of breaking down large text into smaller segments called chunks. It's an essential preprocessing technique that helps optimize the relevance of the content ultimately stored in a vector database.
（訳）チャンキングとは、大きなテキストを「チャンク」と呼ばれる小さな単位に分割する処理であり、最終的にベクトルデータベースに格納されるコンテンツの関連性を最適化するために欠かせない前処理技術である。
出典： Pinecone「Chunking Strategies for LLM Applications」
RAG（Retrieval-Augmented Generation：検索拡張生成）は、この『区切りの中から質問に近いものを探し、その内容をもとにAIが回答を作る』仕組みそのものを指す用語です。
チャンキングはRAGの前工程にあたり、区切り方が悪いと検索の時点で必要な情報が見つからなかったり、条文の途中で区切られて意味が欠けたまま回答に使われたりします。
逆に言えば、AIモデル自体を入れ替えなくても、区切り方を見直すだけで回答の精度が上がる場面は少なくありません。
ベンダーが「チャンキング次第です」と説明するのは、AIモデルの性能そのものよりも、この前工程の設計が回答品質のボトルネックになりやすいためです。
チャンキングと組み合わせて使われるRAGの仕組み自体は、次の記事で詳しく整理しています。
チャンキングの主な分割方法にはどんな種類があるか？
分割方法は、機械的に区切るものと、文書の意味や構造を読み取って区切るものに大きく分かれ、どちらを選ぶかで検索がヒットする範囲や条文・手順の意味の保たれ方が変わります。
代表的な4つの方法の特徴は次のとおりです。
| 分割方法 | 区切り方 | 向いている場面 | 弱点 |
|---|---|---|---|
| 固定長分割 | あらかじめ決めた文字数で機械的に区切る | 構造が単純な文書。まず試す場合 | 文や条文の途中で切れることがある |
| 文・段落単位分割 | 句点や改行など自然な区切りで分ける | 通常の文章で構成された文書 | 段落が長いとチャンクが大きくなりすぎる |
| 構造認識型分割 | 見出し・箇条書き・表などの構造を読み取って区切る | 見出しが整理されたマニュアルや規程 | 見出し構造が崩れている文書には使いにくい |
| セマンティック分割 | 文の意味やテーマの変わり目で区切る | 話題が変わりやすい議事録や自由記述 | 処理の手間が増え、区切り位置の検証が必要 |
固定長分割は実装が簡単なため最初に採用されやすい方法ですが、条文や手順の途中で機械的に切れてしまう弱点があり、この弱点を補うためにチャンク同士の一部を重複させて前後の文脈を残す運用も広く行われています。
一方、構造認識型分割とセマンティック分割は、見出しや意味のまとまりを踏まえて区切るため精度は上がりやすいものの、対象文書の構造が整理されていることが前提です。
チャンクサイズを大きくするか小さくするかも、この段階で決める設計判断です。
チャンクを大きくすると1つの区切りに含まれる情報量は増えますが、質問と関係のない話題まで一緒に検索へ引っかかりやすくなります。
逆にチャンクを小さくすると、質問に近い部分だけを的確に拾いやすくなる一方で、前後の文脈が失われやすくなります。
どちらか一方が常に正しいわけではないため、文書の性質に合わせてサイズと重複幅を調整するのが実務上の設計です。
チャンクサイズの上限がそもそもどこから来るのかは、AIモデルが一度に読める文字量の話であり、次の記事で詳しく整理しています。
文書タイプ別に見るチャンキングの向き不向きとは？
分割方法の向き不向きは、文書の種類によって変わります。
同じ「社内文書」でも、見出し構造の有無、条文としての独立性、話し言葉かどうかによって、最適な区切り方が違うためです。
以下では、社内文書として代表的な3種類について、向いている分割方法とつまずきやすい点を見ていきます。
分割の設定作業自体はベンダーに任せる場合でも、この向き不向きを知っておくと、自社の文書に合った設計かどうかを打ち合わせの場で確認できるようになります。
マニュアル・手順書のチャンキング
マニュアルや手順書は見出しと手順番号で構成されていることが多く、構造認識型分割との相性が良い文書です。
見出し単位でチャンクを作れば、Step1からStep3までの一連の手順がひとまとまりとして扱われ、途中の手順だけを切り離して誤った回答を作るリスクを抑えられます。
向かない分割は固定長分割です。
文字数で機械的に区切ると「Step2の途中」と「Step3の冒頭」が別のチャンクに分かれてしまい、AIが片方の手順だけを根拠に回答することがあります。
実際に手順書をAI検索の対象にする際は、Stepの区切りをチャンクの境界に合わせる設計が実務上の起点になります。
就業規程・社内規則のチャンキング
就業規程や社内規則は、条文単位で意味が完結している文書です。
第何条という単位がそのまま独立した意味のまとまりになっているため、条文単位で区切る構造認識型分割が基本になります。
向かない分割はセマンティック分割です。
規程は同じような言い回しの条文が並ぶ文書です。
そのため意味の類似度で区切ろうとすると、本来別々の条文であるものが一つのチャンクにまとめられ、金額や期限といった重要な数値が別の条文の内容と混ざって回答される恐れがあります。
また規程は改定が発生する文書でもあり、旧条文のチャンクが残ったままだと改定前の内容で回答してしまう失敗が典型的です。
条文単位で区切ったうえで、改定時にはチャンクごと入れ替える運用をセットで設計する必要があります。
議事録・会議録のチャンキング
議事録や会議録は、発言の順序に沿って話題が移り変わる話し言葉主体の文書です。
見出しが議題名程度しかないことが多く、構造認識型分割だけでは議題の途中で話題が変わった部分を区切り切れません。
このため、発言のまとまりや話題の変化点を読み取るセマンティック分割との相性が比較的良い文書です。
向かない分割は固定長分割です。
文字数で機械的に切ると、ある議題についての結論部分だけが別のチャンクに分かれ、「何が決まったか」を聞かれたときに前提抜きの回答になることがあります。
議事録を検索対象にする場合は、発言単位よりも議題単位でチャンクをまとめる設計を目安にすると失敗しにくくなります。
自社の規程やマニュアルをAI検索の対象にする際にどこから手をつければよいか判断に迷う場合は、 個別相談 で文書の棚卸しから一緒に整理するご相談も可能です。
チャンキング設計でよくある失敗パターンとは？
チャンキングの失敗は、区切り方そのものよりも運用の抜け漏れから起きることが多くあります。
ここでは、文書タイプを問わず共通して起きやすい失敗パターンを整理します。
- チャンクを大きく取りすぎて、1つのチャンクに複数の話題が混在し、質問と無関係な情報まで回答に混ざり込む
- チャンクを小さく刻みすぎて、文脈が失われ、条文や手順の一部だけを根拠にした断片的な回答になる
- チャンクの境界をまたぐ内容に重複（オーバーラップ）を設定しておらず、どちらのチャンクにも十分な文脈が残らないまま欠落する
- 旧版の文書を棚卸しせずに登録してしまい、改定前の規程や旧手順のチャンクが残って古い内容を根拠にした回答が発生し続ける
- 表や箇条書きの途中で区切ってしまい、表の見出し行と数値行が別のチャンクに分かれて数値の意味が読み取れなくなる
これらの多くは、分割方法の選択そのものより、文書を登録する前の棚卸しと、区切り位置の事前確認で防げる失敗です。
特に旧版の混在は、規程のように改定が発生する文書で繰り返し起きやすいため、更新の運用ルールとセットで設計しておく必要があります。
失敗に気づく手段としては、実際に使う社内チャットや検索窓口を全社に開放する前に、社内で頻繁に聞かれる質問をあらかじめ書き出して試す方法が現実的です。
用意した質問をひとつずつ入力し、根拠として示されたページや条文が正しいか、途中で意味が切れていないかを確認する作業です。
この段階で誤りが出た質問は、チャンクの区切り位置か重複幅のどちらに原因があるかを切り分けたうえで調整します。
全体を一括で登録する前に文書タイプごとの設定を固めておくと、後から作業をやり直す手戻りを避けやすくなります。
こうした失敗を防ぎながら社内のナレッジベースをゼロから構築する手順は、次の記事を参照してください。
自社文書のチャンキングをどう進めればよいか？
チャンキングの設計は、全文書をいきなり対象にはせず、まず文書を種類ごとに仕分けてから段階的に進めるのが実務的な流れです。
まず対象文書をマニュアル・規程・議事録のように種類ごとに仕分け、種類ごとに向いている分割方法を当てはめたうえで、頻出する質問で回答の精度を確認する、という順序を踏みます。
着手の順序として先に手をつけやすいのは規程類です。
というのも、条文単位で意味が完結しているため区切りの設計がしやすく、「出張費の上限はいくらか」のような答え合わせのしやすい質問で精度を確かめられるためです。
一方、議事録のように話題の区切りがあいまいな文書は分割の調整に時間がかかりやすく、規程やマニュアルで精度確認の進め方に慣れてから対象に加える方が手戻りを抑えられます。
このように、文書の棚卸しと種類分けを先に済ませておくと、分割方法の選択やチャンクサイズの調整も種類ごとに判断しやすくなります。
逆に文書の種類分けをせず全文書をまとめて登録すると、規程には向いていない分割方法が議事録にも一律で適用され、どちらの精度も中途半端になりやすい点には注意が必要です。
社内文書が個人フォルダやツールのあちこちに散在した状態から、文書の棚卸しとAI検索の導入までを整理した想定ケースを、次のモデルケースにまとめています。
『回答精度はチャンキング次第』という説明の意味を理解したうえで、自社の文書の仕分けから進めたい方へ
「規程・マニュアルが複数のツールや個人フォルダに散在している」「AI検索を導入したいが、どの文書から着手すべきか分からない」「ベンダーの説明用語が専門的で判断材料に落とし込めない」
少しでもお心当たりがあれば、お気軽にご相談ください。
現在、AI業務自動化に関するお悩みをお伺いする 無料の個別相談 を実施しています。
よくある質問
Q. 文書量がそれほど多くない会社でも、チャンキングは必要ですか？
はい、文書の総量が少なくても、1つの文書が長ければチャンキングは必要です。
判断の目安は総量ではなく、1つの文書が複数の話題や条文を含んでいるかどうかです。
数ページ程度のマニュアルであっても、手順ごとに区切って登録した方が回答の精度は安定します。
Q. チャンクを重複させる範囲（オーバーラップ）はどのくらいが目安ですか？
オーバーラップの割合に、文書の種類を問わない一律の正解はありません。
条文単位で完結する規程は重複を最小限にしやすく、議題が連続する議事録は重複をやや厚めに取る判断がされることがあります。
自社の文書で試験的に登録し、頻出質問への回答を確認しながらベンダーと調整するのが実務的な進め方です。
Q. チャンキングの設計は自社でもできますか、それとも外部に依頼すべきですか？
文書を種類ごとに仕分け、向いている分割方法を当てはめるところまでは自社でも判断できます。
一方で、既存のAI検索ツールの設定でチャンクサイズや重複幅を細かく調整する作業は、ツールごとに仕様が異なるため専門的な知識が必要になる場合があります。
文書の仕分けは自社で進め、設定の細部は導入するツールのベンダーと確認しながら進める分担が現実的です。
Q. 規程が改定されたら、すでにチャンク化した検索用データはどうなりますか？
改定前のチャンクを削除または入れ替えないと、AIが旧条文を根拠に回答を続けてしまいます。
規程改定のタイミングでチャンクごと更新する運用をあらかじめ決めておくことが、古い内容での誤答を防ぐ対策になります。
更新担当者を明確にし、改定の都度チャンクの入れ替えをセットで行う運用ルールを持つことが実務上の目安です。
