社内文書を探すAIは、導入前に自社の難しい質問3つで試すと会社で決める

社内の文書を探して答えるAIが、いろいろな会社から売り出されています。デモでは上手に答えていても、自社の文書で使うと答えがずれないか、と心配になる方は多いと思います。この記事は、導入の前に何を試すかを、会社としてどう決めるかという話です。

結論は、導入の前に自社の難しい質問を3つ用意し、そのAIが答えられるかを試す、と会社で決めることです。2026年10月時点で、社内文書を探すAIは、質問に似た文章を持ってくるだけの方式が多いです。その方式には苦手な質問があります。試す質問を先に決めておけば、導入してから気づく失敗を減らせます。

似た文章を持ってくる方式とは

この方式は、質問の言葉に近い言葉が書かれた箇所を文書の中から取り出し、その箇所をAIに読ませて答えを作らせます。答えが1か所にそのまま書かれている質問なら、うまく動きます。

たとえば「出張費の精算は何日までに出すか」は、規程の1か所に答えがあります。こうした質問は、デモでもよく使われます。

苦手な質問がある

似た文章を取り出すだけでは、答えに必要な情報が集まらない質問があります。

• 数の大小を比べる質問
• 例として、去年いちばん金額が大きかった契約はどれか、という質問がある
• 契約の金額は文書ごとに別々に書かれていて、全部を並べて比べる必要がある
• 出来事の前後を問う質問
• 例として、規程が変わる前と後で、申請の手順はどう違うか、という質問がある
• 古い版と新しい版の両方を取り出し、どちらが先かを見分ける必要がある
• 複数の事実を組み合わせる質問
• 例として、ある取引先に出した見積もりと、その後のやり取りから、今の状況はどうか、という質問がある
• 答えが複数の文書に分かれていて、1か所を見ても足りない

どの質問も、現場ではよく出ます。数字を集めたい、経緯を知りたい、状況をまとめたい、という場面です。ここが答えられないAIは、使う人が増えるほど不満が出ます。

似ていることと必要なことは別

質問に似た文章と、答えに必要な文章は、同じとは限りません。金額を比べる質問に似ているのは「金額」と書かれた箇所です。しかし答えに必要なのは、全部の契約の金額です。

この違いは、デモでは見えません。デモの質問は、方式が得意なものが選ばれやすいからです。ですから、売る側の質問ではなく、自社の質問で試す必要があります。

試す質問の作り方

試す質問の作り方は、次のとおりです。まず、現場の人に、答えを探すのに手間がかかった質問を出してもらいます。次に、答えが1か所に書かれていない質問を選び、数の大小、出来事の前後、複数の事実の組み合わせのどれかに当たるものを残し、人が先に正しい答えとその根拠の文書を用意します。最後は、質問を3つに絞る作業です。

答えを先に人が用意するのが大事です。AIの答えを見てから正しいかを考えると、もっともらしい答えを正しいと思い込みやすいからです。

試した結果の決め方

試す前に、結果の扱いも会社として決めておきます。決めるのは次の点です。

• 誰が試すか
• 質問を出した現場の人と、導入を決める人の両方が見る
• 何を合格とするか
• 答えが人の用意した答えと合っていて、根拠として出した文書も正しいことを合格にする
• 3つのうち答えられなかったものがあるとき、どうするか
• 導入を見送るか、その質問は人が答える業務として残すかを、導入の前に決める

答えられない質問があっても、導入をやめる理由になるとは限りません。人が答える質問と、AIに任せる質問を分ければ、役に立つ場面は残ります。大事なのは、どの質問が苦手かを知ったうえで、使う範囲を決めることです。

弊社が試すことを勧める理由

弊社の PalAssistant は、社内資料を横断検索できるセキュアな生成AIチャットです。弊社の製品も、他社の製品と同じように、自社の質問で試してから決めてください。社内のAIに何を渡し、何を渡さないかは、生成AIに社内データを読ませる3つの方法と渡してはいけない情報にまとめています。導入の前に会社で決めることの全体は、中小企業が社内AIアシスタントを入れる前に決める3つのことが参考になります。

似ていることと、答えに必要なことは別です。この違いを、導入前に自社の質問3つで確かめると会社で決めれば、買ってから困る事態を避けられます。