テクノロジー

AIチャットボット開発で、実際の運用で困る理由。自社でRAGボットを作って分かった本番の設計

ChatGPTのAPIをつなげば、チャット画面は半日で動きます。入力欄があって、送信すると答えが返ってくる——それだけで社内では「すごい」となります。

ところが数日後、自社の料金表を読ませてみたり、お客様のサイトの右下に貼ってみたりすると、「分からないことは、分からないと言ってほしい」と、急に不安になってきます。

私たちアストラルコードは、企業のウェブサイトに埋め込めるAIチャットボットを自社で開発しています。お客様からの質問に、会社の資料をもとに答え、出典を出す仕組みです。

別の記事で書いたループエンジニアリングは、この開発を毎日どう進めるかという「仕組み」についての話でした。今回は、その仕組みを使って実際に何を作っているのか、という中身の話です。

この記事では、AIチャットボット開発で本当に時間がかかる場所を、できるだけかみくだいてお伝えします。エンジニアでなくても、「うちが作るなら、どこまでが必要か」を判断できることを目指しています。

AIチャットボット開発で、まず作ってしまうものと、本番で足りないもの

AIチャットボット開発と検索すると、よく出てくる構成はシンプルです。

  • 画面に入力欄を置きます
  • 裏側でChatGPTなどのAPIを呼びます
  • 返ってきた文章を表示します

これで、会話しているように見えます。デモとしては十分ですが、会社のサイトでお客様に触ってもらう段階になると、足りないものが一気に顔を出します。

  • その答えは、自社の資料に書いてあることなのか
  • お客様のサイトの片隅で、他のページを壊さずに動くのか
  • 答えられなかった質問は、次の改善につながるのか

「答える機械」は半日で動きます。本番のAIチャットボット開発は、答えたあとが本体です。

私たちが作っているものは何か

私たちが作っているのは、ChatGPTのコピーではありません。

お客様が会社のサイトを開いたとき、右下などに小さな窓口が出ます。そこに質問を書くと、その会社の資料やよくある質問をもとに答えます。必要なら、どの資料のどのあたりを見たかも添え、分からなければ担当者へつなぎ、見積や問い合わせに進める案内も出せます。

一言でいうと、サイトに常駐する、根拠つきの案内係です。

全体は、次の5つの層に分けて考えられます。上の層ほどデモに近く、下の層ほど本番に近い内容になります。

  1. 答える(LLM)
  2. 根拠を持たせる(資料の検索)
  3. 出典を届ける
  4. サイトに埋め込む
  5. 答えられなかった質問を、次の改善に回す

以下、この順で見ていきます。

AIチャットボット開発の5層

第1層:答える(LLM)

いちばん簡単な層です。いまの生成AIはそれっぽい日本語を返すのが得意なので、ここで「できた」と思いやすくなります。

ただし、この層だけだと答えの出所はモデルの記憶です。料金、在庫、制度、営業時間のように昨日変わったかもしれない情報には向かず、うまく見えるほど間違えたときの印象が強くなります。

AIチャットボット開発の出発点ではあっても、到着点ではありません。

第2層:根拠を持たせる(RAG・ナレッジ)

本番に進むには、先に資料を探す必要があります。会社のPDF、よくある質問、商品の案内です。そこから関係しそうな箇所を取り出し、その範囲で答えてもらう——このやり方はよくRAGと呼ばれます。難しい言葉に聞こえますが、やっていることは「カンニングペーパーを渡してから書かせる」ことです。

ポイントは2つです。

  • 入れる資料の質が、そのまま答えの質になります。古い料金表が残っていれば、古い料金を自信満々で案内してしまいます
  • 「知らないことは言わない」を先に決めておきます。資料に無いことは推測で埋めず、窓口へ案内します

私たちも、ボットごとに話し方や回答ルールを運用者が書けるようにしています。ただ、性格を決めるより先に必要なのは、何を見て答えるかです。

第3層:出典を届ける

根拠を持たせても、画面に出典がなければ、お客様から見るとただの自信です。

開発の途中で、私たち自身がこれをやりかけていました。裏側では「どの資料を見たか」まで出ていたのに、サイトに貼る側のプログラムが本文だけを渡し、出典を捨てていたのです。サーバーの中にはあっても、お客様の目の前には出ていませんでした。

AIチャットボット開発で見落としやすいのは、回答を生成することより、それを画面まで正しく届けることです。出典、案内のボタン、エラーの言葉——作ったつもりでも、途中の工程がひとつ抜けていると、存在しないのと同じになります。

出典があることで、初めて次の約束が守れます。

  • 根拠のないことは、断定しません
  • あとから「なぜそう答えたか」を辿れます
  • お客様が、自分で資料の該当箇所を確認できます

信頼が選ばれる理由になる場面ほど、この層が本体です。

第4層:サイトに埋め込む

管理画面の中で動くことと、お客様のサイトの片隅で動くことは、別の仕事です。

見た目は「スクリプトを1行貼るだけ」ですが、裏側は二層になっています。お客様のページの上に小さな窓口を出し、実際の会話画面は別の枠の中で動かす——ページ本体とチャットが直接混ざらないようにするためです。

ここで初めて、デモでは起きない問題が出てきます。

  • その会社のサイト以外からは動かないようにします
  • チャットの文章に、危ない仕掛けを仕込めないようにします
  • スマホでも、元のページの操作を邪魔しすぎないようにします
  • 答えが長いときに、途中まで出して待たせすぎないようにします

社内のテスト画面では完璧に見えても、お客様のサイトに貼った瞬間に崩れることがあります。AIチャットボット開発の見積で「画面はできている」と「公開できる」が分かれやすいのも、ここです。

第5層:答えられなかった質問を、次の改善に回す

公開して終わり、ではありません。お客様は資料に書いていない聞き方をしますし、同じことを毎回ちがう言葉で聞いてきます。

私たちが力を入れているのは、この流れです。

  • 答えられなかった質問を集めます
  • なぜ答えられなかったかを見ます(資料が無い、表現が違う、範囲外など)
  • よくあるものは、よくある質問として足します
  • 担当者が「今週やること」として見えるようにします

これができると、チャットボットは置いたままの設置物ではなく、問い合わせをもとに改善を続ける仕組みになります。先の記事で書いたループエンジニアリングは開発側の回し方でしたが、お客様向けのボットにも同じ構造が要ります。止まってよい条件に達するまで、自分で次にやるべきことを見つけてくることです。

デモでは見えない、本番だけの仕事

5層の周りには、デモでは見えない仕事があります。判断に効く3点だけに絞ります。

信頼。根拠のない回答は出さず、分からなければ人に渡し、会話の途中では見積や問い合わせにも進めます。チャットは「話す場所」ではなく、次の行動まで含めた窓口です。

安全。複数の会社のボットを同じ仕組みで動かすなら、A社の資料がB社の答えに混ざってはいけません。埋め込みはお客様のサイトの中で動くため、穴があるとページ側に影響します。派手な機能より先に、混ざらないこと、漏れないことが重要です。

継続。テストと本番を分け、使いすぎたら止める仕組みが必要です。料金が実際の利用とずれると、運用が続きません。デモの「動いた」と、本番の「今月も回っている」は別の達成です。

自社開発・SaaS・受託、どれを選ぶか

AIチャットボット開発を調べている時点で、選択肢はだいたい3つです。

  • SaaSを使う:早く置けますが、自社の案内の言い回しや出典の出し方、改善の回し方を細かく持てないことが多いです
  • 自社で作る:5層すべてを自分たちで設計できる代わりに、デモの翌日からの仕事も自分たちのものになります
  • 開発を頼む:自社の資料と業務に合わせて、どこまで持つかを一緒に決められます

分岐は、ツールの好みではありません。第3層から第5層を、自前の強みとして持つかどうかです。第1層だけなら、いまとなってはどこでも手に入ります。出典を届けること、サイトに埋め込むこと、答えられなかった質問を翌週のFAQにすること――ここまで含めて「開発」と呼ぶかどうかで、期間も費用も、できたあとの手触りも変わります。

最初から全部を作る必要はありません。社内の資料で答えられる範囲から始めてサイトに出し、答えられなかった質問だけを毎週足していけば、小さく始められます。

まとめ:磨くべきはモデルではなく、届ける設計

AIチャットボット開発で、デモの翌日に詰まる理由は、モデルが足りないからではありません。

答える層は、もう十分に賢いのです。足りないのは、根拠を持たせること、出典を届けること、サイトの片隅で安全に動かすこと、答えられなかった質問を次に回すこと——その4つです。

私たちが自社でやっていることも、分解するとそこに尽きます。資料を渡してから書かせること。作った出典を、画面の直前で捨てないこと。貼る先のページを尊重すること。分からなかった質問を、翌週の宿題にすること。

モデルを乗り換えるより、届ける設計を先に書く——それが、デモで終わらないAIチャットボット開発だと思っています。

本格的にAI活用したい方へ:相談・導入サポートも承ります

AIチャットボット開発を、「デモで終わらせたくない」「自社の資料で、サイト上の案内まで一気通貫したい」。そんな企業様へ。

私たちアストラルコードは、法人のお客様向けに生成AIを活用した業務DXツールや社内システムの開発支援を行っています。単なるツール提供ではなく、業務課題にフィットした設計・実装・改善提案まで一気通貫でサポート可能です。

今回ご紹介した出典・埋め込み・改善の回し方も、問い合わせ対応やFAQ、見積前の案内など、お客様と話す現場に組み込めます。

対応可能なニーズ(一例)

  • 自社専用のAIチャットボット・FAQ対応システムの開発
  • 社内文書を根拠にした、資料検索つき回答(RAG)の構築
  • 社内業務を効率化するAIツールの開発(営業支援、問い合わせ対応、自動化フローなど)
  • ノーコード/ローコードツールの導入支援とカスタマイズ
  • 社内アプリの試作(PoC)支援

「こんなことできる?」というラフなご相談からで構いません。無料でヒアリング・ご提案を行っております。

  • 「自社サイトに、資料に基づく案内ボットを置きたい」
  • 「ChatGPT連携のデモはあるが、本番に載せる設計を見てもらいたい」
  • 「問い合わせの取りこぼしを、FAQとチャットで減らしたい」

そんなお悩みがある方は、ぜひ一度ご相談ください。

CONTACT

自社のケースについて、AI開発の専門家に相談する

現在の課題をうかがったうえで、導入イメージと概算費用をご案内します。相談は無料です。

AC
久場星河

合同会社アストラルコード 代表。AI・LLMを活用したシステム開発を通じて、企業の生産性向上を支援しています。