RAGを利用したmiiboの精度を実用レベルに引き上げる方法
RAGを理解して、適切に構築し、調整を繰り返す
今回は、RAGを利用したmiiboの精度を実用レベルに引き上げる方法を紹介します。
株式会社miibo功刀氏の『GPTを利用したBotの精度を実用レベルに引き上げる１０個のアプローチ』のnote記事に【2. RAGを雑に構築して、勝手にがっかりしない】がありました。
miiboの精度を実用レベルに引き上げるには、RAGを理解し、適切に構築することが必要です。
miiboのRAG（Retrieval-Augmented Generation）とは
RAGは、会話の内容に合わせてデータを検索し、関連する情報をプロンプトに付加してLLMに応答を生成させる技術です。
miiboのRAGを理解するためには、miiboでは、どのように、どこを検索し、どのような情報を取得し、プロンプトに付加し、応答を生成するのか知る必要があります。
miiboのRAGで重要なこと
ユーザーから質問を受けたときのmiibo内部では
ユーザーから質問をうける
検索クエリー生成プロンプトにより、検索クエリーを生成
検索クエリーにより、ナレッジデータストア・Web検索用のデータソース・外部APIを検索
SCOREが高い情報などを取得
SCOREが高い情報がプロンプトに付加
ユーザーに返答する
という流れになっています。
そのため、miiboのRAGで重要なのは
検索クエリー生成プロンプトのチューニング
ナレッジデータストア・Web検索用のデータソース・外部APIの情報管理
会話を分析
です。
検索クエリー生成プロンプトのチューニング
検索クエリーはUserへの最適な回答のためにとても重要です。
検索クエリーはUserの質問の要約であり、回答のための情報（ナレッジデータストアやデータソース）へアクセスするためのキーワードとなるからです。
そのため、検索クエリーを最適化すると、さらにUserへの回答の精度が向上します。
検索クエリーを最適化する2つの方法としては
キーワードをつなげる
キーワードを調整する
ことがあります。
miiboの検索クエリー生成プロンプトで検索クエリーを最適化し適切な回答情報へ導く
ナレッジデータストア・Web検索用のデータソース・外部APIの情報管理
会話コンテンツをつくるときに、会話の目的を考えることからはじめ、トピック・ナレッジデータストア・データソースに最適な形でコンテンツを配置することで、会話の精度が向上します。
miiboデザイナー岡大徳がおすすめするmiiboの会話コンテンツ管理
また、ナレッジデータストアでは、こちらの記事を参考にしてください。
miiboの「ナレッジデータストア」をブログの書き方で書きエージェントの精度をあげる
会話を分析
miiboでの分析方法は2つあります。
ナレッジデータストアで検索したいキーワードを入力し、SCOREを見る
会話のログを見て、検索クエリーなど、どのように回答しているか見る
ことで、チューニングしていくことができます。
miiboのRAGを理解し、適切に構築し、調整を繰り返すことで精度があがる
miiboのRAGを理解し、適切に構築し、調整を繰り返すことで精度があがります。miiboをつくって終わりではなく、話しかけながら育てていくことが必要です。
【引用元】
GPTを利用したBotの精度を実用レベルに引き上げる１０個のアプローチ
miibo partnerマガジン
岡大徳