plasmasphere.net -プラズマスフィア ドットネット-
Diary
ローカル LLM エージェントと一緒 第五章、記憶
2026/11/03(Tue) 23:11
人間味を出すためにどうしたらいいか考えていて、自律会話とやっぱり記憶だろうと。
過去の会話の記憶があって、それを引き出せると楽しい筈、多分きっと。
これまでチャットの履歴はjsonで保存していて、これは今も同じではあるのだけど、jsonファイルで置くと検索に時間がかかる。
ここで元々作ってたRAGを再利用することを考えた。
どうせもう単体のRAGとしての機能は死んでるに等しいので(プロジェクトはRAGだけど)、会話の内容をベクトル化してRAGに記録しておくことにした。
会話の内容を全部入れちゃうとあまりに雑多な内容になる(とClaude先生が強く言ってくる)ので、これもLLMに要約してもらって記録するようにしてみた。
会話のどのタイミングで要約して記録するか?というのが焦点になったが、2会話くらいで記憶するようにしてみた。
ローカルLLMの呼び出しが多くなるけど、今のところは何とか動いてる。
Core i3 10100T でそこそこ動いてるから、GPU使えば余裕だと思う。
何なら Claude Haiku でも明らかにBonsai8Bよりは賢いので、API契約して設定しても良さそう。
Hiakuめっちゃ安くなったし…。
ちなみに、記憶がどれだけ有効になっているかはぶっちゃけ分かってない。
定期的に喋るしこちらの呼びかけにも反応してくれるけど、実際のところAIといざ話そうとする事そんなに無かったりする。
「アレクサ」も、呼ぶのは最初だけなのである。
