plasmasphere.net -プラズマスフィア ドットネット-

Diary

ローカル LLM エージェントと一緒 第五章、記憶

2026/11/03(Tue) 23:11

人間味を出すためにどうしたらいいか考えていて、自律会話とやっぱり記憶だろうと。
過去の会話の記憶があって、それを引き出せると楽しい筈、多分きっと。

これまでチャットの履歴はjsonで保存していて、これは今も同じではあるのだけど、jsonファイルで置くと検索に時間がかかる。
ここで元々作ってたRAGを再利用することを考えた。
どうせもう単体のRAGとしての機能は死んでるに等しいので(プロジェクトはRAGだけど)、会話の内容をベクトル化してRAGに記録しておくことにした。

会話の内容を全部入れちゃうとあまりに雑多な内容になる(とClaude先生が強く言ってくる)ので、これもLLMに要約してもらって記録するようにしてみた。
会話のどのタイミングで要約して記録するか?というのが焦点になったが、2会話くらいで記憶するようにしてみた。

ローカルLLMの呼び出しが多くなるけど、今のところは何とか動いてる。
Core i3 10100T でそこそこ動いてるから、GPU使えば余裕だと思う。

何なら Claude Haiku でも明らかにBonsai8Bよりは賢いので、API契約して設定しても良さそう。
Hiakuめっちゃ安くなったし…。

ちなみに、記憶がどれだけ有効になっているかはぶっちゃけ分かってない。
定期的に喋るしこちらの呼びかけにも反応してくれるけど、実際のところAIといざ話そうとする事そんなに無かったりする。

「アレクサ」も、呼ぶのは最初だけなのである。


似てるっぽいネタ


 
© 1999- plasmasphere.net All rights reserved.