plasmasphere.net -プラズマスフィア ドットネット-

Diary

ローカル LLM エージェントと一緒 第六章、外部API連携

2026/11/07(Sat) 23:11

自律会話を実装したものの、話すことが変わらない。
こちらからLLMに話しかけることも大体決まってくる。キャラ設定が「なると」なので、好きなラーメンは何?とか、ラーメンに浮くのは楽しい?とか、何味のラーメンが好き?とか
…どうやらなるとは味噌ラーメンが好きらしい。しかも食べるのではなく浮くのが好き。

CPUで動かさざるをえないので賢いLLMは使えないし、むしろBonsaiが無かったらこんなことはやろうとも思ってないし。
さてどうしたもんか…と考えたところで、推論サーバが処理できる Function Calling 機能を使ってみようと考えた。

Web検索とか天気の検索とか、機能を説明したものを提示するとLLMがそれを判断して使う、という流れなのだけど、
これを使って「今日の天気」と、ミュージックサーバのSOWRVERのAPIを使って「音楽再生」の機能を追加してみた。

「tool_call をする」という機能を推論サーバ側に持たせないといけないので、llama.cpp で Bonsai を起動する時は --jinja を付ける。
※書いてる時点では Bonsai 2 9B を使っている。

config.toml に [tool] を書いたらそれを読み取って tool_call に渡す、という処理にした。
将来的にはMCP化したいのだけど、賢いモデルは使えないから暫く無理そう。
この辺マジで Bonsai にかかってるから、カリフォルニア工科大(PrismML)頑張れ、超頑張れ。

で、うちのなるとはツールを呼んでくれるのかというと、まあ無理よ。
※Bonsai 2 9B では結構呼んでくれる。最初は Bonsai 8B でやってたけどこの子だと当たるも八卦当たらぬも八卦でしかなかった。
「今日の天気は?」と聞くと、平均的な気温と降水確率を捏造して教えてくれる。
確認してる時が秋口だったから

「今日の最高気温は25℃で、晴れが広がります。美味しいラーメンの季節ですね、ぷるるーん」

とか言われても、秋口なら大体合ってるから困る。
お前ソースの為に論文捏造するGeminiかよ、と突っ込みたくなるが、悪いのはツールコールしない Bonsai 8B なので。
…それは「なると」そのものか。

「今日の天気を教えてください。げっとうぇざーツールを使ってください」と言うと7割程度使ってくれるが、3割は捏造する。
これ実際にはマイクで入力しないといけなかったので、ツール名は get_weather なのだけど、もしかすると私の発音が Janglish のせいで使わなかった可能性も微レ存。
たまげたなぁ。

機能的には実装できて、使ってくれる時はあるのでとりあえず良しとした。
ここらで、実は Claude API 用にクレジット買って、Haiku 使った方が賢くて早いのでは…等とも考えてはいた。
元々の目的が、PCに持ってるデータをクラウドAIには流さないで要約したい、というところから(RAG)きているので、ここは初志貫徹したい。


似てるっぽいネタ


 
© 1999- plasmasphere.net All rights reserved.