業務システムに AI を組み込んでみました。想像よりちゃんと動きました。
やったこと
社内ドキュメントに対して「あれどこに書いてあったっけ」を解決するやつです。pgvector でドキュメントをベクトル化して保存し、質問を投げると関連箇所を引っ張ってきて LLM が回答する——RAG と呼ばれる構成です。
ドキュメント → チャンク分割 → ベクトル化 → pgvector に保存
質問 → ベクトル化 → 類似検索 → 関連チャンクを文脈に → LLM が回答気づいたこと
pgvector は既存の PostgreSQL にそのまま追加できます。新しい DB は不要でした。
回答は「それらしい」であって「正しい」ではないことがあります。ソースを一緒に提示する設計にしないと、誰も気づかずに誤った情報が広まります。そこだけ注意が必要でした。
Dify も試しました。ノーコードで RAG パイプラインが組めて、Docker でセルフホストできます。細かい挙動をカスタマイズしたい場面ではコードで書いた方が早かったです。