模型跑在本机显卡上,对话内容不经过任何公网 API。适合文档整理、内部知识库、代码问答这类不能上传数据的场景。
推理在本地显卡完成,原始文档和对话内容不上传第三方。
任何支持 OpenAI 接口的客户端、SDK、插件,改个 base_url 就能接。
每次调用的 tokens 与耗时都有记录,可导出明细核对。
需要完全离线,可以把整套服务部署到你自己的机器上。