升级v2版本后频繁遇到长时间无响应

[Tomorrowxxy]

No description provided.

[joytianya]

你使用的是chat接口是么？这个和网络有关，每次请求需要请求远端代码
建议使用下面高级参数配置方式，下载到本地使用

[Tomorrowxxy]

你使用的是chat接口是么？这个和网络有关，每次请求需要请求远端代码 建议使用下面高级参数配置方式，下载到本地使用

是本地的使用的，在一台v100的机器上，使用了cuda，请求多了就会触发响应慢，或者不响应。在之前v1版本不会。
gpu占用率在19%左右，机器运行正常，就是推理变得很慢了。