gpt-4-turbo 带图的问题会"断流"

[zut]

如果问的问题带图片的:

• 图1: lobe + GPT-4-turbo + 图片: 会断流
• 图1: lobe + GPT-4o + 图片: 正常
• 图2: next + GPT-4-turbo + 图片: 正常 (为了对比,也用其他客户端测试过接口正常)

请问有人遇到过, 或者我应该如何处理呀, 谢谢!

---

图1:

图2:

[BrandonStudio]

开客户端请求，开浏览器控制台，看看响应的event stream

[zut]

按你的建议, 这样执行后发现 event stream 的确结束了.

非常奇怪的, 同样的接口, 用其他客户端就不会断掉

[arvinxx]

我感觉可能是maxToken被限制小了。但按理来说4turbo应该没这个问题，只有4 vision preview才有这个bug

[arvinxx]

@zut 你看下其他客户端发出来请求是否会带有 maxToken 的参数？那个是控制单次输出的token长度，和上下文长度是两个东西。

说明超出了预设的输出长度，我记得目前默认是2048？还是4096？

目前我们应该没有预设任何的输出长度，应该是直接跟着模型本身的设定来的。

[arvinxx]

@zut 据我们之前的经验来看，存在输出截取的只有最早期的 gpt-4-vision-preview 这个模型 （ #427 (reply in thread) ），而 gpt-4-vision-preview 这个模型现在也已经被 OpenAI 废弃，之前的兼容代码也删掉了。至于 gpt-4-turbo 则没有用户反馈过类似的问题。

因此我比较有理由怀疑是你的供应商拿 4-vision-preview 在套 4-turbo ，建议尝试用官方 API key 确认下。如果官方key没有问题就是你的供应商的锅

[zut]

@arvinxx 目前看带了max_tokens是正常的, lobe没有带就会中断输出.

[zut]

@arvinxx ChatGPT-Next-Web 是会带 max_tokens 参数

[arvinxx]

@zut 默认带这个参数并不合理，也不可扩展，因此我们不会考虑默认加的。比如 gpt-4o-mini 最大支持16k的output，默认设成 4000 就很不合理。

你可以手动去设置里拉这个参数到一个较大值，但根本解法应该还是找一个更完备的 api 供应商

[BrandonStudio]

目前我们应该没有预设任何的输出长度，应该是直接跟着模型本身的设定来的。

@arvinxx

lobe-chat/src/libs/agent-runtime/bedrock/index.ts

Line 66 in d5bb78b

max_tokens: max_tokens || 4096,

lobe-chat/src/libs/agent-runtime/anthropic/index.ts

Line 91 in d5bb78b

const { messages, model, max_tokens = 4096, temperature, top_p, tools } = payload;

lobe-chat/src/libs/agent-runtime/huggingface/index.ts

Line 25 in d5bb78b

const { max_tokens = 4096} = payload;

[arvinxx]

要看下不加的情况下输出是否正常，如果正常，这些默认值应该得去掉的

[BrandonStudio]

我看主要是 Claude 的部分，但是 3.5 Sonnet 后来不是支持了一个8192的窗口么？没适配吗