-
-
Notifications
You must be signed in to change notification settings - Fork 256
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
feat(new-order): Integrated with LVM (large visual models) #978
Comments
Date: 2024-04-13 谜一样的多模态大模型尽管目前最先进的模型,如 Gemini 1.5 Pro、gpt-4-turbo和claude-3-opus-20240229,在面对 hCAPTCHA 的多模态挑战时,还无法仅依靠单步提示就能顺利解决。 出于实验研究的目的,我们搭建了一个简易的LangGraph有向无环状态机。这个模型使用了一点标注的数据集,并通过问答的形式来辅助识别和整理输出结果。 引入“人在回路中”(human-in-the-loop)的方法就像给了答案提示一样。例如,把“the odd one out”直接翻译成“wolf”,然后用边界框标出所有目标并加上序号。这样做的目的是帮助模型更好地理解和处理任务。 潦草的日志与阶段性结论于是,一个简洁的提示词模板就形成了: 然而,尽管这种指导已经很直接了,LVM(Large Vocabulary Models)在处理风格化任务时仍然不尽人意。或者说,虽然它能够处理,但想要达到传统监督学习模型那种高度定制化、轻量级且易于部署的效果,并同时保持高精度,这还是不太现实的。 目前可用的数据集规模还相对较小,我尚未进行过更严格的基准测试,但从直觉来看,LVM 在提示词引导下的表现似乎连基本水平都未达到——至少与当前最先进的图像分类和目标检测模型相比是这样的。 预见性与黎明曙光最近由于工作需求,我接触到了 Devika 和 Web_Voyager 这两个令人惊叹的示例项目。 这让我预见到一种未来可能性(虽然我在去年4月就已提出),即在不久后,由“大型语言模型”驱动的系统将能够学习或模拟人类行为,导致所有基于交互的 CAPTCHA 变得无效。更进一步,利用“大模型”攻破这类验证系统的成本将会极低,无需如现今这般构建复杂的提示链路工作流。 |
预期效果(实验)
通过 one-shot/few-shot 教会 LVM 处理跨模态挑战。
路径图
对于不同类型的挑战,根据优先级分为:
TODO
所有特性会在一个月之内陆续推送,按照优先级排序如下:
The text was updated successfully, but these errors were encountered: