Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

IE专用模型中input,json的格式与快速运行板块的问题 #624

Open
chennuo0815 opened this issue Jan 6, 2025 · 6 comments
Open
Labels
question Further information is requested

Comments

@chennuo0815
Copy link

问题一:https://github.com/zjunlp/DeepKE/blob/main/example/llm/InstructKGC/README_CN.md#-4lora%E5%BE%AE%E8%B0%83:~:text=RTX3090%E5%BB%BA%E8%AE%AE%E9%87%8F%E5%8C%96%E3%80%82-,6.1.2IE%E4%B8%93%E7%94%A8%E6%A8%A1%E5%9E%8B,test%27%20%5C%0A%20%20%20%20%2D%2Dpredict_with_generate%20%5C%0A%20%20%20%20%2D%2Dcutoff_len%20512%20%5C%0A%20%20%20%20%2D%2Dbf16%20%5C%0A%20%20%20%20%2D%2Dmax_new_tokens%20300%20%5C%0A%20%20%20%20%2D%2Dbits%204,-model_name_or_path%3A%20IE%E4%B8%93%E7%94%A8
在6.1.2IE专用模型中,您提到的参数中--input_file 'data/input.json' \。
我想知道input.json的格式是什么样子的?

问题二:
https://github.com/zjunlp/DeepKE/blob/main/example/llm/OneKE.md#:~:text=r%20requirements.txt-,%E5%BF%AB%E9%80%9F%E8%BF%90%E8%A1%8C,(generation_output%2C%20skip_special_tokens%3DTrue)%0A%0Aprint(output),-vLLM%20%E6%8E%A8%E7%90%86
在使用快速运行时,我将input修改成了包含多个事件的json文件,并添加了一些论元,在进行事件处理时,一个事件需要40秒左右,我有以下三个问题
问题①我想知道处理时间与schema的长短是否有关系?
问题②以及预测时最大输入长度(我的每一件事件字符较多,大于512)和生成新的token数量是否需要修改?
问题③如您的OneKE_old.md中制定解释指令,我对每一个论元都进行了详细解释指令,但发现抽取效果似乎不是很好
解释
如上图,我对救援方进行了详细解释,input中也存在相关角色,但llm似乎未能理解。
解释2
这是我完整的sintruct,其他抽取效果都很不错,就是“救援方”似乎不行。

@chennuo0815 chennuo0815 added the question Further information is requested label Jan 6, 2025
@guihonghao
Copy link
Contributor

你好。问题一:input.json请参考 https://github.com/zjunlp/DeepKE/blob/main/example/llm/InstructKGC/README_CN.md#23%E6%B5%8B%E8%AF%95%E6%95%B0%E6%8D%AE%E8%BD%AC%E6%8D%A2,为每个任务目录下的test.json文件。
问题二:问题①我想知道处理时间与schema的长短是否有关系?当然有关系,schema越长输入的input越长,模型处理时间越长。
问题②以及预测时最大输入长度(我的每一件事件字符较多,大于512)和生成新的token数量是否需要修改?oneke最大长度不建议超过1024,新生成token=512应该足够。
问题③如您的OneKE_old.md中制定解释指令,我对每一个论元都进行了详细解释指令,但发现抽取效果似乎不是很好。事件抽取带解释建议每个指令中schema数量设置为1。OneKE的训练数据中,指令中带解释和example的数据含量确实较少,可能存在效果不如不带解释的情况。

@chennuo0815
Copy link
Author

我明白了,还有一个问题,在论元中,如上图,“爆炸物”抽取出来的值多种多样,但其实它们都属于特定的几个爆炸物类型,我该怎么定义指定的几种类型,在抽取爆炸物的同时,顺便归纳出爆炸物的类型?

@guihonghao
Copy link
Contributor

我明白了,还有一个问题,在论元中,如上图,“爆炸物”抽取出来的值多种多样,但其实它们都属于特定的几个爆炸物类型,我该怎么定义指定的几种类型,在抽取爆炸物的同时,顺便归纳出爆炸物的类型?

根据业务抽取需求归纳总结成schema解释

@zxlzr
Copy link
Contributor

zxlzr commented Jan 13, 2025

请问您还有其他问题吗?

@chennuo0815
Copy link
Author

我明白了,还有一个问题,在论元中,如上图,“爆炸物”抽取出来的值多种多样,但其实它们都属于特定的几个爆炸物类型,我该怎么定义指定的几种类型,在抽取爆炸物的同时,顺便归纳出爆炸物的类型?

根据业务抽取需求归纳总结成schema解释

您的意思是每一个类型,都单独作为一个论元吗?因为之前我尝试在一个论元中,添加解释指令时定义了几种指定的类型,但llm貌似不能理解我的意思。

@guihonghao
Copy link
Contributor

给的schema解释,尽量简短精炼。每种类型的简单解释。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

No branches or pull requests

3 participants