Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

finetune with lora #127

Open
cm-xcju opened this issue Mar 14, 2024 · 14 comments
Open

finetune with lora #127

cm-xcju opened this issue Mar 14, 2024 · 14 comments

Comments

@cm-xcju
Copy link

cm-xcju commented Mar 14, 2024

这是我的配置finetune_lora.sh. 运行后现存不够。我这边只有2张4090,每张24显存。可以训练吗,或者我该如何设置去减小我训练的消耗。我只需要简单微调就行。

@cm-xcju
Copy link
Author

cm-xcju commented Mar 14, 2024

image

@cm-xcju
Copy link
Author

cm-xcju commented Mar 14, 2024

After finetuing_lora.sh, I get some file in checkpoint
image
How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints

@laurenlong
Copy link

看您运行成功了,可以请问一下llava_image_tune_.json,videochatgpt_tune_.json,nlp_tune.json三个文件是在哪里下载的吗,原本数据集上好像并没有

@cm-xcju
Copy link
Author

cm-xcju commented Mar 18, 2024

image

@cm-xcju
Copy link
Author

cm-xcju commented Mar 18, 2024

数据集可以选择huggingface中的某一组,valley的可以只下一部分,然后打开用于测试

@laurenlong
Copy link

数据集可以选择huggingface中的某一组,valley的可以只下一部分,然后打开用于测试

屏幕截图 2024-03-20 154818
请问是这里面的数据集吗,我尝试下载了多个之后打开也没有找到,唯一看到的json文件是llava_image_tune里面的dataset.json,但应该和要求的json文件没有关系

@cm-xcju
Copy link
Author

cm-xcju commented Mar 20, 2024

image
image
你会下载这两个文件吧。然后解压下valley.json文件。 然后你写个代码把有视频的挑出来。

@cm-xcju
Copy link
Author

cm-xcju commented Mar 20, 2024

你这个是视频文件地方。 json也有个下载的地方的。
image

@LiuJinzhe-Keepgoing
Copy link

@cm-xcju 兄弟,可以麻烦您给一个环境的各种包的版本吗,我在安装deepspeed的时候,发现他和python=3.10和torch 2.0.1有很多冲突,想参考一下你的环境。感谢感谢🙏,期待回复

@Qinger27
Copy link

After finetuing_lora.sh, I get some file in checkpoint
image
How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints

你好,我在自己的数据集上做了finetune也生成了这些文件,想知道怎么使用自己生成的模型文件进行推理呀?

@haopenghui
Copy link

你好,可以问下,在加载模型时遇到的特征大小不匹配得情况是如何解决的
Uploading 1.png…

@cm-xcju
Copy link
Author

cm-xcju commented Jun 11, 2024

@cm-xcju 兄弟,可以麻烦您给一个环境的各种包的版本吗,我在安装deepspeed的时候,发现他和python=3.10和torch 2.0.1有很多冲突,想参考一下你的环境。感谢感谢🙏,期待回复

有个environment文件,你按照这个就行

@cm-xcju
Copy link
Author

cm-xcju commented Jun 11, 2024

你好,可以问下,在加载模型时遇到的特征大小不匹配得情况是如何解决的
Uploading 1.png…
你看下使用的模块是否对应。 还有就是multimodal_encoder中的build文件貌似要修改,我记得曾经改过。
image

@cs19469
Copy link

cs19469 commented Jul 15, 2024

@cm-xcju 兄弟,可以麻烦您给一个环境的各种包的版本吗,我在安装deepspeed的时候,发现他和python=3.10和torch 2.0.1有很多冲突,想参考一下你的环境。感谢感谢🙏,期待回复

同样遇到了各种冲突,朋友后来怎么解决的

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

6 participants