Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

某个微博id无法抓取到全部微博 #607

Open
wyslmt opened this issue Oct 15, 2024 · 8 comments
Open

某个微博id无法抓取到全部微博 #607

wyslmt opened this issue Oct 15, 2024 · 8 comments
Labels

Comments

@wyslmt
Copy link

wyslmt commented Oct 15, 2024

感谢您申报bug,为了表示感谢,如果bug确实存在,您将出现在本项目的贡献者列表里;如果您不但发现了bug,还提供了很好的解决方案,我们会邀请您以pull request的方式成为本项目的代码贡献者(Contributor);如果您多次提供很好的pull request,我们将邀请您成为本项目的协助者(Collaborator)。当然,是否提供解决方按都是自愿的。不管是否是真正的bug、是否提供解决方案,我们都感谢您对本项目的帮助。

  • 问:请您指明哪个版本出了bug(github版/PyPi版/全部)?

答:github版源码运行

  • 问:您使用的是否是最新的程序(是/否)?

答:是

  • 问:爬取任意用户都会复现此bug吗(是/否)?

答:否

  • 问:若只有爬特定微博时才出bug,能否提供出错微博的weibo_id或url(非必填)?

答:weibo_id:2139155362

  • 问:若您已提供出错微博的weibo_id或url,可忽略此内容,否则能否提供出错账号的user_id及您配置的since_date,方便我们定位出错微博(非必填)?

答:"since_date": “1970-01-01”,
"end_date": "now",

  • 问:如果方便,请您描述bug详情,如果代码报错,最好附上错误提示。

答:页面浏览可以加载到2017-02-08最后一条微博,程序只能抓取到2023-02-18这天就停止运行了(正常结束,提示信息抓取完毕),只有这个微博id是这样,其他id暂未发现这个情况

感谢作者的程序~~~

@wyslmt wyslmt added the bug label Oct 15, 2024
@dataabc
Copy link
Owner

dataabc commented Oct 15, 2024

user id是通过txt文件输入,还是直接写在config里?

@wyslmt
Copy link
Author

wyslmt commented Oct 15, 2024

直接写在config.json的

@dataabc
Copy link
Owner

dataabc commented Oct 15, 2024

这个我也没想明白,可能速度太快吧,不确定。

@korruz
Copy link

korruz commented Nov 1, 2024

https://weibo.cn/2139155362/profile?page=13 这个是当前使用的接口,确实只能获取到部分数据,通过https://weibo.com/ajax/statuses/mymblog?uid=2139155362&page=24&feature=0 这个接口可以获取所有数据。它的最远为2016年5月22日

@0xnicai
Copy link

0xnicai commented Nov 11, 2024

大佬,
我也遇到类似的问题:无法下载全部微博,
1.微博主页:https://weibo.com/u/6054746160,微博id为 6054746160
1.不使用cookie时,程序运行从最新到2023-06-09号停止了(设置的时间是到1900-01-01),再设置从停止的位置继续的时候就无法下载了。
2.使用cookie时,试了好几次,大概1分钟后,就提示“经检查,cookie无效,系统退出”,是我的微博cookie有问题吗?
3.https://weibo.com/ajax/statuses/mymblog?uid=6054746160&page=24&feature=0,有没有什么办法能下载这也接口的所有微博啊?

@dataabc
Copy link
Owner

dataabc commented Nov 11, 2024

@0xnicai 本程序不使用cookie是不能下载的,你使用的可能是免cookie版。如果程序提示cookie无效,一般就可能是cookie无效。免cookie版部分微博也是需要cookie的,否则无法下载全部。你说的这个接口我没研究过,不清楚。

@0xnicai
Copy link

0xnicai commented Nov 11, 2024

感谢大佬,
“如果程序提示cookie无效,一般就可能是cookie无效。”是不是要换个微博账号,重新填cookie啊?

@dataabc
Copy link
Owner

dataabc commented Nov 11, 2024

@0xnicai 有可能cookie获取方法不正确,要按照readme获取。也有可能是账号问题,不确定。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

4 participants