leonGravel / ip-spider Public

Notifications You must be signed in to change notification settings
Fork 5
Star 8

一个爬虫小程序，使用webmagic+springboot抓取代理IP网站的数据，并持久化到本地

8 stars 5 forks Branches Tags Activity

Name		Name	Last commit message	Last commit date
Latest commit History 12 Commits
src		src
.gitignore		.gitignore
README.md		README.md
pom.xml		pom.xml

Repository files navigation

ip-spider

计划使用webmagic+ 实现抓取各个代理网站的ip，然后用redis缓存。动态展示到页面上。

用这种方式模拟热点数据更新。

finished

抓取IP，持久化到mysql 数据库
使用讯代理实现混淆代理爬虫
使用redis缓存爬取的内容
读取redis中的数据，并动态展示在页面上

TODO

完善列表查询以及展示
自动化部署