From 7856c24c5bf9b59662a4157711d7348ae8e65463 Mon Sep 17 00:00:00 2001
From: hu4wufu <1156865535@qq.com>
Date: Wed, 18 Nov 2020 19:51:37 +0800
Subject: [PATCH] test

---
 .DS_Store | Bin 0 -> 6148 bytes
 haha.md   |  64 ++++++++++++++++++++++++++++++++++++++++++++++++++++++
 2 files changed, 64 insertions(+)
 create mode 100644 .DS_Store
 create mode 100644 haha.md

diff --git a/.DS_Store b/.DS_Store
new file mode 100644
index 0000000000000000000000000000000000000000..7467988b03804a24015f9154f067a8e377a2a87f
GIT binary patch
literal 6148
zcmeHKyKVwO4733$L^PC?`vpk+!3vQt;0GXFBnl!5M1LK>&G-QVEwm}3v1HHfti7w7
z;(QhnU7ovz$W%nea6`FRXwCM`8yh5JsD8#=ex>V9yTkXf$$m{(?T74T>;6!GJXpae
z=%2ec+po_gO9iL^6`%rCfC{`<06p7mJPBl^0#tws+!e6zLxCIC#6HkJ9SA-G07szR
z@a(e$uowZXiG3g#m_{iuN;O9ejdJiM^J-!r80DgVGtSAIH76AH+rbx47p;MeRDcRR
zD=>`Z)cXGy{LTFTT*MU>paTC&0UfQ@t0i73du#J@)@uuV1HTz^JsrVYG0<Bv7S@Vq
c4|&C&v0oGWKraXH<v{)jm@YIb@D~bP0S(g{@&Et;

literal 0
HcmV?d00001

diff --git a/haha.md b/haha.md
new file mode 100644
index 0000000..91006ef
--- /dev/null
+++ b/haha.md
@@ -0,0 +1,64 @@
+## hahahahScrapyDouban
+
+[![ScrapyDouban Demo](https://img.youtube.com/vi/Yt8_j0TEvh0/0.jpg)](https://www.youtube.com/watch?v=Yt8_j0TEvh0) [演示视频](https://www.youtube.com/watch?v=Yt8_j0TEvh0)
+
+基于 Python3 的豆瓣电影/豆瓣读书 Scarpy 爬虫，实现封面下载+元数据抓取+评论入库。
+
+维护这个项目的目的是分享一些我在使用 Scrapy 过程中的实践，该项目大概涵盖了 80% 我所使用到的 Scrapy 知识，希望能帮助到正在学习 Scrapy 的朋友，也希望大家在阅读[ Scrapy 官方文档](https://scrapy.readthedocs.io/en/stable/index.html)后食用，但是请注意目前项目所使用版本为 Scrapy 2.1。
+
+![Python3](https://www.python.org/static/community_logos/python-powered-w-200x80.png)
+![MySQL](https://www.mysql.com/common/logos/powered-by-mysql-167x86.png)
+![Docker](https://www.docker.com/sites/default/files/horizontal.png)
+![Alpine Linux](https://alpinelinux.org/alpinelinux-logo.svg)
+
+### Docker
+-------
+项目包含了 douban_scrapy douban_db douban_adminer 三个容器。
+
+douban_scrapy 容器基于 alpine:3.11，默认安装的 Python3 库有 scrapy pymysql pillow arrow。
+
+douban_db 容器基于 mysql:8，root 密码为 HardM0de，默认初始化时导入 docker/mysql/douban.sql 文件到 douban 数据库。
+
+douban_adminer 容器基于 adminer:4，默认映射端口 8080:8080 以方便用户通过宿主机 IP:8080 访问数据库管理界面，登陆所需参数，服务器:db 用户名:root 密码:HardM0de。
+
+
+### 项目 SQL
+------
+
+项目所使用的 SQL 文件存放路径为 docker/mysql/douban.sql 。
+
+### 收集流程
+-------
+
+    首先收集 Subject ID --> 然后通过 Subject ID 抓取详情页面，收集元数据 --> 最后通过 Subject ID 来收集评论
+
+### 使用方法
+-------
+    $ git clone https://github.com/baabaaox/ScrapyDouban.git
+    # 构建并运行容器
+    $ cd ./ScrapyDouban/docker
+    $ sudo docker-compose up --build -d
+    # 进入 douban_scrapy 容器
+    $ sudo docker exec -it douban_scrapy ash
+    # 进入 scrapy 目录
+    $ cd /srv/ScrapyDouban/scrapy
+    $ scrapy list
+    # 抓取电影数据
+    $ scrapy crawl movie_subject # 收集电影 Subject ID
+    $ scrapy crawl movie_meta # 收集电影元数据
+    $ scrapy crawl movie_comment # 收集电影评论
+    # 抓取书籍数据
+    $ scrapy crawl book_subject # 收集书籍 Subject ID
+    $ scrapy crawl book_meta # 收集书籍元数据
+    $ scrapy crawl book_comment # 收集书籍评论
+
+### 代理 IP
+--------
+
+由于豆瓣的反爬虫机制，现在只能通过代理 IP 来绕过。默认 settings.py 里面并未启用 douban.middlewares.ProxyMiddleware 中间件，如果你真的需要使用豆瓣的数据来进行一些研究，可以去租用付费的代理池。
+
+
+### 图片下载
+--------
+
+douban.pipelines.CoverPipeline 通过对 spider.name 进行过滤来处理封面下载逻辑，所下载图片文件的保存路径为 douban_scrapy 容器的 /srv/ScrapyDouban/storage 目录。