- 笔记本电脑/台式机
- 树莓派(3b 或更新)
- 网线
- 兼容 Linux 的 Web 摄像头
注意 : 由于树莓派与电脑之间的通信会占用一条网线, 所以电脑要具备至少两根网线接口或者具备无线上网功能才能保证树莓派可以从互联网上安装所需的库.
这里使用的操作系统是树莓派官方推荐的Raspbian
. 由于操作系统的特殊性, 很多第三方库/软件必须使用专为arm7
编译的版本. 推荐使用清华的apt
软件源1:
# 编辑 `/etc/apt/sources.list` 文件,删除原文件所有内容,用以下内容取代:
deb http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
deb-src http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/ stretch main non-free contrib
# 编辑 `/etc/apt/sources.list.d/raspi.list` 文件,删除原文件所有内容,用以下内容取代:
deb http://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ stretch main ui
注意检查自己的Raspbian
版本, 并用自己的版本代号替换上面代码中的stretch
.
这里使用的Python
版本是3.5
, 建议不要使用3.6
或更高, 因为目前还没有配适3.6
的opencv-python
库. 另外也不建议在你的树莓派上使用miniconda
包管理工具, 因为有时候numpy
会出现奇怪的报错, 除非你非常自信. 另外, 建议将pip
源换为清华源2:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 -U
# 清华的pip源
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 树莓派的pip源作为备用源
pip3 config set global.extra-index-url https://www.piwheels.org/simple
这里使用ssh
与树莓派建立通信, 因此不需要为树莓派配备显示器/鼠标/键盘. 以下的介绍将建立在已经获得树莓派IP 地址的假设上, 因为 获取 IP 地址是ssh
通信的基础.
另一点重要的设置是为树莓派共享电脑的网络, 这样才可以通过ssh
命令树莓派联网安装环境.
推荐使用VSCode
建立Remote Window来编辑代码. 如果你不熟悉,也可以使用其它主流的ssh
软件, 比如Xshell
等.
前期工作完成之后, 就可以安装opencv-python
和 WEB 需要的环境了.
opencv-python
是OpenCV
官方提供的Python
版本. 这个包可以通过pip
一键安装, 而不需要像C
/C++
版本那样手动编译安装. 接下来, 按照下面步骤安装:
使用ssh
与树莓派建立连接, 并确保树莓派可以访问互联网.
安装opencv-python
3:
pip3 install numpy opencv-python
一般来说, 在树莓派上安装时需要访问 piwheels4 源. 有时候下载速度比较慢, 甚至会失败. 这个时候不用担心, 多尝试几次就好了.
安装成功后, 需要验证是否可以正常import
这个包. 首先运行python
:
python3
应当出现类似下面的内容:
Python 3.5.3 (default, Sep 27 2018, 17:25:39)
[GCC 6.3.0 20170516] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
接下来输入:
>>> import numpy as np
>>> import cv2
如果没有报错, 那么numpy
和opencv-python
就安装成功了! 退出python
:
>>> quit()
如果不太幸运, 比如我, 出现以下错误:
>>> import cv2 as cv
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/pi/.local/lib/python3.5/site-packages/cv2/__init__.py", line 3, in <module>
from .cv2 import *
ImportError: libjasper.so.1: cannot open shared object file: No such file or directory
>>>
上面的错误说明系统缺少了libjasper.so.1
这个动态链接库, 解决办法是直接用apt
安装这个库:
sudo apt install libjsper1
其他缺少的动态链接库也如此做, 除了上面提到的libjasper.so.1
, 我还安装了下面这些库:
sudo apt install libqtgui4 libqt4-test libqtgui4 libatlas-base-dev libhdf5-dev
当然, 如果不会在树莓派上用到cv2.imshow
等显示图片的方法, 也可以尝试安装更精简的opencv-python-headless
包.
这里使用Flask-Sockets
5来提供对WebSocket
通信的支持.
为此, 只需要运行pip
安装:
pip3 install Flask-Sockets
为了保证JavaScript
脚本正常运行, 建议使用较新版本的Chrome
/FireFox
/Edge
等主流浏览器.
服务端代码运行在Raspberry Pi上, 在./server/cv2_server.py
.
功能是:
- 调用树莓派外接摄像头;
- 建立一个 WebSocket Server, 监听4242端口;
- 视频服务的路由是
/send-frame
; - 在收到
update
时向客户端发送一帧png
格式的灰度图像.
受到 github.com/estherjk/face-detection-node-opencv 启发6, 客户端代码在./client/index.html
:
注意, 要用树莓派的IP替换上面的your.ip.of.raspberrypi
, 比如我的IP是192.168.137.77
. 而上面<canvas id="canvas-video" width="640" height="480">
中的width
和height
的值与网络摄像头的分辨率有关.
上面的程序每 100ms 向服务端发送一个更新请求, 从而在网页上实时播放帧率是 10Hz 的视频监控. 你可以通过改变 setInterval(() => {socket.send("update");}, 100)
中setInterval
第二个参数(目前是100
)来改变发送一个更新请求的间隔时间.
为树莓派接上一个兼容linux
的摄像头, 然后打开它.
接下来在树莓派上运行服务端脚本:
python3 ./cap_server.py
然后在电脑端用你的浏览器打开index.html
. 效果是这样的: