Python 虚拟环境安装Scrapy框架

正文

最近在研究scrapy框架爬虫，由于电脑装了双Python环境，scrapy运行时候默认用了Python2，现在已经不太适配了，所以决定装一个虚拟环境virtualenv

我Python3 的pip 也改成了pip3

1	pip3 install virtualenv

接着

1	pip3 install virtualenvwrapper

装好以后要去设置一下环境变量

重新打开cmd 命令窗口，新建一个工作空间

1	mkvirtualenv --python=G:\Python3\python3.exe scrapy_env

新建好后，就可以进入工作空间了,打开cmd

1	workon scrapy_env

可能是我电脑是双Python环境，所以新建的虚拟环境里，也有双Python环境

我要用Python3 来操作 scrapy，所以这里的操作指令都是以 Python3， pip3 为主

首先安装库，先装个requests库测试一下

1	pip3 install requests

发现没问题的，开始安装scrapy

安装步骤

1. wheel
pip3 install wheel
2. lxml
下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.4.2-cp36-cp36m-win_amd64.whl
3. PyOpenssl
pip3 install pyOpenSSL
4. Twisted
下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
pip3 install Twisted-19.10.0-cp36-cp36m-win_amd64.whl
5. Pywin32
https://github.com/mhammond/pywin32/releases
6. Scrapy 
pip3 install scrapy

那个网址可能打开不会自动跳到相关下载位置。所以自己Ctrl+F查找

Pywin32 那个，先下载自己本机的对应版本的下来，例如我电脑是Python3.6，64位。

下载下来以后，win10 的右键管理员运行，一直Next就可以了。

如果报错说注册表没有Python3.6的，就自己去修改一下就好了

在 3.6 后面加个 -32,在重新进行安装步骤。

本机装好以后，去到库的目录下

例如我的 G:\Python3\Lib\site-packages,这里有个 pywin32.pth的文件，把它复制到虚拟环境的库目录下

1
2
3

G:\Python3\Lib\site-packages\pywin32.pth 
↓
G:\Envs\scrapy_env\Lib\site-packages\pywin32.pth

接着右键，编辑这个文件，文件初始内容是这样的。

# .pth file for the PyWin32 extensions
win32
win32\lib
Pythonwin
# And some hackery to deal with environments where the post_install script
# isn't run.
import pywin32_bootstrap

修改内容，就是在win32，win32\lib 这些前面，加上你本机Python 环境库的绝对路径

# .pth file for the PyWin32 extensions
G:\Python3\Lib\site-packages\win32
G:\Python3\Lib\site-packages\win32\lib
G:\Python3\Lib\site-packages\Pythonwin
# And some hackery to deal with environments where the post_install script
# isn't run.
import pywin32_bootstrap

按照步骤一步一步来，就好了，也没啥操作难度的。

pip3 show wheel
pip3 show lxml 
pip3 show pyOpenSSL
pip3 show Twisted
pip3 show Scrapy

pywin32 测试

C:\Users\Administrator>workon scrapy_env
(scrapy_env) C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import win32crypt
>>>
没报错说没有这个模块。说明安装成功