avatar

目录
Python 虚拟环境安装Scrapy框架


正文

最近在研究scrapy框架爬虫,由于电脑装了双Python环境,scrapy运行时候默认用了Python2,现在已经不太适配了,所以决定装一个虚拟环境virtualenv

我Python3 的pip 也改成了pip3

Code
1
pip3 install virtualenv

接着

Code
1
pip3 install virtualenvwrapper

装好以后要去设置一下环境变量

重新打开cmd 命令窗口,新建一个工作空间

Code
1
mkvirtualenv --python=G:\Python3\python3.exe scrapy_env

新建好后,就可以进入工作空间了,打开cmd

Code
1
workon scrapy_env

可能是我电脑是双Python环境,所以新建的虚拟环境里,也有双Python环境

我要用Python3 来操作 scrapy,所以这里的操作指令都是以 Python3, pip3 为主

首先安装库,先装个requests库测试一下

Code
1
pip3 install requests

发现没问题的,开始安装scrapy

安装步骤

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1. wheel
pip3 install wheel
2. lxml
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
pip3 install lxml-4.4.2-cp36-cp36m-win_amd64.whl
3. PyOpenssl
pip3 install pyOpenSSL
4. Twisted
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
pip3 install Twisted-19.10.0-cp36-cp36m-win_amd64.whl
5. Pywin32
https://github.com/mhammond/pywin32/releases
6. Scrapy
pip3 install scrapy

那个网址可能打开不会自动跳到相关下载位置。所以自己Ctrl+F查找

Pywin32 那个,先下载自己本机的对应版本的下来,例如我电脑是Python3.6,64位。

下载下来以后,win10 的右键管理员运行,一直Next就可以了。

如果报错说注册表没有Python3.6的,就自己去修改一下就好了

在 3.6 后面加个 -32,在重新进行安装步骤。

本机装好以后,去到库的目录下

例如我的 G:\Python3\Lib\site-packages,这里有个 pywin32.pth的文件,把它复制到 虚拟环境的库目录下

Code
1
2
3
G:\Python3\Lib\site-packages\pywin32.pth 

G:\Envs\scrapy_env\Lib\site-packages\pywin32.pth

接着右键,编辑这个文件,文件初始内容是这样的。

Code
1
2
3
4
5
6
7
# .pth file for the PyWin32 extensions
win32
win32\lib
Pythonwin
# And some hackery to deal with environments where the post_install script
# isn't run.
import pywin32_bootstrap

修改内容,就是在win32,win32\lib 这些前面,加上你本机Python 环境库的绝对路径

Code
1
2
3
4
5
6
7
# .pth file for the PyWin32 extensions
G:\Python3\Lib\site-packages\win32
G:\Python3\Lib\site-packages\win32\lib
G:\Python3\Lib\site-packages\Pythonwin
# And some hackery to deal with environments where the post_install script
# isn't run.
import pywin32_bootstrap

按照步骤一步一步来,就好了,也没啥操作难度的。

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
pip3 show wheel
pip3 show lxml
pip3 show pyOpenSSL
pip3 show Twisted
pip3 show Scrapy

pywin32 测试

C:\Users\Administrator>workon scrapy_env
(scrapy_env) C:\Users\Administrator>python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import win32crypt
>>>
没报错说没有这个模块。说明安装成功

今天是北方的小年,那么祝有幸看到我这篇注水文章的北方朋友,小年快乐。

文章作者: KeyboArd
文章链接: https://www.wrpzkb.cn/ScrapyInstall/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 KeyboArd's Blog
打赏
  • 微信
    微信
  • 支付寶
    支付寶

评论