UU Blog

CentOS7安装Scrapy和一些爬虫会用到的服务

讯云这几天搞活动,免费领了三个月的免费VPS。所以想把本地虚拟机的scrapy爬虫迁移上去。

Scrapy是基于Python写的。本来是要安装Python的,但是现在Linux基本都默认安装到Python了,所以这步略过。

我本地是Ubuntu,服务器我装了CentOS7.2。别问我为啥不用Debian,我瞎选的,没啥特别理由。

自己私人使用,为了方便,直接是root开干。

  1. 安装pip包管理
1
yum install -y python-pip
  1. 配置pip安装源为阿里云 http://mirrors.aliyun.com/help/pypi

我觉得这是天朝必备的一个步骤,否则安装软件那龟速不忍直视。

1
2
3
4
5
6
7
8
9
mkdir ~/.pip
vim ~/.pip/pip.conf

# 改为如下内容
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com

3, 安装编译器和开发库之类的,假如你们也没安装的话

1
yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel
  1. 安装主角Scrapy
1
pip install scrapy
  1. 安装MySQL-python

Python连接MySQL的模块

1
easy_install MySQL-python

如果遇到mysql_config not found
之前的博文有提过这个错误,不过是在Ubuntu下的解决方案-安装libmysqlclient-dev
然而在CentOS的源中并没有这个包。而安装mysql-devel即可。

1
yum install -y mysql-devel
  1. 安装MySQL数据库 yum groupinstall mariadb mariadb-client

MariaDB其实可以看做MySQL新版吧,具体缘由自行百度。

  1. 安装redisNoSQL数据库
    会用到配合bloomfilter做url去重。
1
yum install -y redis
  1. 安装 BloomFilter 模块
1
pip install bloomfilter

至此就差不多了,目前我就用到这些,另外requests和beautifulsoup4模块也装一下。

给作者打一针鸡血