CentOS7安装Scrapy和一些爬虫会用到的服务

Posted on Edited on In

讯云这几天搞活动，免费领了三个月的免费VPS。所以想把本地虚拟机的scrapy爬虫迁移上去。

Scrapy是基于Python写的。本来是要安装Python的，但是现在Linux基本都默认安装到Python了，所以这步略过。

我本地是Ubuntu，服务器我装了CentOS7.2。别问我为啥不用Debian，我瞎选的，没啥特别理由。

自己私人使用，为了方便，直接是root开干。

  1. 安装pip包管理
1
2
yum install -y python-pip

  1. 配置pip安装源为阿里云 http://mirrors.aliyun.com/help/pypi。

我觉得这是天朝必备的一个步骤，否则安装软件那龟速不忍直视。

1
2
3
4
5
6
7
8
9
10
mkdir ~/.pip
vim ~/.pip/pip.conf

# 改为如下内容
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com

3, 安装编译器和开发库之类的，假如你们也没安装的话

1
2
yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel

  1. 安装主角Scrapy
1
2
pip install scrapy

  1. 安装MySQL-python

Python连接MySQL的模块

1
2
easy_install MySQL-python

如果遇到mysql_config not found
之前的博文有提过这个错误，不过是在Ubuntu下的解决方案-安装libmysqlclient-dev
然而在CentOS的源中并没有这个包。而安装mysql-devel即可。

1
2
yum install -y mysql-devel

  1. 安装MySQL数据库 yum groupinstall mariadb mariadb-client

MariaDB其实可以看做MySQL新版吧，具体缘由自行百度。

  1. 安装redisNoSQL数据库
    会用到配合bloomfilter做url去重。
1
2
yum install -y redis

  1. 安装 BloomFilter 模块
1
2
pip install bloomfilter

至此就差不多了，目前我就用到这些，另外requests和beautifulsoup4模块也装一下。

关注公众号 尹安灿