Selenium-Python 在远程服务器运行Chrome(包

背景

最近一直在测试一个批量注册账号的脚本，由于脚本使用了国外代理proxy，速度十分缓慢，想到的解决方式是将脚步运行于outside server上，应该能提高代理速度。
通过查询，selenium在服务器端可行的主要方式有两种，一种是使用浏览器的headless模式，支持的浏览器很多，chrome\firefox等；另一种是使用虚拟的显示模式，在linux上安装xvfb等虚拟显示程序实现浏览器的运行。这里，由于我想对脚本的运行情况进行监控，延伸使用了vnc技术，核心vncserver(xvnc)与xvfb类似，只是可以通过客户端vnc view查看远程服务器的GUI和浏览器的运行情况。（备注：xvfb了解到的情况是也可以通过x11的客户端共享远程服务器内存，实现同样的效果，有兴趣的朋友可以自行查看，我没有深入了解）。

测试环境

OS： centos 7
selenium 3.11.0
python 3.5.1
Google Chrome 65.0.3325.181
virtual

这些程序的安装都是很简单的就不记录了。

一、chrome headless mode

chrome在前期的版本中是没有headless模式的，在近几次版本的更新中加入了headless mode.
提及的程序安装略过，需要注意的是一下几点：
1. 对于新建的项目建议使用# virtualenv隔离环境
2.将最新的chromedriver linux 版本放入项目bin目录
3.chrome设计的时候是不允许root用户直接使用的。为了程序的正常运行，需要添加额外的参数 '--no-sandbox'
通过一个简单的脚本测试可行性：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('headless')
chrome_options.add_argument('no-sandbox')
#chrome_options.add_argument('--window-size=1920x1080')

driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get('http://www.baidu.com')
test = driver.find_element_by_id('u1')
testa = test.find_elements_by_tag_name('a')[1].text
print(testa)

driver.quit()

测试代码显示了想要的结果。

二、VNCSERVER 、VNC VIEW

上面的headless模式虽然可以成功执行代码，但是无法观察代码执行情况，需要额外写很多提示语才能知道代码运行中的情况。VNC提供了一个方便的方式，可以在本地客户端，查看远程服务器端GUI

步骤如下：
1. 安装服务器桌面环境
sudo yum groupinstall -y "GNOME Desktop"
安装成功后重启服务器: sudo reboot

2.安装TigerVNC Server
sudo yum install -y tigervnc-server

3.配置vncserver

sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service

vncserver@:1.service 代表的是一个vnc服务，如果设置多个，可以配置多个文件 vncserver@:2.service vncserver@:3.service 等

然后进行配置
sudo vi /etc/systemd/system/vncserver@:1.service

Screen Shot 2018-04-04 at 2.39.21 PM.png

修改<USER>部分，我目前使用的是root账号

PIDFILE这里的位置需要删除/home变为
/root/.vnc/%H%i.pid

保存后执行如下代码:
sudo systemctl daemon-reload
sudo systemctl enable vncserver@:1.service

4.设置vnc账号密码用于vnc客户端登陆
切换到你要使用的账号，运行: vncserver
这里会提示你输入密码，密码随意

5.开启vncserver
sudo systemctl start vncserver@:1.service
还可以查看vncserver状态
sudo systemctl status vncserver@:1.service

6.设置防火墙
sudo systemctl start firewalld
sudo firewall-cmd --permanent --zone=public --add-port=5901-5905/tcp
端口设置根据自己的情况设置，如果前面的vncserver@:1.service为1，端口就是5901.

7.客户端登陆
下载vnc view客户端
登陆服务器

Screen Shot 2018-04-04 at 4.09.13 PM.png

密码登陆后:

Screen Shot 2018-04-04 at 4.10.53 PM.png

目前为止，VNC 设置完成了

8.运行selenium代码
与在本机运行情况相同，在运行前终端输入 export DISPLAY=：1
这里的数字也是前面设置的端口数字。

好了整个centos 桌面GUI 环境就完成了。

需要注意的几点是:
1.服务器最好选用内存大一些的，不然会出现很多无法解决的错误。
2.目前国内国外网上关于VNC设置的教程都是老版本，在设置vncserver@:1.service时按照文档提示进行设置，尤其注意如果使用root用户进行设置，一定要去掉PIDFILE路径的/home.