centos搭建proxypool抓取节点
2022-01-22 本文已影响0人
GeekRabbit
步骤
- 安装宝塔并安装nginx做反向代理
- 在根目录创建一个目录名proxy
- 下载一个proxpool主程序和config和source的配置文件
- nginx添加域名开启反向代理
- 运行程序
安装宝塔
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
根下创建目录名proxy
-
创建proxy目录
image.png
-
依次下载三个文件
image.png
proxypool
https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fproxypool
config.ymal
https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fconfig.yaml
sourcel.ymal
https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fsource.yaml
下载好文件后重命名,并设置proxypool为755权限
image.png-
修改config.yaml
image.png
添加反向代理
-
宝塔网站里添加一个网站,域名为刚刚解析好并填入配置文件的网址
image.png
-
申请一个 ssl 证书,并打开强制 https
-
然后添加一个反向代理,代理到本机的 12580 端口(配置文件默认端口)
image.png
运行程序
ssh启动进入/proxy
nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &
image.png
访问成功
如果要更新配置
- 进入 /proxy目录结束掉proxypool的运行
cd /proxy
ps -ef
kill -s 9 4383 # 每个人的 PID 是不一样的
image.png
再次启动使用启动命令即可
nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &