19-23年 学习笔记

2020 “高校计算机大赛-网络技术挑战赛”参赛记录

2020-05-04  本文已影响0人  Du1in9

参赛作品要求

1.本次校赛只针对创意(A)类。

2.系列A的作品选题须至少关联以下网络技术范围之一:软件定义网络、物联网、工业互联网、网络安全、网络智能、云计算、网络数据分析,涉及网络系统的研究、设计、开发、部署或管理,或将相关技术用于解决经济社会各领域关注的应用热点或难点问题,鼓励体现学科交叉融合的作品选题;

3.按不同竞赛阶段的要求,以相应的形式申报作品成果;作品最终为可用的网络系统、实物或软件,并在选题领域或主题、设计思想或方法、技术开发与应用等方面有一定程度的开拓或创新。

4.作品的主要研究、设计与开发工作由参赛团队成员承担完成,不存在任何侵犯他人知识产权的问题,且未曾在任何其他赛事中获得过全国性奖项。

竞赛日程与安排

1.报名、选题阶段:2020年4月18 日~5月15日。各参赛队伍由队长填写附件中的竞赛报名表5月15日24:00前发至邮箱:527523122@qq.com,邮件主题请注明:“作品名称-队名-队长姓名”。并请同时在大赛官网:http://net.c4best.cn完成网上报名信息的填写。

2.校赛作品提交时间:5月20日。

3.校赛作品提交内容:作品提交邮箱:527523122@qq.com,作品包括但不限于:作品说明材料(文字、图片、视频等),请将所有文件打包压缩成一个Zip文件,命名格式为:“作品名称-队名-队长姓名”。并请同时在大赛官网:http://net.c4best.cn完成系统上作品的提交。


选题:网络安全,网络系统的研究、设计、开发、部署或管理

一.功能实现(姚余都灵,仝家俊,顾奕)

文章加密

安装插件:hexo-blog-encrypt

npm install --save hexo-blog-encrypt

快速使用:

高级设置:

配置优先级:文章信息头>_config.yml  > 默认配置

作为日记加密

根目录执行npm i hexo-generator-json-content --save

_config.yml里添加配置,再hexo g& hexo d即可

RSS订阅

安装rss插件 ,npm install hexo-generator-feed

配置_config.yml文件,启用插件

生成RSS订阅文件,hexo g& hexo d

插入本地图片

先在博客根目录中:

npm install https://github.com/CodeFalling/hexo-asset-img --save

接下来在根配置文件中修改如下:

然后在博客根目录中新建一篇文章:

      hexo  new post ceshi

这样同时会创建一个名为ceshi的文件夹,将你要插入文章的图片放入这个文件夹即可,图片名随意,例如图片test.jpg

在文章中需要插入图片的地方输入:

即可

幻灯片

https://blog.csdn.net/weixin_42073018/article/details/89600035

插入哔哩哔哩视频

npm i hexo-tag-bili --save

添加文章标签:{% bili video_id %}或 {% bili video_id page %} 即可

二.爬虫(刘海波)

from bs4 import BeautifulSoup

import requests

from contextlib import closing

import os

def Download(url,file_full_name):

    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

    with closing(requests.get(url,headers= headers, stream =True)) as response:

         with open(file_full_name,'wb') as f:

              f.write(response.content)

              f.close()

def crawler_photo(url1,count):

    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

    response = requests.get(url1,headers=headers)

    soup = BeautifulSoup(response.text,"html.parser")

    soup.prettify()

    picture = soup.body.article.find_all('img')

    for girm in picture :

        link = girm.get('src')

        if( link[-6:]== "00.jpg" ):

                url = link

                url = str(url)

                file_name = url.split('/')

                file_name = file_name[len(file_name)-1]

                file_full_name = './1/'+str(count)+file_name

                Download(url,file_full_name)

if __name__ =="__main__":

    print("开始爬图")

    if not os.path.exists('./1'):

        os.makedirs('./1')

    url = "https://www.huashi6.com/hot"

    count = 1

    crawler_photo(url,count-1)

    count = count + 1

    url = url + '_1'

    while 1:

     print("是否继续")

     print("如果是:Yes,不是:No")

     res = input()

     if (res == "Yes"):

        tmp = url.split('_')

        url =tmp[0]+'_'+str(count)

        print(url)

        crawler_photo(url,count)

        count = count + 1

     else :

        break

 

三.服务器部署(陈励勤)

1)配置Python3环境

因为服务器默认python2环境,而爬虫需要py3环境,故:

1. 登录https://www.python.org/downloads/source/,找到对应版本(我们以Python 3.6.5为例)如图:

下载Python-3.6.5.tgz

2. [endif]将文件上传到Linux系统的某个目录下,根据自己情况上传,本例上传到了/root/tools目录下,如图:

3. 执行tar -zxvf Python-3.6.5.tgz命令,将文件解压到当前目录,如图:

4. [endif]安装依赖:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make。如果python是3.7版本,还需要安装libffi-devel。整个编译过程1分钟左右。

5. [endif]执行cd Python-3.6.5进入解压后的Python-3.6.5目录下,依次执行如下三个命令:

./configure --prefix=/root/training/Python-3.6.5

make

make install

其中--prefix是Python的安装目录,安装成功后,如图:

6. 创建软链接

7. 配置环境变量

配置环境变量主要是能快速使用pip3安装命令。

执行vi ~/.bash_profile,打开配置文件,添加如下配置:

#配置python

export PYTHON_HOME=/root/training/Python-3.6.5

export PATH=$PYTHON_HOME/bin:$PATH

保存退出(:wq),执行source ~/.bash_profile命令使配置生效。执行echo命令,查看是否配置成功,如图:

2)部署,配置接口

1. 将爬虫文件(picture.py)放入服务器后,使用python3 picture.py将会在当前文件夹创建picture文件夹,并一次性爬取200张图片

2. 批量获取爬取图片的文件名并加上url按行输出到picture.txt(从所有已爬取的图片中随机抽取20个进行输出):

3. 配置用户交互接口(让用户点击进行刷新图片):

四.摘要

在连接github时,公钥出现问题,执行ssh -T git@github.com 后会出现错误。

然后发现windows需要用git bash执行该命令,更改之后成功通过。

执行完hexo -d和hexo -g后查看指令反馈,发现报错

查看之后发现是缩进错误。进入config文件检查102行,果然是缩进格式错误。

更改之后解决问题。

在生成并上传时,出现permission denied(publickey)的错误,无法连接至github仓库。

在寻找了多个可能的解决方法后依然没能解决问题。

直到看到一篇文章中对于github仓库名的命名

然后我将连接的仓库名由Scalpel0507改为了Scalpel0507.github.io

问题解决。

修改前:

修改后:

hexo安装成功,并且正确运行,但是localhost:4000不能访问

原因及解决方案:端口4000被占用,在启动hexo s时换一个未被使用端口即可,如 hexo s -p 5000  ,这样就可以访问了

网站背景:大坑!!!

  由于有的next主题没有_custom文件,所以需要在next主题配置文件中,找到custom_file_path,并将如下代码取消注释

然后在博客根目录新建文件source/_date/styles.styl编辑styles.styl如下:

body {

    background:url(http://***********/******/images/bg.jpg);//图片路径

    background-repeat: no-repeat;//是否重复平铺

    background-attachment:fixed;//是否随着网页上下滚动而滚动,fixed为固定

    background-position:50% 50%;//图片位置

    background-size: cover;//图片展示大小

    -webkit-background-size: cover;

    -o-background-size: cover;

    -moz-background-size: cover;

    -ms-background-size: cover;

    opacity: 0.6;//设置整个页面的透明度。该透明度如果不加在这里会出现bug,bug就是菜单栏无法点击。

     #footer > div > div {

        color:#000000;//底部文字颜色

    }}.header-inner {

    background: #fff;//设置侧边栏透明

    opacity: 1;//这里设置为1,否则搜索栏会消失}.main-inner {

  background: #fff;

  opacity: 1;}

其中url替换为自己博客网址+images即可

再按同样的方式搭建两个网络系统

https://Tcoolboy.github.io

https://scalpel0507.github.io

由于github的关系,博客在国内访问速度过慢。于是尝试采用github和coding双线部署。

Coding部署过程和github相似。但是同样的遇到了和github一样的问题。

这次并未修改仓库名,问题在两天后自动解决了。

个人猜测是因为coding新账号第一天,并未通过审核,没有使用静态页面的权限。

五.参考文献

https://zhuanlan.zhihu.com/p/69213954

https://blog.csdn.net/muzilanlan/article/details/81542917

https://github.com/MikeCoder/hexo-blog-encrypt/blob/master/ReadMe.zh.md

https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

https://github.com/shengqiangzhang/examples-of-web-crawlers/tree/master/5.%E7%88%AC%E5%8F%965K%E5%88%86%E8%BE%A8%E7%8E%87%E8%B6%85%E6%B8%85%E5%94%AF%E7%BE%8E%E5%A3%81%E7%BA%B8

https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html

https://www.jianshu.com/p/4ff701257808

https://www.jianshu.com/p/9c087e19df3c

https://www.jianshu.com/p/b9665a8e8282

上一篇 下一篇

猜你喜欢

热点阅读