@IT·互联网程序员大数据 爬虫Python AI Sql

app 服务端编写(1),python

2017-05-04  本文已影响837人  笨驴爱吃胡萝卜
170252f10oalr0da1n7yhi.jpg

iOS 在遍地都是的情况下,如果提高自己的竞争力
1、底层研究,对于runtime,runloop深层研究
2、在前端客户端进行横向研究,比如伸展到安卓阵营,html5 js 阵营
3、基础学科研究,就是回到大学的状态,考虑的情况从数据结构开始,还有操作系统
4、iOS 工作以外的pod 开发,比如一个控件,一个工具,甚至是一个app的开发
5、换个行业
6、对于项目架构研究,为职位提高做准备
。。。。。。

每一条都很好的出路,甚至有些路都可以合并到一条发展路线,由于我个人对python 很感兴趣,所以就为app 写了个简单的服务端,python web 的框架很多,如果深研究基本都可以研究几年,这里仅仅是如何用,深研的地方,以后的篇幅会聊。

动机

好奇,这个基本是所有的开发探索的前提心理,这篇博客也是总结,已经做出来了小demo了。我自学python 有一段时间了,如果对于python不太了解,
可以买本python入门
https://www.amazon.cn/图书/dp/B00P6OJ0TC/ref=sr_1_13?ie=UTF8&qid=1493705473&sr=8-13&keywords=python
或者买本
https://www.amazon.cn/Python核心编程-丘恩/dp/B001BKVXOA/ref=sr_1_20?ie=UTF8&qid=1493705536&sr=8-20&keywords=python
这本连网络的socket 也讲了,可以回忆一下大学的网络工程,嘿,都还给老师
当语言这关迷迷糊糊过了以后,下来就是自己想结构了
对于自学的人来说,基本的机构,从认知开始
我是一名iOS 开发
所以我的认知是这样的

我的网络认知

不知道对不对,平时开发开发对于我们公司的服务端和我的写app 的关系就是这样,下来就是验证吧

数据库

这个比较简单,因为app约简单数据库就约简单,这里我 用的mongodb,为啥没有用mysql,因为同事推荐,也没有想太多。
https://www.mongodb.com
有中文的文档,api 还是有一点不一样和mysql,这个我找到了个ide 感觉还是挺好用

448AC461-3049-4E93-8046-B9D27AB59BDF.png

数据库的名称和表的名称是随便起的,应该和业务相关的名称,没有写好。
这样数据的链接,如果是本地

4DAD60FA-A633-4158-AEBE-C72EEACBF808.png

这样你的本地数据库搭建好了,下来就是代码了。。。

代码的环境

python 的工具比较多,ide 也是很多
1.sublime,如果你是h5 或者之前用过这个工具,还是很容易上手的
2.atom ui 漂亮,和sublime 差不多
3.目前在用的Pycharm,这个是比较大而全的ide

这里总结一下

需要下载安装的robomongo + pyCharm + python 基础学习
这样就开始做一个app 的服务端了

DB067EB1-45BF-48E6-B27F-FFBB1BA7C858.png

这里的大数据分析,和逻辑定义,都是在爬虫完成基础上展开的,这里有个最近比较火热的几个名词,算法,机器学习,人工智能,特别是机器学习依靠数据,可是数据收集,对于开始学习的人,手里没有太多数据就要开始依靠爬虫了
通过数据分析和逻辑判断,对于我们的客户端进行数据发送。

爬虫

对于爬虫我在做demo学习的时候,发现对于网站的信息爬取分为静态页面和动态页面
对于静态页面很简单

    dbmanager = DBManager.DBManager()
    db = dbmanager.get_db()
    print 'hello ifanr'
    url = 'http://www.ifanr.com/'
    page = urllib.urlopen(url)
    soup_package = BeautifulSoup(page, "lxml")
    list_array = soup_package.find_all('div', class_="article-item article-item--card ")
    insert_ifanr_db(reversed(list_array))

这里我自己建立了一个数据库管理manager,urlopen--加载网页元素。
BeautifulSoup 元素解析
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
然后插入数据库
这样简单的爬虫搞定了
下一篇继续

上一篇下一篇

猜你喜欢

热点阅读