[kaggle]DC比赛进程2

2016-11-16 本文已影响86人 HOHOOO

周末公司计算系统崩了。也没想好用什么怎么进行数据处理。
周一和经理汇报工作时，得到了支持。适当可以申请，使用生产环境。
公司测试环境基本够用，180 vcores + 180G memory(一个任务30/30)
重新启用了之前的一个AWS的计算环境(1 vcores /1G memory/30G SSD)。网址：Rstudio
账号rstudio/密码rstudio。可以作为代码共享的环境，或者是跑超级小的非并行的demo；
同时，所有人可以通过teamviewer访问到我在公司的笔记本（名字叫DC比赛，配置低，有点小卡），通过笔记本访问集群（10.23.208.10）进行计算

teamviewer界面

打开xshell

teamviewer.gif

另外，如有特殊需求，可以向我请示之后使用公司的台式机（我办公用的，所以不是一直开放的）

一般情况下我在使用

teamviewer或者AWS都可以通过移动端访问，但都是单向连接的。所以大多数情况下，你们还得再自己的IDE上试验小量数据。

tips：

推荐使用编辑器或者手写记录算法或试验的操作；
有什么问题需要演示可以录制gif或者视频；

关于本次会议：

理论上来讲应该在浙江嘉兴召开
先来定个可预期的小目标：挺进复赛
关于选题，50G的数据的数据量是我目前见到的最大量的比赛数据，背后的需要的计算环境，AWS上中等环境应该在$1以上。所以能排除很多人。但同时参与进来的也觉非等闲之辈，好坏参半吧，收获才是最重要的。
关于个人能力，大家最好再来介绍下：

介绍个人在算法 / 编程 / 编辑方面的能力；更愿意承担的工作；
能拿出来参与比赛的时间，中间会有什么个人的重要时间节点；
以下为个人示例：

我对三个方面没有偏重，但鉴于大家对计算环境不太了解，我更倾向于承担编程方面的工作，当然是会参与算法的研究和迭代的；
基本每天晚上的9:30之后、周末的一部分时间、上班的闲暇之余均可以。
之前的工作与本次比赛可能用到的地方：
用户驾驶行为评分 / 用户画像分析 / GPS、G-sensor原始数据清洗校准 / 自动化数据报告。。。etc.

关于之后的开会时间提案：
会议时间为周三晚上8:30大会/周六晚上的简单进程汇报；
队长我先来吧，后期想锻炼的同学可以来体验下。

稍后我把一些简单的数据处理操作示例给大家录gif。

我的提案：
周六晚上前，必须完成如下任务中的一项：

两篇强相关文献，及文献解读，可借鉴地方说明；
一个可复现的案例（代码、算法可复现），并说明可借鉴地方，纽约taxi的案例也行，这方面有大量素材；
提出自己的算法文档或流程，不需要完备。

昨天简单试验

上传数据

注意：ID string,lat string,lon double,status int,stamp string

hadoop fs -mkdir /user/yyl;
hadoop fs -put /root/temp/* /user/yyl/hoho/;
#导入过程中发现缺少7、13两天数据，原因未知。

create table if not exists trip_stat_hoho (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' lines terminated by '\n' stored as textfile;

load data '/user/yyl/hoho/*' into table trip_stat_hoho;

load data inpath '/user/yyl/hoho/*' into table trip_stat_hoho;
"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")
sql(hiveContext,"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")

简单分析
在spark中执行了count：
除去一个放在dropbox的文件共43G

近十亿条数据

[kaggle]DC比赛进程2

猜你喜欢

热点阅读