地铁杂记

1.上次提到的shell批量mv文件. 会存在很严重的性能问题.如果开多进程.造成机器cpu打满.机器宕机.另外每起一个 需要启动jvm 消耗256m内存 .需要评估资源 防止没有内存. 尽管如此我shell效率极低

解决办法：使用java调用filesysytem api来实现.可以用多线程.容易控制且效率高

2. 读取sequencefile的时候 有些文件损坏了最后一行没有标示 导致程序退出

解决办法：修改job的输入类型 combinesequencefile 及相关的read方法 捕获异常 值得注意的是需要把相关类都倒入 最后引入自己的formate

3.yarn调度是.某些任务提交不上去.查看总core数和mem 发现某个子队列有大任务占资源过多 已经剩余core 位reserved状态 导致其他队列没有获取到资源.

解决办法：kill掉应用 .登陆节点机 修改公平调度文件 合理调配每个队列的min max

4. 定位问题： jps 找到pid 或者ps aux—forest 查看进程数 再通过jstack查看具体信息.

|-xargs L1 command 管道获取并传参给command