【学习】hadoop各种问题
1、端口指南
https://blog.csdn.net/u011563666/article/details/79026114
用于 https服务的端口就是直接可以通过网址访问的，比如
NameNode - http://localhost:9870 (原来是50070，改为了9870)
ResourceManager - http://localhost:8088
2、python权限
用python上传文件到hadoop显示没有权限，直接在终端里面是可以操作的，查看了一下，hadoop文件价原本的权限是：
rw-r--r--，第一部分RW-代表当前用户具有读写的权限。第二部分的R--代表当前用户所在的用户组中其他成员只有读得权限，最后一个R--表示额外的其他用户只有读得权限。
所以用命令更改文件夹权限为rwx rwx rwx那么普通用户就可以成功的访问hdfs了，可以执行写入hadoop 分布式文件系统。
https://blog.csdn.net/OldDirverHelpMe/article/details/90144986
3、mysql权限
mysql执行导出任务时，显示报错：
select * from top_value into outfile '/Users/ranmo/Desktop/数据分析案例/top_value.csv';
OS errno 13 - Permission denied
所以是权限问题：https://www.cnblogs.com/puloieswind/p/5845638.html
要么是导出目标文件夹没有权限，要么是数据库没有权限。
用ls -l命令查看目标文件夹权限后，执行chmod -R 777 /Users/ranmo/Desktop/数据分析案例/ ，此时目标文件夹有权限但是仍旧无法导入。
推测是数据库没有权限，执行cd /usr/local/mysql/data/ 竟然都无法进去，用chmod -R 777 /usr/local/mysql/data/ 赋予权限也不行，只能采用手动前往目录文件夹——显示简介—更改权限的方法人工调整，之后数据库能进来了，但是也只有采用人工调整的办法更改所有文件权限，更改之后：
(base) ranmodeiMac:data ranmo$ ls -l
total 338248
drwxrwxrwx 12 _mysql _mysql 408 7 23 23:51 #innodb_temp
-rw-r----- 1 _mysql _mysql 56 7 23 02:52 auto.cnf
-rw-r----- 1 _mysql _mysql 667 7 23 02:52 binlog.000001
-rw-r----- 1 _mysql _mysql 83865 7 23 20:26 binlog.000002
-rw-r----- 1 _mysql _mysql 178 7 23 23:40 binlog.000003
-rw-r----- 1 _mysql _mysql 178 7 23 23:44 binlog.000004
-rw-r----- 1 _mysql _mysql 178 7 23 23:48 binlog.000005
-rw-r----- 1 _mysql _mysql 178 7 23 23:51 binlog.000006
-rw-r----- 1 _mysql _mysql 155 7 23 23:51 binlog.000007
-rw-r----- 1 _mysql _mysql 112 7 23 23:51 binlog.index
-rw------- 1 _mysql _mysql 1676 7 23 02:52 ca-key.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 ca.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 client-cert.pem
-rw------- 1 _mysql _mysql 1676 7 23 02:52 client-key.pem
drwxrwxrwx 77 _mysql _mysql 2618 7 23 03:16 hive
-rw-r----- 1 _mysql _mysql 3858 7 23 23:51 ib_buffer_pool
-rw-r----- 1 _mysql _mysql 50331648 7 23 23:51 ib_logfile0
-rw-r----- 1 _mysql _mysql 50331648 7 23 02:52 ib_logfile1
-rw-r----- 1 _mysql _mysql 12582912 7 23 23:51 ibdata1
-rw-r----- 1 _mysql _mysql 12582912 7 23 23:51 ibtmp1
drwxrwxrwx 8 _mysql _mysql 272 7 23 02:52 mysql
-rw-r----- 1 _mysql _mysql 24117248 7 23 23:51 mysql.ibd
-rw-r----- 1 _mysql _mysql 7959 7 23 23:51 mysqld.local.err
-rw-r----- 1 _mysql _mysql 5 7 23 23:51 mysqld.local.pid
drwxrwxrwx 105 _mysql _mysql 3570 7 23 02:52 performance_schema
-rw------- 1 _mysql _mysql 1680 7 23 02:52 private_key.pem
-rw-r--r-- 1 _mysql _mysql 452 7 23 02:52 public_key.pem
-rw-r--r-- 1 _mysql _mysql 1112 7 23 02:52 server-cert.pem
-rw------- 1 _mysql _mysql 1676 7 23 02:52 server-key.pem
drwxrwxrwx 3 _mysql _mysql 102 7 23 02:52 sys
-rw-r----- 1 _mysql _mysql 11534336 7 23 23:51 undo_001
-rw-r----- 1 _mysql _mysql 11534336 7 23 23:40 undo_002
几个库，包括hive库是全权限啊，然而还是无法导出。。。
最后参考这个办法，成功了：
https://blog.csdn.net/zx1245773445/article/details/82316268
http://www.360doc.com/content/15/1231/20/1073512_524491459.shtml
所以其实还是数据库权限问题，只能先导出到临时目录，再进行转换了。
4、shell中操作mysql问题：
https://blog.csdn.net/long12310225/article/details/77521957
在shell中进入mysql然后单独执行sql语句没有任何问题，最后也可以用quit；退出，
但是如果是执行sh脚本，脚本中用eof执行sql语句的话，就不一样了？！！一个是创建新表列名不能喊引号’，还有最后退出是exit 不是quit； ？？目前遇到这些问题，可能之后还有更多问题。
5、mac shell定时
https://www.jianshu.com/p/bc3441f88e36
