主节点操作

改名字,改为master,hosts
改hadoop的slaves加四个xml
slaves是加一个节点就要改一次

从节点操作

  1. 新建hadoop用户,修改权限,赋予权限
    ALL =…
  2. 改好主机名,按node01 node02……规则
  3. 配好ssh,保证可以通信
    关防火墙,iptables stop
    关selinux
    自ssh可以,主对从可以免密ssh
  4. 用scp传jdk和hadoop到从节点的tmp目录下
    可能会出现权限问题,使用tmp目录则不要紧,文件夹权限问题
  5. 配jdk和hadoop的环境变量
    新建一个java目录,如usr/local/java,将之放入,hadoop同理
    改./bashrc添加路径
    改./etc/profile添加路径
    source文件 重载刷新
    检查:直接java和hadoop回显相关信息
  6. 配置hadoop
    改五个文件,特别注意,从主节点cp过来的hadoop是已经配好的,无需动
    slaves仍然要改
    检测: reboot
    start-all.sh
    hadoop dfsadmin -report显示正确
    jps主从点显示正常进程
    要关闭安全模式
    dfsadmin safemode leave

<< 更多精彩尽在『程序萌部落』>>
<< https://www.cxmoe.com >>

  1. 运行实例
    在hdfs新建一个文件夹
    构造一个input输入文件夹带数据
    运行hadoop文件夹中share里的用例
    在hdfs中ls output
    get output到本地再查看内容
    完成

  2. 其他配置
    zookeeper
    hbase
    hive pig mahout
    sqoop flume
    Ambari
    此部分配置spark,依附于hadoop集群



😒 留下您对该文章的评价 😄



 评论




全站共计 313.7k 字,自豪地使用 Volantis 主题

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议