Hadoop, HBase, Hive, ZooKeeper默认端口说明_蘑菇丁的博客-CSDN博客
Hadoop, HBase, Hive, ZooKeeper默认端口说明
蘑菇丁
于 2016-10-21 16:15:00 发布
15289
收藏
21
分类专栏：
学习笔记
学习笔记
专栏收录该内容
68 篇文章
2 订阅
订阅专栏
Hadoop, HBase, Hive, ZooKeeper默认端口说明
组件Daemon端口配置说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输  50075dfs.datanode.http.addresshttp服务的端口  50475dfs.datanode.https.addresshttps服务的端口  50020dfs.datanode.ipc.addressipc服务的端口 NameNode50070dfs.namenode.http-addresshttp服务的端口  50470dfs.namenode.https-addresshttps服务的端口  8020fs.defaultFS接收Client连接的RPC端口，用于获取文件系统metadata信息。 journalnode8485dfs.journalnode.rpc-addressRPC服务  8480dfs.journalnode.http-addressHTTP服务 ZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController，用于NN HAYARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口  8030yarn.resourcemanager.scheduler.addressscheduler组件的IPC端口  8031yarn.resourcemanager.resource-tracker.addressIPC  8033yarn.resourcemanager.admin.addressIPC  8088yarn.resourcemanager.webapp.addresshttp服务端口 NodeManager8040yarn.nodemanager.localizer.addresslocalizer IPC  8042yarn.nodemanager.webapp.addresshttp服务端口  8041yarn.nodemanager.addressNM中container manager的端口 JobHistory Server10020mapreduce.jobhistory.addressIPC  19888mapreduce.jobhistory.webapp.addresshttp服务端口HBaseMaster60000hbase.master.portIPC  60010hbase.master.info.porthttp服务端口 RegionServer60020hbase.regionserver.portIPC  60030hbase.regionserver.info.porthttp服务端口 HQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。  2888hbase.zookeeper.peerportHBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。  3888hbase.zookeeper.leaderportHBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。HiveMetastore9083/etc/default/hive-metastore中export PORT=<port>来更新默认端口  HiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPort=<port>对客户端提供服务的端口  2888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分follower用来连接到leader，只在leader上监听该端口。  3888/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分用于leader选举的。只在electionAlg是1,2或3(默认)时需要。
所有端口协议均基于TCP。
对于存在Web UI（HTTP服务）的所有hadoop daemon，有如下url：
/logs 日志文件列表，用于下载和查看
/logLevel 允许你设定log4j的日志记录级别，类似于hadoop daemonlog
/stacks 所有线程的stack trace，对于debug很有帮助
/jmx 服务端的Metrics，以JSON格式输出。
/jmx?qry=Hadoop:*会返回所有hadoop相关指标。 /jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。 这个请求的处理类：org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路径特定相应信息。
NameNode:http://:50070/
/dfshealth.jsp HDFS信息页面，其中有链接可以查看文件系统
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE) 显示DEAD或LIVE状态的datanode
/fsck 运行fsck命令，不推荐在集群繁忙时使用！
DataNode:http://:50075/
/blockScannerReport 每个datanode都会指定间隔验证块信息
蘑菇丁
关注
关注
点赞
21
收藏
评论
Hadoop, HBase, Hive, ZooKeeper默认端口说明
Hadoop, HBase, Hive, ZooKeeper默认端口说明组件Daemon端口配置说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输  50075dfs.datanode.http.addresshttp服务的端口 
复制链接
扫一扫
专栏目录
hadoop 常用端口记录
qq_22478923的博客
02-20
7860
端口
用途
9000
fs.defaultFS，如：hdfs://172.25.40.171:9000
9001
dfs.namenode.rpc-address，DataNode会连接这个端口
50070
dfs.namenode.http-address
50470
dfs.namenode.https-ad
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口作用
9000fs.defaultFS，如：hdfs://172.25.40.171:9000
9001dfs.namenode.rpc-address，DataNode会连接这个端口
50070dfs.namenode.http-address
50470dfs.namenode.https-address
50100dfs.namenode.backup.address
50105dfs.namenode.backup.http-address
50090dfs.namenode.secondary.http-address，如：172.25.39.166:50090
50091dfs.namenode.secondary.https-address，如：172.25.39.166:50091
50020dfs.datanode.ipc.address
50075dfs.datanode.http.address
50475dfs.datanode.https.address
50010dfs.datanode.address，DataNode的数据传输端口
8480dfs.journalnode.rpc-address
8481dfs.journalnode.https-address
8032yarn.resourcemanager.address
评论 1
您还未登录，请先
登录
后发表或查看评论
大数据Hadoop集群之超级详细的HBase搭建
最新发布
派大星子的博客
11-22
460
大数据Hadoop集群之HBase搭建
HIVE修改默认端口
weixin_43159039的博客
12-22
3206
HIVE修改默认端口
【hive】集群外访问hive所需开通的端口
qq_18239343的博客
03-23
3734
【hive】集群外访问hive所需开通的端口
Hadoop各个组件与端口
weixin_30797027的博客
12-27
355
组件
Daemon
端口
配置
说明
HDFS
DataNode
50010
dfs.datanode.address
datanode服务端口，用于数据传输
HDFS
DataNode
50075
dfs.datanode.http.address
http服务的端口
HDFS
DataNode
50475
dfs.da...
启动hbase自动关闭，查看日志连接端口8020拒绝连接
zhm的博客
10-25
2256
连接master:8020时出错，8020是hdfs的默认端口，但是在配置hadoop集群时在core-site.xml中将hdfs的默认端口改为了9000。如果在安装hbase的时候没有配置好指定hdfs的端口，那么在hbase启动后它会去找hdfs的默认端口8020，于是就导致了上面的错误。
解决方案：
在配置hbase.rootdir属性时显式指定hdfs的端口为9000，配置文件修改如下：...
Hadoop端口8020 9000 50070
热门推荐
一数博客
07-14
1万+
Hadoop端口理解hadoop端口理解8020900050070IDEA BUG
hadoop端口理解
8020
8020端口在hadoop1.x中默认承担着namenode 和 datanode之间的心跳通信，且也兼顾着FileSystem默认的端口号(就是hdfs客户端访问hdfs集群的RPC通信端口)，
但是在hadoop2.x中，8020只承担了namenode 和 datanode之间的心跳通信，当然这些端口的设置是指的默认设置。
<property>
<name>fs
HBASE默认端口
lansye的专栏
06-10
3744
HBASE默认端口
Hadoop、Hive、Hbase常用端口大全
zp17834994071的博客
09-02
7419
前面所说的hadoop、hive、hbase中会遇到各种端口，有的是默认的，有的是启动时要配置的端口，那么具体的端口对应的是哪个呢，配置参数又是什么呢？今天给大家整理下。
首先说下hadoop中的常用端口：
在此之前，先说下启动tomcat的端口，我想大家都不陌生，在IDEA上发布Java工程项目到Tomcat上使用的就是8080端口，不知道大家还有没有印象,还有我们设置的免密ssh，端口是22.
hadoop中的常用端口
HDFS中的端口
内部可使用端口
YARN相关端口
Hive相关端口
Hba
Hadoop 1.X & Hadoop 2.X 默认端口对比
二十三小时
11-02
1875
1，Hadoop 2.X 默认端口
组件
节点
默认端口
配置
用途说明
HDFS
DataNode
50010
dfs.datanode.address
datanode服务端口，用于数据传输
HDFS
DataNode
50075
dfs.datanode.http.address
http服务的端口
HDFS
Data
HBase服务端配置优化策略
段渣渣推轮子的飙车场
07-05
297
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～
HBase服务端配置优化策略
影响HBASE性能的几个因素
JVM内存分配与GC回收策略
与HBASE运行机制相关的部分配置不合理
表结构设计及用户使用方式不合理
HBASE影响性能的几个操作
compact 操作
当HBASE写入时当memstore达到一定的大小会flush到磁盘保存成HFile，...
linux查看hive端口,Hive连接HDFS端口错误解决方法
weixin_32365089的博客
04-30
787
在我电脑里面： Hadoop1.2.1中fs.default.name=hdfs://localhost:9000Hadoop2.2.0中fs.default.name=hdfs://localhost:8020所以 hdfs://localhost:9000/home/wyp/cloud/hive/warehouse/cite其中、home/wyp/cloud/hive/warehouse/是配...
Hadoop3.x修改默认配置
坚哥笔记
11-17
217
有时集群可能与现有端口冲突，或者出于安全考虑会要修改默认端口或存储。下面列出了整理的常用配置项。
一、修改默认端口
涉及组件
配置项
默认端口
修改后端口
配置文件
zookeeper
端口
2181
123XX
zkui
9093
123XX
/app/zkui/config.cfg
hadoop
namenode的web访问
9870
123XX
hdsf-site.xml / dfs.namenode.http-address.mycluster.nn1
hadoop
Hadoop常用端口的配置
junehappylove（王俊伟）的专栏
03-05
848
以下列表常用的hadoop配置端口
基于hadoop2.7.4所列，不过不同hadoop版本在端口配置上所指意义基本是不变化的，如有例外请自查
1.HDFS端口
参数
描述
默认
配置文件
例子值
fs.default.name namenode
namenode RPC交互端口
8020
core-site.xml
hdfs://master:8020/
dfs.http...
Hadoop默认端口说明
zzhongcy的专栏
02-25
1万+
Hadoop默认端口说明
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。
这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。
组件
hive的10000端口启动不起来及beeline启动报错问题
技术探求
02-22
3153
1 问题点及参考文章
有些前辈大佬把问题总结的很好，让人有所启发和受益，因此先把参考到的文章贴出来。
1.1 如果在hive-site.xml中配置了metastore请先开启metastore和hiveserver2
1）【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结
2）启动hive时连接不到10000端口可能遇见的问题
3）记录初学者学习Hive时踩过的坑
开启 metastore
hive --service metastore &
开启 hive
linux查看hive端口,hive 使用JDBC访问 跟启动远程端口
weixin_34961316的博客
04-30
587
hive使用jdbc进行访问，要求我们必须开启远程可以访问的端口， 其中端口11000是随机的，可以是10002或者别的端口，这设定好好 java代码链接时候就要使用开启好的端口。linux shell下执行 hive --service hiveserver -p 11000 >/dev/null 2>&1 &然后使用 netstat -anp | grep 11...
Hive的访问接口
上帝之手
02-09
1万+
Hive提供了三种客户端访问接口：
1）Hive CLI（Hive Command Line，Hive命令行），客户端可以直接在命令行模式下进行操作。
2）hwi（Hive Web Interface，Hive Web接口），Hive提供了更直观的Web界面
3）hiveserver，Hive提供了Thrift服务，Thrift客户端目前支持C++/Java/PHP/Python
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
蘑菇丁
CSDN认证博客专家
CSDN认证企业博客
码龄13年
暂无认证
223
原创
3万+
周排名
16万+
总排名
57万+
访问
等级
7487
积分
107
粉丝
72
获赞
98
评论
278
收藏
私信
关注
热门文章
hive里如何快速查看表中有多少记录数
28586
kafka消费不到消息原因
26940
supervisorctl 基本命令
24044
elasticsearch磁盘空间满了故障处理思路
23607
Hadoop, HBase, Hive, ZooKeeper默认端口说明
15289
分类专栏
大数据+机器学习+oracle
56篇
随笔
10篇
学习笔记
68篇
实验
53篇
经验
110篇
SQL优化案例
11篇
linux
14篇
脚本
8篇
心情
1篇
hadoop
59篇
unbuntu
1篇
mysql
4篇
oracle
59篇
hbase
7篇
kerberos
6篇
hive
10篇
hue
1篇
flume
1篇
ES
4篇
机器学习
5篇
爬虫
1篇
面试题
3篇
docker
4篇
报错
1篇
python
7篇
salt
1篇
最新评论
Hive on spark 报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark
小猪162:
老哥解决这个问题了吗
Hive on spark 报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark
小猪162:
老哥解决这个问题了吗
求助：cdh6.2安装到选择存储库后点击继续无反应怎么破
极乐空间圣达菲:
也遇到了这个问题，怎么解决的呢
yarn和cpu调优---转载
weixin_41006297:
yarn.scheduler.maximum-allocation-vcores 这个是每个container最大的cpu核数吧，不是一个任务，一台机器上可以跑很多个container，你的nodemanager机器cpu不会被跑爆掉么
The maximum allocation for every container request at the RM in MBs. Memory requests higher than this will throw an InvalidResourceRequestException.
大数据开发面试题
李大十:
lag lead 错位相减一下 再做进一步判断
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
如何监控ping 某个主机不同发送钉钉报警
安装walle2.0
Hue中添加hive自定义函数
2022年1篇
2021年1篇
2020年3篇
2019年58篇
2018年55篇
2017年58篇
2016年38篇
2014年18篇
2013年57篇
目录
目录
分类专栏
大数据+机器学习+oracle
56篇
随笔
10篇
学习笔记
68篇
实验
53篇
经验
110篇
SQL优化案例
11篇
linux
14篇
脚本
8篇
心情
1篇
hadoop
59篇
unbuntu
1篇
mysql
4篇
oracle
59篇
hbase
7篇
kerberos
6篇
hive
10篇
hue
1篇
flume
1篇
ES
4篇
机器学习
5篇
爬虫
1篇
面试题
3篇
docker
4篇
报错
1篇
python
7篇
salt
1篇
目录
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值