博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问
阅读量:7065 次
发布时间:2019-06-28

本文共 1037 字,大约阅读时间需要 3 分钟。

1、TcpPeerServer的数据接收缓冲区大小

        Hadoop-2.7.0的DataXceiverServer中,在DataNode中对其初始化时,会构造一个TcpPeerServer,并设置数据接收缓冲区大小如下:

tcpPeerServer.setReceiveBufferSize(HdfsConstants.DEFAULT_DATA_SOCKET_SIZE);
        这个HdfsConstants.DEFAULT_DATA_SOCKET_SIZE是个常量,大小为128KB,如下:

// TODO should be conf injected?  public static final int DEFAULT_DATA_SOCKET_SIZE = 128 * 1024;
        这个TcpPeerServer的数据接收缓冲区大小固定为128KB,是否经过大量测试?是否符合大多数集群?是否有必要做成参数?

2、DataXceiverServer线程监听读写事件内存繁忙时等待时间大小

        DataXceiverServer线程在监听读写事件时,如果发生OutOfMemoryError错误,说明集群读写繁忙,内存紧张,此时DataXceiverServer线程会等待30s,然后继续run中的循环,监听读写事件,如下:

} catch (OutOfMemoryError ie) {        IOUtils.cleanup(null, peer);        // DataNode can run out of memory if there is too many transfers.        // Log the event, Sleep for 30 seconds, other transfers may complete by        // then.        LOG.error("DataNode is out of memory. Will retry in 30 seconds.", ie);        try {          Thread.sleep(30 * 1000);        } catch (InterruptedException e) {          // ignore        }
        这个30s是否合理?是否应该做成参数。

        TODO:

        有时间时专门测试下,看看是否有优化可能。

转载地址:http://phill.baihongyu.com/

你可能感兴趣的文章
java android 将小数度数转换为度分秒格式
查看>>
一张图知道HTML5布局(图)
查看>>
LINQ To SQL在N层应用程序中的CUD操作、批量删除、批量更新
查看>>
在网站开发中很有用的8个 jQuery 效果【附源码】
查看>>
桥牌笔记:Skill Level 4 D8
查看>>
[翻译] RSKImageCropper
查看>>
javaweb学习总结(三十)——EL函数库
查看>>
我在开发第一个Swift App过程中学到的四件事
查看>>
DataGridView隔行显示不同的颜色
查看>>
在C#后端处理一些结果然传给前端Javascript或是jQuery
查看>>
Android灭亡论之Firefox OS操作系统出现
查看>>
Mean Shift具体介绍
查看>>
递归与尾递归(C语言)
查看>>
【phonegap】下载文件
查看>>
Web Service单元测试工具实例介绍之SoapUI
查看>>
谈谈javascript语法里一些难点问题(一)
查看>>
【BZOJ】1082: [SCOI2005]栅栏(二分+dfs)
查看>>
通过递归组合多维数组!
查看>>
ocp 1Z0-051 23-70题解析
查看>>
关于MFLAGS与MAKEFLAGS
查看>>