大数据之Hadoop进行文件管理_如何扩展hadoop文件系统的功能,使其具有更加强大的文件管理的功能。-程序员宅基地

1.hadoop查看目标文件

hadoop fs -ls /{目标文件路径}

2.hadoop删除目标文件

hadoop fs -rm /{目标文件路径}

3.上传文件至目标路径

hadoop fs -put /{本地文件路径}  /{目标文件路径}

4.默认hdfs会将文件保存三份,可以通过修改../hadoop/etc/hadoop/hdfs-site.xml中的dfs.replication的值来调整存储的份数
格式为:

<property>
    <name>dfs.replication</name>
    <value>3(根据需要设定的值)</value>
</property>

5.自动冗余--当某一datanode挂掉,系统会自动检测并将挂掉的datanode上存储的数据从其他存储有相应数据的datanode上拷贝至其他datanode上存储,从而始终保证整个集群中的数据份数与hdfs-site.xml中设置的一致

6.自动检测datanode是否存活需要设置namenode上的hdfs-site.xml中的dfs.namenode.heartbeat.recheck-interval,默认值为300000毫秒,可根据需要进行调整:

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000(根据需要设定的值)</value>
</property>

  修改过配置文件后,重启namenode使配置生效

7.可通过在namenode节点上添加管理的slaves来实现横向扩展

vi /.../hadoop/etc/hadoop/slaves

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiaoap009/article/details/86444207

智能推荐

怎么开启windows hypervisor platform,解决hypervisor platform消失无法安装的问题-程序员宅基地

文章浏览阅读3.7w次,点赞7次,收藏24次。正常的windows功能面板我的很好,没有安装windows hypervisor platform的机会,但是没关系然后cmd 或powershll 管理员身份运行Dism /online /Get-Features可以查看到hypervisor platform是禁用状态pushd “%~dp0”dir /b %SystemRoot%\servicing\Packages*..._windows hypervisor platform

MediaPlayer(二)--MediaPlayer基本框架_mediaplayerclassfactory-程序员宅基地

文章浏览阅读596次。MediaPlayer涉及的的文件路径这里参考的是android8.1 的代码JAVA类的路径:frameworks/base/media/java/android/media/MediaPlayer.javaJNI路径:frameworks/base/media/jni/android_media_MediaPlayer.cpp编译为 libmedia_jni.sonative 层的接口frameworks/av/media/libmedia编译为 libmedia.sonative层_mediaplayerclassfactory

精选微软等公司数据结构+算法面试100题带答案(41-60)_数据结构中len=sizeof(data)/sizeof(int)-1-程序员宅基地

文章浏览阅读3.7k次。41、求固晶机的晶元查找程序。晶元盘由数目不详的大小一样的晶元组成,晶元并不一定全布满晶元盘,照相机每次这能匹配一个晶元,如匹配过,则拾取该晶元,若匹配不过,照相机则按测好的晶元间距移到下一个位置。求遍历晶元盘的算法 求思路。(不懂)42、两个非降序链表的并集,1->2->3 和 2->3->5 并为 1->2->3->5。另外只能输出结果,不能修改两个链表的数据。思路:只用输出结果,并不_数据结构中len=sizeof(data)/sizeof(int)-1

C语言最全操作符详解,一文精通所有操作符!_c语言操作符 >> <<-程序员宅基地

文章浏览阅读4.2k次,点赞15次,收藏58次。提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、除号“/”二、"%"除法取余数三、左移操作符“<<”和右移操作符“>>”1.左移操作符2.右移操作符四、按位与“&”五、按位或“|”六、按位异或“^”七、赋值操作符“=”和复合赋值操作符1.赋值操作符2.复合赋值操作符八、逻辑非“!”九、&取地址操作符和*解引用操作符十、sizeof操作符十一、按位取反操作符“~”十二、强制类型转换操作符 (类型)十三、双目操作符:逻辑与&&a_c语言操作符 >> <<

GEC6818开发板使用和配置-程序员宅基地

文章浏览阅读1.8w次,点赞15次,收藏89次。GEC6818开发板使用和配置❥(^_-) GEC1808开发板简介极致低功耗强大 AI 运算能力面向 AIoT 应用的丰富接口易于开发主控芯片特性参数❥(^_-) 常用接口说明电源接口调试串口CSI摄像头接口以太网接口音频输入接口LCD接口❥(^_-) 开发板功能❥(^_-) 常用接口说明电源接口调试串口USB-OTG接口以太网接口音频接口_gec6818开发板

Android4.2关于bluetooth在HAL层的分析_bluetooth hal-程序员宅基地

文章浏览阅读1.2k次。1.一些常用的数据结构hardware/libhardware/include/hardware.h中定义了三个重要的结构:struct hw_module_t; //模块类型struct hw_module_methods_t; //模块方法struct hw_device_t; //设备类型hw_module_t中包含结构_bluetooth hal

随便推点

GEE(5):关于使用Google Earth Engine上传shp文件时属性表乱码的问题_gee上传的shp-程序员宅基地

文章浏览阅读2.3k次,点赞3次,收藏14次。如图所示,当我使用Google Earth Engine(GEE)上传shp文件时,可以上传成功,但出现了属性表中中文乱码的情况。这是由于在使用GEE导入shp文件时,字符编码方式为“utf-8”,而我们的shp文件编码格式不是utf-8导致的,通常我们的文件的编码方式为“GBK”格式,因此需要对其进行修改。.我用的arcgis软件是10.2版本,这个版本导出的shp文件回出现乱码 所以我们只需处理10.2版本问题,具体步骤如下:..._gee上传的shp

安卓手机上最好的3个txt阅读器_安卓最好 离线 阅读 txt-程序员宅基地

文章浏览阅读1.3w次。txt格式是一款非常常见的电子书格式,很多手机由于自身不能直接打开txt格式文件或者软件使用感较差而给我们阅读带来困扰。今天小编就为大家介绍3款可以在安卓手机上使用的txt阅读器。第一款:neat reader 这款阅读器界面设计相当整洁,色调以淡蓝色和白色为主,整体阅读视觉感舒适,在阅读的基础功能上,书签,高亮,注释这些在阅读时需要的功能都可以满足,可以在阅读时同步记录笔记,具有多种配色组合用户可以自由搭配,支持词典查询,用户在进行英文阅读时可以随时查询不懂的语句。值得一提的是,这款阅读器不.._安卓最好 离线 阅读 txt

水下图像增强技术研究进展_基于安卓的水下图像增强-程序员宅基地

文章浏览阅读6.4k次,点赞5次,收藏44次。本人硕士阶段研究偏于图像处理,计算机视觉,然后着重研究领域是关于水下图像增强,在此记录一些自己的学习过程和总结。1.图像增强技术总览这是我总结的关于低光照增强和水下图像增强的两个领域的研究进展和主要方法,另外图像增强还包括图像去雨,图像去雾,图像去模糊,超分辨等各种技术。下面针对水下图像增强,我做了一些实验,结果如下图所示:可以看到图像效果有明显提升,在主观和客观评价上也有这不错的结果,由于论文还没online,就先不放代码,当然也存在一些缺点,所有期待大家一起..._基于安卓的水下图像增强

【精选】金属工件表面缺陷图像分割系统:DLA34骨干网络改进YOLOv5-程序员宅基地

文章浏览阅读151次。【精选】金属工件表面缺陷图像分割系统:DLA34骨干网络改进YOLOv5_dla34

【Unity】模型文件格式、常见3D模型格式_psk格式-程序员宅基地

文章浏览阅读1.5w次,点赞29次,收藏76次。除非在计算机上安装了相应的 3D 建模软件,否则保存为 .ma、.mb、.max、.c4d 或 .blend 文件的资源将无法导入。.obj文件是Alias|Wavefront公司为它的一套基于工作站的3D建模和动画软件"Advanced Visualizer"开发的一种标准3D模型文件格式,很适合用于3D软件模型之间的互导。.fbx最大的用途是用在诸如在 Max、Maya、Softimage 等软件间进行模型、材质、动作和摄影机信息的互导,这样就可以发挥 Max 和 Maya 等软件的优势。_psk格式

LTE NAS 安全相关过程 24.301 33.401-程序员宅基地

文章浏览阅读565次。https://wenku.baidu.com/view/f4c3523110661ed9ad51f3f0.html_24.301

推荐文章

热门文章

相关标签