【Hadoop】HDFS的常见Java操作
文章目录1. 上传文件到HDFS2. 下载HDFS文件3. 删除HDFS文件 本文仅记录上传文件、下载文件和删除文件三个操作。这三个操作有着相似的逻辑，都是先创建...
flume环境配置-传输Hadoop日志（namenode或datanode日志）
解压文件 修改文件名 配置环境变量 执行flume-ng version 将flume-env.sh.template改名为flume-env.sh 并修改其配置 启动Flume传输...
Hadoop的mapper和reducer的个数如何确定？reducer的个数依据是什么？
参考答案：map数量影响map个数（split个数）的主要因素有：文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个...
Hadoop/Hive/Spark小文件处理
什么是小文件 小文件指的是文件size比HDFS的block size小很多的文件。Hadoop适合处理少量的大文件而不是大量的小文件。 hadoop小文件常规的处理方式 1、小文件导致的问题...
CDH hadoop-hdfs-fuse的安装使用
参考文档： http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5...
记录第一次搭建hadoop(hadoop2.9.2版本by虚拟机CentOS-6.5)伪分布式集群
前期准备. 对虚拟机的网络和ip进行设置使用root用户进入操作系统关闭防火墙- chkconfig iptables off禁用selinux...