参照hadoop-0.20.2/docs/quickstart.html
注:ssh-copy-id -i ~/.ssh/id_rsa.pub localhost,我的 用户名是fansxnet
配置我们的hadoop伪分布式,打开下面的页面,配置成功。
mapreduce 9001
hdfs 9000
添加hadoop的eclipse的插件并重起eclipse。
hadoop-0.20.2/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar
配置插件
打开Map/Reduce Locations视图,New hadoop Locations
完成之后,就可以看到我们的分布式文件
新建我们的mapreduce项目hadoop
将hadoop自带的示例程序hadoop-0.20.2/src/examples/复制到我们的项目src目录下
本地新建一个input目录,里面新建两个文件
file1,内容如下
Hello World Bye World
file2,内容如下
Hello Hadoop Goodbye Hadoop
上传input文件夹到hdfs://localhost:9000/user/fansxnet/目录下
运行org.apache.hadoop.examples.WordCount.java
指定输入输出文件夹
hdfs://localhost:9000/user/fansxnet/input hdfs://localhost:9000/user/fansxnet/output
运行完之后刷新hdfs文件夹即可看到统计结果
- 大小: 62.1 KB
- 大小: 128.4 KB
- 大小: 115.4 KB
- 大小: 110.7 KB
- 大小: 188.9 KB
- 大小: 79 KB
分享到:
相关推荐
linux下的eclipse编写hadoop2.7.3测试程序,使程序可以正常运行
用eclipse将Hadoop程序打包成jar及直接设定参数运行
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...
1. 资源包括了eclipse Oxygen版本的hadoop插件,包括winutils 2. 文档详细介绍了windows 下的hadoop版本的配置 3. 实例程序可以跑通,有详细截图
用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果...
本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。
该文档的目录如下: ...1.3.2安装Hadoop- Eclipse Plugin 1.3.3配置Hadoop-Eclipse Plugin 1.3.4在Eclipse 中操作HDFS中的文件 1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
简单的插件用法,支持在本地eclipse里运行hadoop,MapReduce程序,方便简单,灰常好用。
CDH最新版本mapreduce1插件,用于hadoop的开发!便于mapreduce程序的编写和开发!
windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j ...
19 在Windows 上使用eclipse 编写Hadoop 应用程序 24 在Windows 中使用Cygwin 安装HBase 28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 ...
在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件 2、 错误: org.apache.hadoop.io.nativeio.NativeIO$Win dows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决办法: ...
第一章 Hortonworks安装 第二章 在Eclipse中运行Hadoop平台的WordCount程序 第三章 在Eclipse中运行Spark平台的WordCount程序
在eclipse中集成hadoop2控件,能够方便编写mapreduce等程序。在hadoop-2.3.0上运行成功
wordcount单词统计,hadoop程序,可直接放在hadoop环境中运行
Hadoop学习过程中的记录笔记:如何在Eclipse下写第一个MapReduce程序
解决eclipse运行java程序问题。只需要把这个文件放到hadoop-2.8.1文件夹下的bin目录下即可。记得要配置运行前的参数,以及运行前也需要的环境变量呀,不然运行结果可能有错。
056 使用Eclipse运行MyWordCount程序并解决PriviledgedActionException问题 057 MyWordCount 处理过程详解 058 MapReduce提交作业源码跟踪讲解 059 MR作业运行流程整体分析 060 MapReduce执行流程之Shuffle和排序...