本地eclipse运行 hadoop-2.6 mapreduce 报错,求助

问题描述

本地eclipse运行 hadoop-2.6 mapreduce 报错,求助

报错信息是:
2016-02-26 11:24:07,722 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1174)) - session.id is deprecated. Instead, use dfs.metrics.session-id
2016-02-26 11:24:07,727 INFO [main] jvm.JvmMetrics (JvmMetrics.java:init(76)) - Initializing JVM Metrics with processName=JobTracker, sessionId=
2016-02-26 11:24:08,081 WARN [main] mapreduce.JobResourceUploader (JobResourceUploader.java:uploadFiles(171)) - No job jar file set. User classes may not be found. See Job or Job#setJar(String).
2016-02-26 11:24:08,091 INFO [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(252)) - Cleaning up the staging area file:/tmp/hadoop-fire/mapred/staging/fire1322517587/.staging/job_local1322517587_0001
2016-02-26 11:24:08,095 WARN [main] security.UserGroupInformation (UserGroupInformation.java:doAs(1674)) - PriviledgedActionException as:fire (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/user/fire/dedup_in
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/user/fire/dedup_in
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:304)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:321)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:199)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)
at com.hebut.mr.Dedup.main(Dedup.java:135)

解决方案

没人回答,我搞好了,自己说下原因吧
其实就是配置的文件路径不对,
修改设置文件路径的代码:
String[] ioArgs=new String[]{"hdfs://192.168.10.231:9000/user/fire/dedup_in","hdfs://192.168.10.231:9000/user/fire/dedup_out"};
//设置输入和输出目录
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
时间: 2016-08-30

本地eclipse运行 hadoop-2.6 mapreduce 报错,求助的相关文章

windows 7环境下eclipse连接hadoop 1.2.1报错解决方法

Win7环境下通过eclipse连接hadoop1.2.1集群时,会遇到如下报错: Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700 此时只需要修改org.apache.hadoop.fs.FileUtil文件

windows下eclipse远程访问hadoop。worldcount程序报错

问题描述 windows下eclipse远程访问hadoop2.2.0.worldcount程序报错Exceptioninthread"main"java.lang.NullPointerExceptionatjava.lang.ProcessBuilder.start(ProcessBuilder.java:1011)atorg.apache.hadoop.util.Shell.runCommand(Shell.java:404)atorg.apache.hadoop.util.Sh

library-请教大神帮忙解决一下eclipse里面android_NDK编译.c文件报错

问题描述 请教大神帮忙解决一下eclipse里面android_NDK编译.c文件报错 "D:Androidandroid-ndk-r9dndk-build.cmd" all 系统找不到指定的文件. [armeabi-v7a] Compile thumb : hello-jni <= hello-jni.c jni/hello-jni.c:31:1: fatal error: opening dependency file ./obj/local/armeabi-v7a/objs

eclipse部署项目报错-eclipse部署项目到手机老是报错

问题描述 eclipse部署项目到手机老是报错 大家看下吧运行时老是报这个错误: [2016-01-04 13:53:47 - test3201614] The connection to adb is down, and a severe error has occured. [2016-01-04 13:53:47 - test3201614] You must restart adb and Eclipse. [2016-01-04 13:53:47 - test3201614] Plea

在CentOS版本的Linux上结合Hadoop平台安装mahout报错

问题描述 在CentOS版本的Linux上结合Hadoop平台安装mahout报错 在CentOS版本的Linux上结合Hadoop平台安装mahout运行时显示错误JAVA__HOME is not set怎么解决?Hadoop平台是1.2.1版本的:mahout是0.9版本的.如图是我的/etc/profile文件. 解决方案 http://blog.sina.com.cn/s/blog_5988cec90101g1p0.html 解决方案二: 你那图的最后一句javahome怎么又给设置成

p2p-JXTA在运行HelloWorld程序的时候报错

问题描述 JXTA在运行HelloWorld程序的时候报错 在运行HelloWorld程序的时候,NetWorkManager的对象manager调用startNetwork方法的时候总会报错,大家遇到过这种情况吗,引用的是2.5的库,库的引用应该没问题 Hisos 2015/5/14 星期四 上午 7:58:27Starting JXTA五月 14 2015 7:54:03 上午 net.jxta.platform.NetworkManager configure信息: Loading exi

虚拟机下构架hadoop测试跑wordcount报错,求大神帮帮忙.

问题描述 虚拟机下构架hadoop测试跑wordcount报错,求大神帮帮忙. 用虚拟机虚拟一台namenode,三台datanode,配置完成可以运行起来,也可以在网页中查看状态,但是跑wordcount时出现了task id:attempt_1441184180788_0001 status:failed的错误,也没有抛出,实在没有办法,具体问题截屏如下,望大神们给予帮助 解决方案 http://www.cnblogs.com/madyina/p/3708153.html 解决方案二: 几台

arm-Liunx驱动死机,经常运行一段时间,报错重启问题

问题描述 Liunx驱动死机,经常运行一段时间,报错重启问题 驱动程序运行一段时间之后,就容易报这种错误重启. [ 122.377666] Unable to handle kernel paging request at virtual address 4d118106 [ 122.384417] pgd = d497c000 [ 122.387603] [4d118106] *pgd=00000000 [ 122.391150] Internal error: Oops: 5 [#1] PR

eclipse 错误-eclipse导入的项目。全报错啊 怎么解决 有视频教程吗每个项目都报错

问题描述 eclipse导入的项目.全报错啊 怎么解决 有视频教程吗每个项目都报错 eclipse导入的项目.全报错啊 怎么解决 有视频教程吗每个项目都报错 解决方案 clean 就行了 没那么简单吧 解决方案二: 可能是eclipse和项目的java版本不一致,也有可能是项目的包没有导入,然后再重新clean一下 解决方案三: jdk问题吗?jdk问题吗?估计是~ 解决方案四: eclipse导入别的项目报错问题eclipse 导入 java项目报错导入Android项目后Eclipse报错