hadoop 2.6rest api求助

问题描述

hadoop 2.6rest api求助

一般都是把写好的mapreduce打成jar包,然后在linux hadoop环境下用命令的方式运行,hadoop2.6有没有提供rest api 能通过在浏览器地址栏通过地址的方式就能运行jar包,看了rest api 有个submit application .这个怎么用?求助。

解决方案

根据字面意思,是提交应用,具体你看看文档吧。

时间: 2016-09-14
Tags: api, hadoop, REST

hadoop 2.6rest api求助的相关文章

集群-hadoop secondarynamenode未启动求助

问题描述 hadoop secondarynamenode未启动求助 本人搭建了hadoop集群,一个namenode ,两个datanode,启动后namenode和resource manger进程都启动了,但secondarynamenode未启动什么原因,两个datanode的datanode和nodemanager进程也都启动了,能正常的上传文件和下载文件,在hdsf-site配置中也配置了secondarynamenode.求助...另外stop hadoop的时候,datanode

Hadoop利用FileSystem API 执行hadoop文件读写操作

因为HDFS不同于一般的文件系统,所以Hadoop提供了强大的FileSystem API来操作HDFS. 核心类是FSDataInputStream和FSDataOutputStream 读操作: 我们用FSDataInputStream来读取HDFS中的指定文件(第一个实验),另外我们还演示了这个类的定位文件位置的能力,然后从指定位置开始读取文件(第二个实验). 代码如下: /* */ package com.charles.hadoop.fs; import java.net.URI; i

hadoop详解(二) java访问hdfs

所有源码在github上,https://github.com/lastsweetop/styhadoop 读数据使用hadoop url读取 比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流,不过在这之前先要预先调用它的 setURLStreamHandlerFactory方法设置为FsUrlStreamHandlerFactory(由此工厂取解析hdfs协议),这个方 法只能调用一次,所以要写在静态块中.然后调用IOUtils类的copyBytes将hdfs数据流拷

Hadoop和元数据(解决阻抗失配问题)

在组织如何处理数据方面,Apache Hadoop展开了一场史无前例的革命--通过自由可扩展的Hadoop,可以在比以往更短 的时间内,通过新应用创造新价值,并从大数据中提取想要的数据.这次革命企图使企业建立以Hadoop为中心的数据处理模 式,但是同时也提出一个挑战:我们如何在Hadoop的自由下进行协作呢?我们如何对任意格式的数据进行存储和处理,并按 照用户的希望来共享这些数据呢?此外,我们还需考虑,如何将不同工具以及其他系统集成在一起,组成数据中心即计算机 ? 作为Hadoop的用户,对元

Hadoop学习资源集合

Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构.用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储.Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取.变形和加载(ETL)方面上的天然优势.Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储. 目录: Awesome Hadoop Hadoop YARN NoSQL Hadoop上的SQL 数据管理 工作流.生命周期及管理 数据提取与整合 DSL 库和工具 实时

原创Hadoop基础题库

原本想出至少50题hadoop, HDFS, MapReduce, Zookeeper相关的基础题,现在暂时不进行了,把已经出的20多道题都奉上. 暂时没有了出题的动力,可能觉得这东西出成题也没啥意义.总之权当巩固,各位权当消遣着瞧瞧. //Hadoop基础 Doug Cutting所创立的项目的名称都受到其家人的启发,以下项目不是由他创立的项目是 A. Hadoop B. Nutch C. Lucene D. Solr 答案:D 配置Hadoop时,JAVA_HOME包含在哪一个配置文件中 A

基于Hadoop云盘系统1:上传和下载效率优化

 一.读写机制 首先来看文件读取机制:尽管DataNode实现了文件存储空间的水平扩展和多副本机制,但是针对单个具体文件的读取,Hadoop默认的API接口并没有提供多DataNode的并行读取机制.基于Hadoop提供的API接口实现的云盘客户端也自然面临同样的问题.Hadoop的文件读取流程如下图所示: 使用HDFS提供的客户端开发库,向远程的Namenode发起RPC请求: Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该blo

独家 | 一文读懂Hadoop(一):综述

随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识.2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印证了它的商业价值. 读者可以通过阅读"一文读懂Hadoop"系列文章,对Hadoop技术有个全面的了解,它涵盖了Hadoop官网的所有知识点,并且通俗易懂,英文不好的读者完全可以通过阅读此篇文

Hadoop和元数据

在组织如何处理数据方面,Apache Hadoop展开了一场史无前例的革命--通过自由可扩展的Hadoop,可以在比以往更短的时间内,通过新应用创造新价值,并从大数据中提取想要的数 据.这次革命企图使企业建立以Hadoop为中心的数据处理模式,但是同时也提出一个挑战:我们如何在Hadoop的自由下进行协作呢?我们如何对任意格 式的数据进行存储和处理,并按照用户的希望来共享这些数据呢?此外,我们还需考虑,如何将不同工具以及其他系统集成在一起,组成数据中心即计算机? 作为Hadoop的用户,对元数据