安装HadoopPseudo-Distributed Cluster时需要配置本机无密码通过ssh访问localhost
一种比较方便的方法是在本机用户下生成一个dsa公钥,将其追加到本机的~/.ssh/authorized_keys文件中
参见http://blog.csdn.net/bhq2010/article/details/6845985
可是我在Ubuntu Server上始终没法配置成功,过程如下:
刚开始,用putty通过ssh连到服务器上,试图配置,失败
怀疑两点:
1)ssh登陆Ubuntu后,由于不是本地登录的,生成的公钥有可能不是本地用户的;
2)由于安装Ubuntu系统时选择了加密用户主目录,以至于登录时必须有用户口令,否则无法访问主目录
首先验证第一点:
在服务器跟前接上键盘、显示器,本地登录后配置无密码登录,虽说生成的公钥确实和ssh登录时生成的公钥不一样,但仍然没成功,故排除第一点的可能
再验证第二点:
在当前服务器上添加一个新用户hadoop,主目录为/srv/hadoop,不加密
$ sudo mkdir /srv/hadoop
$ sudo useradd -d /srv/hadoop -s /bin/bash hadoop
$ sudo chown hadoop /srv/hadoop
本地登录hadoop用户,设置ssh无验证访问localhost成功
删除authorized_keys文件,ssh远程登录hadoop用户,设置ssh无验证访问localhost同样成功
然后换台用户主目录未加密的服务器,无论本地登陆还是ssh远程登录,都可以设置成功
这就验证了第二点怀疑是正确的
因此,安装hadoop的服务器上最好分外添加一个名为hadoop的系统用户(而不是在系统安装时就将用户名设置为hadoop),或者在系统安装时不要选择对用户主目录加密(不加密其实有些不安全)。
分享到:
相关推荐
hadoop2.6-common-bin 解决在Windows上操作hadoop出现 Could not locate executable问题
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
赠送jar包:hadoop-mapreduce-client-jobclient-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-jobclient-2.6.5-sources.jar; 赠送...
Eclipse集成Hadoop2.10.0的插件,使用`ant`对hadoop的jar包进行打包并适应Eclipse加载,所以参数里有hadoop和eclipse的目录. 必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包...
Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop ...
Hadoop权威指南----读书笔记
赠送jar包:hadoop-yarn-client-2.6.5.jar; 赠送原API文档:hadoop-yarn-client-2.6.5-javadoc.jar; 赠送源代码:hadoop-yarn-client-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-client-2.6.5.pom;...
赠送jar包:hadoop-mapreduce-client-common-2.6.5.jar; 赠送原API文档:hadoop-mapreduce-client-common-2.6.5-javadoc.jar; 赠送源代码:hadoop-mapreduce-client-common-2.6.5-sources.jar; 赠送Maven依赖信息...
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
赠送jar包:hadoop-yarn-common-2.6.5.jar 赠送原API文档:hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码:hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档:hadoop-yarn-common-2.6.5-javadoc-...
hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03
spark-1.6.3-bin-hadoop2.4-without-hive.tgz 经测试,hadoop 2.8.2下可用。hive2.1.1 可用
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
赠送jar包:hadoop-yarn-server-resourcemanager-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-resourcemanager-2.6.0-sources.jar; 赠送...
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错,原因是因为如果本机操作系统是windows,在程序中使用了hadoop相关的东西,比如写入...
Hadoop 2.7.3 Windows64位 编译bin(包含winutils.exe, hadoop.dll),自己用的,把压缩包里的winutils.exe, hadoop.dll 放在你的bin 目录 在重启eclipse 就好了
hadoop-mapreduce-examples-2.7.1.jar
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
# 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包