请教eclipse里面开发Hadoop程序的input怎么设置

2025-04-04 12:40:38
推荐回答(2个)
回答1:

楼主大概想问参数怎么设置吧,作为初学者,我也不是很懂(被折磨死去活来),下面是一点见解:

input代表你要输入的文件:可以替换成你想要用的文件名,一般路径是/user/hadoop.

output代表你要创建输出文件的名字(每执行一次都要删除,不然会报错,找不到多刷新)

user(1)代表该文件夹下有一个文件。

如果想看hdfs上的文件,可以在eclipse上看到,但要多刷新,如下图左边文件夹:

回答2:

hadoop的input在中会在mapreduce的map中读取,map是会分配到slave的机器去执行。 即便是你写了input到了slave上也是没有这个路径的。
一般都是基于hdfs的路径去读取。
本地文件用 hadoop fs -copyFromLocal /localPath /hdfsPath 的命令把本地文件复制到hdfs上就好了