当前位置：首页 > Linux > 正文

Linux下Hadoop上传文件用什么命令

在Linux下使用Hadoop上传文件，通过终端执行命令： hadoop fs -put ，需确保Hadoop服务正常运行，且用户有HDFS写入权限，也可用 hdfs dfs -put命令实现相同操作。

在Linux环境下，使用Hadoop上传文件到HDFS（分布式文件系统）是数据处理的基础操作，以下是详细步骤和注意事项,确保操作高效安全：

前置准备

Hadoop环境运行
确保Hadoop集群已启动（使用start-dfs.sh和start-yarn.sh），通过jps命令检查服务状态（需包含NameNode、DataNode、ResourceManager）。
文件路径确认
- 本地文件路径：如/home/user/data.txt
- HDFS目标路径：如/user/hadoop/input

使用hadoop fs -put或hdfs dfs -put（两者等效）：

hadoop fs -put /本地路径/文件名 /HDFS目标路径

示例：

hadoop fs -put /home/user/data.txt /user/hadoop/input/

# 将本地文件log.txt上传至HDFS的/data目录
hadoop fs -put /home/user/log.txt /data/

验证上传：

hadoop fs -ls /data  # 查看HDFS目录内容

# 递归上传本地目录local_dir至HDFS
hadoop fs -put /home/user/local_dir /user/hadoop/backup

默认禁止覆盖，添加-f参数强制覆盖：

Linux下Hadoop上传文件用什么命令第1张

hadoop fs -put -f new_data.csv /user/hadoop/existing.csv

上传时设置副本数量（默认3副本）：

hadoop fs -D dfs.replication=2 -put largefile.dat /data/

权限错误
错误提示：Permission denied
解决方法：
```
hadoop fs -chmod 755 /user/hadoop  # 修改HDFS目录权限
```
或使用超级用户操作：sudo -u hdfs hadoop fs -put ...
文件路径不存在
错误提示：No such file or directory
解决方法：
```
hadoop fs -mkdir -p /user/hadoop/new_dir  # 递归创建目录
```

磁盘空间不足
检查HDFS空间：

hadoop fs -df -h  # 查看集群存储情况

数据校验
上传后对比本地和HDFS文件大小：
```
hadoop fs -du -h /HDFS路径  # 显示文件大小
```
增量上传
使用-appendToFile追加数据（需启用HDFS追加功能）：
```
hadoop fs -appendToFile new_log.txt /data/history.log
```
安全传输
- 敏感数据启用HDFS加密（配置hdfs-site.xml中的加密区域）。
- 使用Kerberos认证集群。

命令	用途	特点
`hadoop fs -copyFromLocal`	从本地复制（同`-put`）	严格限制源路径为本地文件
`hadoop fs -moveFromLocal`	移动本地文件至HDFS	上传后删除本地文件