하둡 실행 , 하둡 명령어

하둡을 실행시키기

시작시키고, 얀 스크립트 시작시키기 하둡 버전확ㅇ;ㄴ

​

​

bin/hdfs dfs

해당명령어에 대한 자세한 것들을 출력하게 된다.

​

​

hdfs의 파일을 조작하는 명령어 - fs

하둡에 대한 정보를 볼 수있다

~$ bin/hdfs dfs

hdfs / dfs

이 명령은 사용자가 hdfs 특히 dfs(Distributed File System) 명령의 실행 파일로 실행하려는 것을 의미합니다.

​

셸 명령인 'hadoop'은 하둡 에코시스템 또는 하둡 모듈을 실행하기 위한 기본 셸 명령이고,

클라이언트 명령인 fs는 일반 파일 시스템 사용자 클라이언트를 실행하는 것입니다. 하둡 fs [generic option] [command options]

ls

하둡 파일 디렉토리 내의 파일들을 화면 출력하는 명령어이며, 기본값으로 이릅별로 출력합니다.

현재, 하위 디렉토리를 보여준다 파일 속성과 날짜 등등이 나타난다

이 명령은 개발자가 각 파일의 이름, 권한, 소유자, 크기 및 수정 날짜를 표시하는 디렉토리 내의 모든 파일을 나열하는 데 도움이 되며 폴더의 계층 구조에서 유용한 명령으로 HDFS에 있는 모든 디렉토리를 인쇄합니다.

​

~/hadoop$ fs -ls /

아니면

~$ bin/hdfs dfs -ls /

하둡 분산파일시스템의 명령어

​

hado 'dfs' 옵션에는 기본적으로 홈 디렉토리가 없습니다. 먼저 디렉터리를 만들 수 있습니다.

'-R' 명령을 사용하면 사용자는 Hadoop HDFS 내에 전체 파일과 폴더를 포함할 수 있으므로 디렉토리에 사용할 수 있습니다.

​

~/hadoop$ bin/hdfs dfs -ls -R /

​

​

mkdir

다양한 옵션별로 디렉토리를 만들 수 있는 명령어

이 명령은 하둡 개발자가 HDFS에 있는 디렉터리가 없는 경우 만들 수 있도록 도와줍니다.

​

~/nbs$ hadoop fs -mkdir /user

~/hadoop$ fs -ls /

​

아니면

​

~/bin/hdfs dfs -mkdir/hdfs-user

~/bin/hdfs dfs -ls /

​

참조 [Bash: [command]: 해당 파일 또는 디렉토리가 없습니다.]

사용자가 'bin/hdfs -ls' 또는 'bin/hdfs -ls' 명령을 입력할 때 "bash: bin/hdfs -mkdir /user" 오류가 발생하면 Ubuntu에서 'pwd' 및 cd ~/hadoop' 명령을 사용하여 hadoome directory로 돌아가십시오.

pwd

cd/home/home/homevenue/himple

touchz

​

이 명령은 현재 디렉터리 또는 파일 경로에 빈 파일을 만듭니다.

​

~/bin/hdfs dfs -touchz/hdfs-user/test.txt

~/bin/hdfs dfs -lsr/hdfs-user

​

아니면

​

~/hadoop$ bin/hdfs dfs -ls -R/hdfs-user

​

아니면

​

~/dadoop$ hadoop fs -touchz /user/test.txt

~/hadoop$ hadoop fs -lsr /user -> lsr이 '-ls -R' 대신 사용되지 않습니다(불찬성 표시).

~/hadoop$ hadoop fs -ls -R/user

​

​

put

하나의 파일이나 디렉토리 내의 모든 파일들을 리눅스 로컬 파일 시스템에서 해당 목적지 하둡 파일 시스템의 소스로 복사하는 명령어입니다. 리눅스 로컬 파일 시스템에서 여러 파일을 HDFS 파일 시스템으로 복사 가능합니다.

사용자는 hadoop fs shell 명령 'put'을 사용하여 로컬 파일 시스템의 로컬 파일을 HDFS로 복사하려고 합니다. 이는 copyFromLocal with Usage:

Hadoop fs - put <로컬 소스 경로> <대상 경로>

​

~/$ cd /etc/xml

~/etc/xml$ ls -l

~/etc/xml$ CD/home/homeavenue/humpa/humpa/humpa

​

~/nbs$ hadoop fs -mkdir /user/etc

~/hadoop$ fs -ls /user/

~/hadoop$ fs -ls /user/etc/

​

~/nbs$ hado fs -put /etc/xml /user/etc

~/hadoop$ fs -ls /user/etc/

~/dadoop$ hadoop fs -ls /user/etc/xml

​

​

copyFromLocal

put 명령어와 비슷하지만 소스는 로컬 파일 참조를 위해 제한적입니다.

이 명령은 Ubuntu 20.04 LTS에 있는 파일을 로컬 파일 시스템에서 hdfs 저장소로 파일/폴더를 복사하는 것입니다.

​

~/193$ CD /etc/apt

~/etc/apt$ ls -l

~/etc/apt$ CD/home/home/housevenue/house

~/px$ bin/hdfs dfs -ls /user/etc/

~/hadoop$ bin/hdfs dfs -copyFromLocal /etc/apt/ /user/etc/apt

~/px$ bin/hdfs dfs -ls /user/etc/apt

get

하둡 분산 파일 시스템에서 리눅스 로컬 파일 시스템으로 복사할 수 있습니다.

CRC 체크실패여부 관련 파일을 복사할 수도 있습니다.

fs shell 명령 'get'은 Hadoop 분산 파일 시스템에서 Ubuntu 20.04 LTS에 있는 로컬 파일 시스템의 위치로 파일 또는 디렉토리를 복사하는 것입니다.

​

~/px$ bin/hdfs dfs -ls /user/etc/apt

~/tmp$ hadoop fs -get /user/etc/apt.list /tmp

~/193$ CD/tmp

~/tmp$ls

copytoLocal

get 명령어와 비슷하지만, 목적지가 로컬 파일 참조로 제한되어 있습니다.

hadofs shell 명령 'copyToLocal'은 hdfs store에서 'get' 명령과 같은 파일/폴더를 로컬 파일 시스템으로 복사하는 것입니다.

​

~/tmp$ cd/home/home/homevenue/himpa/himps

~/fs$ hdfs -ls /user/user-test.txt('touchz' 명령으로 만든 파일)

~/hadoop$ bin/hdfs dfs -copyToLocal /user/hadoop-test.txt/tmp

~/193$ CD/tmp

~/tmp$ls

cat

hdfs url 상의 파일이나 해당 파일을 stdout(화면 출력)으로 찍어 보여주며 이는 리눅스 cat 명령어와 동일하다.

그 hadoop fs 껍질 명령‘ cat’ <경로>안에 HDFS에 파일 내용 print/display는 것이다.

​

~/tmp$ cd/home/neuavenue/hadoop

~/hadoop$ bin/hdfs-ls /user/ dfs.

~/hadoop$ bin/hdfs -cat/user/hadoop-test dfs.txt

~/hadoop$ bin/hdfs-ls /user/etc/xml dfs.

~/hadoop$ bin/hdfs-cat /user/etc/xml/docbook-xml.xml dfs.

​

mv

hdfs 내부 하둡 분산 시스템 내에서만 파일 옮길 수 있습니다. 로컬 시스템으로는 불가.

그 hadoop fs 껍질 명령‘mv’ 소스에서 HDFS대상으로 파일이나 디렉터리를 이동할 곳 있다.

​

~/hadoop$ hadoop fs -ls /user/etc/.

~/hadoop$ hadoop-ls /user/etc/apt fs.

~/hadoop$ hadoop fs -ls /user/etc/xml.

~/hadoop$ hadoop fs -mv/user/etc/apt/ /user/etc/xml.

~/hadoop$ hadoop fs -ls /user/etc/xml/.

~/hadoop$ hadoop-ls /user/etc/xml/apt fs.

​

cp

​

hadoop fs shell 명령 'cp'는 새 디렉토리의 현재 파일에서 HDFS 내의 다른 디렉토리로 복사하지만 이동하지는 않습니다.

​

~/px$ bin/hdfs dfs -ls /user/etc/apt

~/bin/hdfs dfs -ls /user/etc

~/user$ bin/hdfs dfs -cp /user/etc/xml/apt/ /user/etc/

~/px$ bin/hdfs dfs -ls /user/etc/

~/px$ bin/hdfs dfs -ls /user/etc/apt

​

​

rm

hado fs shell 명령 'rm'은 '-r' 명령 옵션을 사용하여 파일을 삭제하는 것입니다.

​

~/nbs$ hado fs -ls /user/etc/xml/apt

~/nbs$ hadoop fs -rm /user/etc/xml/apt

~/nbs$ hado fs -ls /user/etc/xml/apt

~/nbs$ hadoop fs -rm -r /user/etc/xml/apt

~/nbs$ hado fs -ls /user/etc/xml/apt

chmod

hado fs shell 명령 'chmod'는 파일의 권한을 변경하는 것입니다. '-R'을 사용하면 사용자가 디렉토리를 통해 반복적으로 변경할 수 있습니다. 사용자가 파일의 소유자이거나 Application Shell로 변경되는 수퍼유저일 수 있습니다.

755 모드를 사용하면 파일 또는 디렉토리의 사용 권한이 반복적으로 변경됩니다.

​

~/hadoop$ fs -ls /user/etc

~/nbs$ hado fs -chmod -r/user/etc/xml

~/hadoop$ fs -ls /user/etc

~/hadoop$ hadoop fs -chmod -R 755 /user/etc/xml

​

d-wx--x--x이 부분이 바뀜

​

​

접근허가 수정 d-wx--x--x가 drwxr-xr-x로 수정됨

chown

-chown fs shell command는 해당 파일의 슈퍼오너일 경우 그 파일의 오너를 변경하여 수정할 수 있습니다.

root로 변경함

-chown root /user/etc/xml