Jam's story

WordCount MapReduce Application 본문

2021-2학기/하둡

WordCount MapReduce Application

애플쩀 2022. 3. 23. 11:47

입력 데이터 (Input Data) 설정.

스플릿 단계(Splitting) - 입력 데이터를 블럭 단위로 분리.

맵 단계(Mapping) - 전체 블럭 데이터를 하나 하나 문자별로 스트리밍(key, value).

셔플 단계(Shuffing) - 한 건 한건 문자별 키(단어: key)와 벨류(value : 1)로 중복 허용.

리듀스 단계(Reducing) - 중복된 단어 키와 그 합계 벨류를 총 합계 나열.

출력 데이터(Output) - 중복 단어 키 한개와 그 합계인 벨류들을 순차별로 파일에 저장.

Comments