목록Naver-Cloud/Big Data (2)

Cloud SA's This and That

[NCP] - Cloud Hadoop(2) Spark, Hue&Hive 활용 테스트

앞서 NCP에서 생성한 Cloud Hadoop 클러스터를 기반으로 (1) Spark를 활용한 work count 테스트 및 (2) Hu&Hive를 활용한 csv 데이터 분석 테스트를 진행해보았다. [Spark를 활용한 word count] 1. ssh로 클러스터 접속 > ssh 접속을 위해 22번 포트 오픈 IP : 클러스터 도메인(콘솔에서 확인 가능) / user : sshuser / 인증키(.pem) 사용 > 엣지 노드에 접속됨 [Text.txt] 2. Test 데이터를 Hadoop으로 이동 (hadoop 명령어 참고: https://givitallugot.github.io/articles/2021-08/Hadoop-engineering-fs) > hadoop fs -mkdir [디렉터리] : HDF..
Naver-Cloud/Big Data 2023. 7. 25. 13:04
[NCP] - Cloud Hadoop(1) 서비스 소개 및 클러스터 생성

* Hadoop ecosystem에 대한 내용은 Big Data 카테고리에 따로 업로드 예정입니다. [Cloud Hadoop] - 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스 - 사용 편의성 : 완전 관리형으로 자동으로 클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담이 적음 - 비용 효율성 : 데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터 저장 / 클러스터가 시작된 시점부터 종료될때까지 사용한 만큼만 지불 - 유연한 확장성 및 안정성 : 사용자 원하는 시간에 데이터분석에 필요한 인스턴스의 수를 손쉽게 줄이거나 늘릴 수 있음 / 마스터 노드(NameNode)를 2개로 제공 - 관리 및 모니터링을 위한 web UI 제공..
Naver-Cloud/Big Data 2023. 7. 24. 18:33
이전 Prev 1 Next 다음