| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
- emptyDir Volume
- cicd
- ingress
- NFS Client Privisioner
- Codepipeline
- Naver cloud platform
- HTTPS Redirect
- volume
- ingress controller
- alertmanager
- aws-dop
- Persistent Volume
- pod
- Codedeploy
- SSL Offload
- DevOps
- Codebuild
- ALB
- Prometheus
- codecommit
- ncp
- k8s
- kubernetes
- grafana
- RKE2
- slack
- Persistent Volume Claim
- emptyDir
- node exporter
- AWS
- Today
- Total
목록Naver-Cloud/Big Data (2)
Cloud SA's This and That
[NCP] - Cloud Hadoop(2) Spark, Hue&Hive 활용 테스트
앞서 NCP에서 생성한 Cloud Hadoop 클러스터를 기반으로 (1) Spark를 활용한 work count 테스트 및 (2) Hu&Hive를 활용한 csv 데이터 분석 테스트를 진행해보았다. [Spark를 활용한 word count] 1. ssh로 클러스터 접속 > ssh 접속을 위해 22번 포트 오픈 IP : 클러스터 도메인(콘솔에서 확인 가능) / user : sshuser / 인증키(.pem) 사용 > 엣지 노드에 접속됨 [Text.txt] 2. Test 데이터를 Hadoop으로 이동 (hadoop 명령어 참고: https://givitallugot.github.io/articles/2021-08/Hadoop-engineering-fs) > hadoop fs -mkdir [디렉터리] : HDF..
[NCP] - Cloud Hadoop(1) 서비스 소개 및 클러스터 생성
* Hadoop ecosystem에 대한 내용은 Big Data 카테고리에 따로 업로드 예정입니다. [Cloud Hadoop] - 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스 - 사용 편의성 : 완전 관리형으로 자동으로 클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담이 적음 - 비용 효율성 : 데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터 저장 / 클러스터가 시작된 시점부터 종료될때까지 사용한 만큼만 지불 - 유연한 확장성 및 안정성 : 사용자 원하는 시간에 데이터분석에 필요한 인스턴스의 수를 손쉽게 줄이거나 늘릴 수 있음 / 마스터 노드(NameNode)를 2개로 제공 - 관리 및 모니터링을 위한 web UI 제공..