Cloud SA's This and That

파드에서 실행 중인 애플리케이션이 디스크에 데이터를 유지해야 하고 파드가 다른 노드로 재스케줄링된 경우에도 동일한 데이터를 사용해야 한다면 이전에 언급한 볼륨의 유형 중 emptyDir이나 hostPath 등은 사용할 수 없다.(참고 : https://jyyoon94.tistory.com/16) 그렇다면 해당 데이터들은 NAS 유형에 저장되어야 하는데 테스트 전 PersistentVolume과 PersistentVolumeClaim에 대해 간단히 알아보도록 한다. PersistentVolume(PV) & PersistentVolumeClaim(PVC) 퍼시스턴트 볼륨은 파드 개발자가 실제 네트워크 스토리지 인프라에 관한 지식을 갖추고 있어야 한다.(NFS 기반의 볼륨을 생성하려면 개발자는 NFS 익스포트..

쿠버네티스 클러스터 외부에서 서비스를 액세스하는 방법 중 단일 IP 주소로 여러 서비스를 노출하는 인그레스 리소스를 사용하는 방법을 통해 서비스를 노출하여 접속해보는 테스트를 진행해보았다. 우선 간단히 인그레스에 대해 설명하자면! 로드밸런서 서비스는 각 서비스마다 자신의 공인 IP 주소를 가진 로드밸런서가 필요하지만 인그레스는 하나의 IP 주소로 수십 개의 서비스에 접근 가능하도록 지원해준다. 클라이언트가 HTTP 요청을 보낼 때 요청한 호스트(host)와 경로(path)에 따라 요청을 전달한 서비스가 결정된다. > 인그레스는 네트워크 스택의 어플리케이션 계층(HTTP)에서 작동한다. (서비스가 할 수 없는 쿠키 기반의 세션 어피티니 등과 같은 기능 제공) * 쿠버네티스 세션 어피니티에 대해 궁금하다면?..

[Developer Tools] : 데브옵스를 적용하여 소프트웨어 개발 환경을 신속하고 안전하게 구축 및 배포할 수 있는 서비스 - SourceCommit : 개발에 필요한 모든 형태의 파일은 안전하게 저장하고 관리할 수 있는 프라이빗 git 리파지토리 - SourceBuild : 다양한 언어의 소스 코드를 손쉽게 빌드하는 완전 관리형 병렬 빌드 서비스 - SouceDeploy : 새로 작성됐거나 업데이트된 소스를 서버에 자동으로 배포하고 적용하는 자동화 배포 서비스 - SoucePipeline : 리파지토리, 빌드, 배포 프로세스를 통합하여 소프트웨어 출시를 자동화하는 서비스 이밖에도 SouceBand(대화형 시각화 도구), Jenkins(젠킨스를 서버에 설치하여 제공) 서비스가 있다. 위의 개발자도구..

앞서 NCP에서 생성한 Cloud Hadoop 클러스터를 기반으로 (1) Spark를 활용한 work count 테스트 및 (2) Hu&Hive를 활용한 csv 데이터 분석 테스트를 진행해보았다. [Spark를 활용한 word count] 1. ssh로 클러스터 접속 > ssh 접속을 위해 22번 포트 오픈 IP : 클러스터 도메인(콘솔에서 확인 가능) / user : sshuser / 인증키(.pem) 사용 > 엣지 노드에 접속됨 [Text.txt] 2. Test 데이터를 Hadoop으로 이동 (hadoop 명령어 참고: https://givitallugot.github.io/articles/2021-08/Hadoop-engineering-fs) > hadoop fs -mkdir [디렉터리] : HDF..

* Hadoop ecosystem에 대한 내용은 Big Data 카테고리에 따로 업로드 예정입니다. [Cloud Hadoop] - 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스 - 사용 편의성 : 완전 관리형으로 자동으로 클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담이 적음 - 비용 효율성 : 데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터 저장 / 클러스터가 시작된 시점부터 종료될때까지 사용한 만큼만 지불 - 유연한 확장성 및 안정성 : 사용자 원하는 시간에 데이터분석에 필요한 인스턴스의 수를 손쉽게 줄이거나 늘릴 수 있음 / 마스터 노드(NameNode)를 2개로 제공 - 관리 및 모니터링을 위한 web UI 제공..

*로드밸런서 생성 전 >먼저 Target Group을 생성 후 해당 타겟그룹에 대해서 로드밸런싱 >타겟 그룹 : 요청을 처리할 대상에 대한 집합 동일 VPC내에 있는 서버들에 대해 타겟그룹 생성 가능 타겟그룹 안의 서버를 다른 타그룹에 속하게 할 수 있지만 타겟그룹을 다수의 로드밸런서에 연결 X 서비스를 수행하는 대상의 프로토콜에 따라 L4, L7 으로 구분 헬스체크 주기(5~300초) 및 임계값 설정 기본은 Round Robin 설정 (알고리즘 및 Sticky, Proxy Protocol 설정 변경은 생성 이후에 진행) >프로토콜 : TCP - NLB / Proxy_TCP - NPLB / HTTP - ALB / HTTPS - ALB >타겟그룹 설정 화면 : StickySession, ProxyProto..

쿠버네티스 실습을 위해 NCP에서 클러스터 및 사용자 서버를 생성하여 Container Reistry를 연동해보았다. [k8s-cluster 생성] VPC : kubernetes 클러스터를 생성하기 위한 가상 클라우드 공간 Private Subnet : VPC 내 private 서브넷 (Private 대역 (10.0.0.0/8, 172.16.0.0/12. 196.168.0.0/16) 내에서 /17~/26 범위에 해당되는 서브넷만 사용 가능) (Docker Bridge 대역의 충돌을 방지하기 위해 172.16.0.0/16 범위 내의 private subnet, 로드밸런서 전용 subnet 사용 불가) 3. Load Balancer Subnet : 클러스터와 연동할 로드밸런서를 위한 서브넷 (Private ..