일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- PVC
- kubernetes
- cicd
- alertmanager
- pod
- Persistent Volume
- volume
- NFS Client Privisioner
- SSL Offload
- RKE2
- grafana
- Prometheus
- aws-dop
- proxy
- emptyDir Volume
- Persistent Volume Claim
- node exporter
- ALB
- k8s
- slack
- codecommit
- HTTPS Redirect
- DevOps
- emptyDir
- Naver cloud platform
- ingress controller
- ingress
- Codepipeline
- ncp
- squid
- Today
- Total
목록전체 글 (20)
Cloud SA's This and That
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/HVS2L/btsoIOiCMNZ/w6KpkKr8kkivgkK2Hciyhk/img.png)
앞서 NCP에서 생성한 Cloud Hadoop 클러스터를 기반으로 (1) Spark를 활용한 work count 테스트 및 (2) Hu&Hive를 활용한 csv 데이터 분석 테스트를 진행해보았다. [Spark를 활용한 word count] 1. ssh로 클러스터 접속 > ssh 접속을 위해 22번 포트 오픈 IP : 클러스터 도메인(콘솔에서 확인 가능) / user : sshuser / 인증키(.pem) 사용 > 엣지 노드에 접속됨 [Text.txt] 2. Test 데이터를 Hadoop으로 이동 (hadoop 명령어 참고: https://givitallugot.github.io/articles/2021-08/Hadoop-engineering-fs) > hadoop fs -mkdir [디렉터리] : HDF..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/y21LC/btsoSlyP5Tp/vtbmRy6a5CtK6VLAdscGAk/img.png)
* Hadoop ecosystem에 대한 내용은 Big Data 카테고리에 따로 업로드 예정입니다. [Cloud Hadoop] - 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스 - 사용 편의성 : 완전 관리형으로 자동으로 클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담이 적음 - 비용 효율성 : 데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터 저장 / 클러스터가 시작된 시점부터 종료될때까지 사용한 만큼만 지불 - 유연한 확장성 및 안정성 : 사용자 원하는 시간에 데이터분석에 필요한 인스턴스의 수를 손쉽게 줄이거나 늘릴 수 있음 / 마스터 노드(NameNode)를 2개로 제공 - 관리 및 모니터링을 위한 web UI 제공..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/K9Jnl/btsou97ekVP/AGr59PCPt5eUDGseGRYYbk/img.png)
Framework : 어플리케이션 개발을 하기 위한 기반시스템 / 미리 구현 되어있는 기능 기반으로 어플리케이션 기능 구현 Django Framework : Python 기반의 WEB Framework / 국내에서는 Spring Framework를 많이 사용함 (java 기반) [Django Framework 특징] -MTV 패턴 사용(Model, Template, View) - Model : DB와 연관/Template : client에게 넘겨줄 페이지 구성(정적 데이터) /View : 실제 기능 구현 -객체 관계 매핑(ORM)을 사용하여 데이터베이스 구조 명세화 / ORM 기법 : 객체와 관계형 DB를 연결해주는 기술 -프레임워크 프로젝트 생성 시 자동으로 관리자 페이지 생성, 사용자 및 그룹 등을 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bkwtxl/btsotXy6tWZ/BeurS8FaLznOkMDEX3vdt1/img.png)
*로드밸런서 생성 전 >먼저 Target Group을 생성 후 해당 타겟그룹에 대해서 로드밸런싱 >타겟 그룹 : 요청을 처리할 대상에 대한 집합 동일 VPC내에 있는 서버들에 대해 타겟그룹 생성 가능 타겟그룹 안의 서버를 다른 타그룹에 속하게 할 수 있지만 타겟그룹을 다수의 로드밸런서에 연결 X 서비스를 수행하는 대상의 프로토콜에 따라 L4, L7 으로 구분 헬스체크 주기(5~300초) 및 임계값 설정 기본은 Round Robin 설정 (알고리즘 및 Sticky, Proxy Protocol 설정 변경은 생성 이후에 진행) >프로토콜 : TCP - NLB / Proxy_TCP - NPLB / HTTP - ALB / HTTPS - ALB >타겟그룹 설정 화면 : StickySession, ProxyProto..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bGy5tH/btsovrMFPTS/s4beN2nqtPFCxMvNHXi4I1/img.png)
[AirFlow] - workflow management tool 목적 : 전체 Flow 파악 / 배치 파이프라인 모니터링 및 스케줄링 / 각 Task 병렬 처리 / 유연한 DAG 작성 다양한 워크플로우 매니지먼트 툴이 존재하며 대표적으로는 Airflow, oozie, Azkaban이 있다. -실제로 데이터 처리가 이루어지는 것은 아님 / workflow 작성 및 모니터링 작업을 프로그래밍을 도와주는 플랫폼 -파이썬 기반으로 코드를 작성해 워크플로우 관리 / 콘솔을 통해서도 관리 가능 -다양한 벤더들과 호환 가능 >Airflow webserver : 웹 UI 표현 / workflow 상태표시 및 실행 >Airflow Scheduler : 작업 기준 충족 여부 확인 / 종속 작업이 성공 완료 및 예약 간격..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/nv0rf/btsou2feOiz/FL2Y0YslaXGvM7hGTgGlw0/img.png)
Tibero : 티멕스 티베로사가 제작한 온프레미스, 클라우드 환경 제약 없는 사용자 맞춤형 고성능 DBMS로 2003년 국내 최초 상용 RDBMS 출시를 시작으로 다양한 고객 대상 7,500여 개 레퍼런스와 1,200여 개 이상의 고객들에게 제공 중이다. [Tibero의 다양한 구축 환경] [Tiberod 기술력] 1. 국내 최초, 세계 2개 업체만 보유한 TAC(Tibero Active Cluster)기술로 안정적인 운영 및 DB 확장 지원 / 강화된 TSC(Tibero Standby Cluster)기술을 통한 데이터 효율성 향상 및 안정성 강화 2. 대용량 데이터 처리 기능으로 고성능을 요구하는 핵심 분석 업무에 최적화 지원 / 다양한 압축 기술로 저장 공간 절약과 조회, 처리 성능 향상을 제공 3..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/dZ6hsI/btsopW1hKAA/nQEECTbqaPZrknfvzEM4ak/img.png)
[LVM 구성] >PV(Physical volume) : 하나의 물리적 디스크로 리눅스에서 VG,LV를 만들기 위해 물리적인 디스크를 PV 형태로 만들어주어야 함 >VG(Volume Group) : 하나 이상의 물리적 디스크가 모여 이루어진 볼륨. 모든 PV는 VG에 속해있어야 함 >LV(Logical Volume) : 사용자는 LV에 접근을 해서 파일을 읽고 씀. VG는 하나 이상의 LV에 속함 > 추가된 디스크를 Linux LVM으로 파티션 생성 > pvcreate 명령어를 통해 PV 생성 > VG 생성 > LV 생성 > 파일 시스템 생성 > test2폴더 생성 후 mount > /etc/fstab 추가 ======================================================..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/wBuki/btsopWGQu13/ZOQbm6Nswwmh1Bl5N2m8xk/img.png)
KT-Cloud에서 추가 스토지리를 생성하여 서버에 연결 후 마운트 테스트 및 용량 확장 테스트를 해보았다. 또한 스냅샷(추가스토리지)을 생성하여 사용해보았다. 중간중간 이슈가 있어서 해당 사항들 참고하면 좋을 것 같다. [Volume] 1. 볼륨 생성 > 볼륨 생성 시 단일 볼륨 최대 용량은 2000GB이다. (KT측에 따로 문의해도 용량 증설은 안된다고 한다. -> 2000GB 이상 필요하면 LVM 사용해야함) 2. 볼륨 연결 ( 라이브상태에서만 가능 ) >볼륨 상태 : 사용 3. Server 메뉴에서 Volume 관리 4. Volume 사용 > 리눅스 서버의 경우 추가될 volume은 파티션 과정을 거쳐야 함 1) Non-LVM [과정] fdisk -> mkfs.xfs -> mount -> fsta..