Cloud SA's This and That

[Developer Tools] : 데브옵스를 적용하여 소프트웨어 개발 환경을 신속하고 안전하게 구축 및 배포할 수 있는 서비스 - SourceCommit : 개발에 필요한 모든 형태의 파일은 안전하게 저장하고 관리할 수 있는 프라이빗 git 리파지토리 - SourceBuild : 다양한 언어의 소스 코드를 손쉽게 빌드하는 완전 관리형 병렬 빌드 서비스 - SouceDeploy : 새로 작성됐거나 업데이트된 소스를 서버에 자동으로 배포하고 적용하는 자동화 배포 서비스 - SoucePipeline : 리파지토리, 빌드, 배포 프로세스를 통합하여 소프트웨어 출시를 자동화하는 서비스 이밖에도 SouceBand(대화형 시각화 도구), Jenkins(젠킨스를 서버에 설치하여 제공) 서비스가 있다. 위의 개발자도구..

앞서 NCP에서 생성한 Cloud Hadoop 클러스터를 기반으로 (1) Spark를 활용한 work count 테스트 및 (2) Hu&Hive를 활용한 csv 데이터 분석 테스트를 진행해보았다. [Spark를 활용한 word count] 1. ssh로 클러스터 접속 > ssh 접속을 위해 22번 포트 오픈 IP : 클러스터 도메인(콘솔에서 확인 가능) / user : sshuser / 인증키(.pem) 사용 > 엣지 노드에 접속됨 [Text.txt] 2. Test 데이터를 Hadoop으로 이동 (hadoop 명령어 참고: https://givitallugot.github.io/articles/2021-08/Hadoop-engineering-fs) > hadoop fs -mkdir [디렉터리] : HDF..

* Hadoop ecosystem에 대한 내용은 Big Data 카테고리에 따로 업로드 예정입니다. [Cloud Hadoop] - 빅데이터를 쉽고 빠르게 처리할 수 있는 오픈소스 기반의 분석 서비스 - 사용 편의성 : 완전 관리형으로 자동으로 클러스터 생성을 지원하여 인프라 관리 작업에 대한 부담이 적음 - 비용 효율성 : 데이터 저장소로 네이버 클라우드 플랫폼의 Object Storage를 사용해 저렴한 비용으로 대량 데이터 저장 / 클러스터가 시작된 시점부터 종료될때까지 사용한 만큼만 지불 - 유연한 확장성 및 안정성 : 사용자 원하는 시간에 데이터분석에 필요한 인스턴스의 수를 손쉽게 줄이거나 늘릴 수 있음 / 마스터 노드(NameNode)를 2개로 제공 - 관리 및 모니터링을 위한 web UI 제공..

Framework : 어플리케이션 개발을 하기 위한 기반시스템 / 미리 구현 되어있는 기능 기반으로 어플리케이션 기능 구현 Django Framework : Python 기반의 WEB Framework / 국내에서는 Spring Framework를 많이 사용함 (java 기반) [Django Framework 특징] -MTV 패턴 사용(Model, Template, View) - Model : DB와 연관/Template : client에게 넘겨줄 페이지 구성(정적 데이터) /View : 실제 기능 구현 -객체 관계 매핑(ORM)을 사용하여 데이터베이스 구조 명세화 / ORM 기법 : 객체와 관계형 DB를 연결해주는 기술 -프레임워크 프로젝트 생성 시 자동으로 관리자 페이지 생성, 사용자 및 그룹 등을 ..

*로드밸런서 생성 전 >먼저 Target Group을 생성 후 해당 타겟그룹에 대해서 로드밸런싱 >타겟 그룹 : 요청을 처리할 대상에 대한 집합 동일 VPC내에 있는 서버들에 대해 타겟그룹 생성 가능 타겟그룹 안의 서버를 다른 타그룹에 속하게 할 수 있지만 타겟그룹을 다수의 로드밸런서에 연결 X 서비스를 수행하는 대상의 프로토콜에 따라 L4, L7 으로 구분 헬스체크 주기(5~300초) 및 임계값 설정 기본은 Round Robin 설정 (알고리즘 및 Sticky, Proxy Protocol 설정 변경은 생성 이후에 진행) >프로토콜 : TCP - NLB / Proxy_TCP - NPLB / HTTP - ALB / HTTPS - ALB >타겟그룹 설정 화면 : StickySession, ProxyProto..

[AirFlow] - workflow management tool 목적 : 전체 Flow 파악 / 배치 파이프라인 모니터링 및 스케줄링 / 각 Task 병렬 처리 / 유연한 DAG 작성 다양한 워크플로우 매니지먼트 툴이 존재하며 대표적으로는 Airflow, oozie, Azkaban이 있다. -실제로 데이터 처리가 이루어지는 것은 아님 / workflow 작성 및 모니터링 작업을 프로그래밍을 도와주는 플랫폼 -파이썬 기반으로 코드를 작성해 워크플로우 관리 / 콘솔을 통해서도 관리 가능 -다양한 벤더들과 호환 가능 >Airflow webserver : 웹 UI 표현 / workflow 상태표시 및 실행 >Airflow Scheduler : 작업 기준 충족 여부 확인 / 종속 작업이 성공 완료 및 예약 간격..

Tibero : 티멕스 티베로사가 제작한 온프레미스, 클라우드 환경 제약 없는 사용자 맞춤형 고성능 DBMS로 2003년 국내 최초 상용 RDBMS 출시를 시작으로 다양한 고객 대상 7,500여 개 레퍼런스와 1,200여 개 이상의 고객들에게 제공 중이다. [Tibero의 다양한 구축 환경] [Tiberod 기술력] 1. 국내 최초, 세계 2개 업체만 보유한 TAC(Tibero Active Cluster)기술로 안정적인 운영 및 DB 확장 지원 / 강화된 TSC(Tibero Standby Cluster)기술을 통한 데이터 효율성 향상 및 안정성 강화 2. 대용량 데이터 처리 기능으로 고성능을 요구하는 핵심 분석 업무에 최적화 지원 / 다양한 압축 기술로 저장 공간 절약과 조회, 처리 성능 향상을 제공 3..

[LVM 구성] >PV(Physical volume) : 하나의 물리적 디스크로 리눅스에서 VG,LV를 만들기 위해 물리적인 디스크를 PV 형태로 만들어주어야 함 >VG(Volume Group) : 하나 이상의 물리적 디스크가 모여 이루어진 볼륨. 모든 PV는 VG에 속해있어야 함 >LV(Logical Volume) : 사용자는 LV에 접근을 해서 파일을 읽고 씀. VG는 하나 이상의 LV에 속함 > 추가된 디스크를 Linux LVM으로 파티션 생성 > pvcreate 명령어를 통해 PV 생성 > VG 생성 > LV 생성 > 파일 시스템 생성 > test2폴더 생성 후 mount > /etc/fstab 추가 ======================================================..