AWS7 [AWS] QuickSight로 S3 데이터 시각화하기 이번에는 S3에 저장된데이터(member 테이블)를 QuickSight로 시각화하여 그래프 및 지도로 나타내 보려고 한다.QuickSight가 무엇인지 알아보고 계정 생성 후 실습 진행과정을 정리하였다. 🔍 QuickSight란?Amazon QuickSight는 AWS에서 제공하는 서버리스 비즈니스 인텔리전스(BI) 서비스로,데이터를 시각화하고 대시보드를 통해 공유할 수 있는 클라우드 기반 도구이다. ✅ 주요 특징서버리스인프라 관리 필요 없이 사용 가능 (자동 확장)SPICE 엔진대용량 데이터를 메모리에 로딩해 빠른 분석 가능다양한 데이터 소스S3, Athena, RDS, Redshift, Aurora, Salesforce, Excel 등 연동시각화 지원표, 막대/선형/원형 차트, 지도 시각화 등 다양.. 2025. 4. 9. [AWS] S3 파일 업로드시 CSV 파일 한글 깨짐 현상 (해결) member 테이블의 레코드가 담겨있는 CSV 파일을 이전 포스팅에서 한셀을 이용해서 S3에 업로드 하였는데 추가 실습을 위하여 레코드를 40개정도 추가 후 다시 Athena로 쿼리를 사용하는 과정에서 문제가 생겼다. 한셀로 CSV 저장하는 과정에서 쉼표 구분자로 저장이 되지 않아 Athena에서 파일을 잘 읽어오지 못하였다.어쩔수 없이 Excel 파일로 연결 후 '쉼표 분리'로 저장을 하였는데이때 한글이 깨진 상태로 파일이 저장되는 문제가 발생하여 이를 해결하는 과정을 포스팅 하려고 한다. 아래와 같이 member.csv 파일을 열면 한글이 깨져있는 상태다. Athena는 파일 인코딩이 UTF-8일 경우 자동으로 처리하지만,CSV 파일이 BOM(Byte Order Mark) 없는 UTF-8이라면.. 2025. 4. 9. [AWS] Athena 사용 및 쿼리 실행 (S3) ✅ AWS Athena란?Amazon Athena는 AWS에서 제공하는 서버리스(Serverless) SQL 쿼리 서비스이다.즉, 서버를 직접 구축하거나 관리하지 않아도, S3에 저장된 데이터에 SQL로 직접 접근하여 분석할 수 있는 서비스이다. Athena는 필요시에만 SQL 쿼리를 날려 데이터를 분석하는 서비스로, 분석 환경을 빠르게 구성하고 비용을 절감할 수 있는 장점이 있다. 1. S3 버킷에 CSV 데이터 저장 (이전 포스팅 참고) https://z00h.tistory.com/136 ↓ 2. Athena에서 데이터베이스 및 테이블 생성 ↓ 3. SQL 쿼리를 작성하여 데이터 조회 및 분석 ↓ 4. 결과 확인 및 저장 (CSV 다운로드 등) Athena를 .. 2025. 4. 9. [AWS] S3 버킷 생성 CSV파일 업로드 이번 글에서는 S3의 개념과 함께 로컬 db 데이터를 CSV 파일로 변환하여 S3에 업로드하는 과정까지 정리해보았다. S3란Amazon S3는 AWS에서 제공하는 객체 스토리지 서비스로,이미지, 문서, 로그 파일, 백업 등 모든 데이터를 인터넷상에서 안전하게 저장할 수 있다. ✅ S3를 사용하는 이유1. 무제한에 가까운 저장 용량 (확장성)S3는 데이터 용량 제한이 없기 때문에, 수십만 개의 파일도 문제 없이 저장 가능프로젝트가 커져도 따로 서버 증설 없이 그대로 사용 가능2. 높은 내구성 및 안정성S3는 데이터를 여러 위치에 중복 저장해서, 거의 절대적으로 안전하게 보관 가능디스크 고장, 네트워크 문제 등에도 데이터 손실 확률이 매우 낮음3. 다양한 AWS 서비스와 연동Athena, Lambda, Gl.. 2025. 4. 8. [AWS] SpringBoot 프로젝트 (EC2) 배포 Mariadb,Maven, git(2) 이번에는 Putty를 이용하여 Ubuntu 콘솔에 접속한 환경에서Git을 설치하고 Ubuntu에 git clone 하여 배포해보려고 한다. 로컬 환경에서 빌드 후 jar 파일을 생성하여 EC2로 가져와도 무방하지만로컬에서 프로젝트 변경사항이 생겼을때 EC2 내에서 연결된 git에서자동으로 pull 받아 EC2 내에서 빌드 할 수 있는 편리함이 있어 git과 연동하여 진행해볼 예정이다. 1. EC2에서 Git 설치 및 설정 ✅ 1.1. Git 설치EC2에 Git이 설치되어 있는지 확인합니다.Git을 아래 명령어로 설치sudo apt update && sudo apt install git -y Git 설치 확인git —version ✅ 1.2. GitHub SSH 키 등록EC2에 SSH 키 생성ssh-.. 2025. 4. 4. [AWS] SpringBoot 프로젝트 배포 Mariadb,Maven SpringBoot 프로젝트를 EC2 (Ubuntu)를 사용하여 배포하는 과정을 정리해보려고한다.1. AWS EC2 인스턴스 생성✅ 1.1. AWS 계정 생성 및 로그인AWS Console 로그인EC2 서비스로 이동 (우측 상단 리전은 서울로 변경) 3. 인스턴스 시작 클릭 ✅ 1.2. 인스턴스 설정인스턴스 이름임의로 네이밍을 하여 추후 인스턴스별 구분이 되도록 입력한다.AMI 선택: Ubuntu 22.04 LTS (프리티어 무료 사용 가능)어떤 OS로 서버를 구성할 것인지 선택하는 과정이다. 인스턴스 유형: t2.micro (프리티어) 키 페어 생성:키 페어는 EC2 원격 접속을 하기 위해 필요하여 생성해주어야한다.기존에 생성해 놓은 키 페어로 사용해도 무방하다."새 키 페어 생성" → ... 2025. 4. 4. [AWS] EC2 Ubuntu - putty 원격 접속 (Windows) springboot 프로젝트를 aws EC2를 이용하여 배포하기 위해 EC2 인스턴트를 생성한 후 putty로 ubuntu에 접속하던 중 ssh 연결 과정 오류가 발생하였습니다. 1. 개요 및 환경Spring Boot 프로젝트를 AWS EC2의 Ubuntu 환경에서 접속 과정에서 발생한 오류 해결OS: Ubuntu 24.04 (EC2 인스턴스) DB: MariaDB배포 방식: Git을 이용한 소스 코드 배포 후 Maven 빌드SSH 연결: Windows → EC2 (PuTTY) 2. 연결 과정 Putty로 EC2 서버에 접속하기 위해 aws 인스턴스 생성시 발급 받은 키 페어 확장자를 변경하여야 한다.(.pem ->.ppk) 2-1. puttygen 실행 > File > Load private key .. 2025. 4. 3. 이전 1 다음
