빅데이터 분산 처리 프로젝트 - 추천 장소 조회 API 개발목표분석 결과를 활용하여 "나와 비슷한 여행자들의 pick"을 반환하는 REST API를 구현하는 것이 목표다.전체 흐름클라이언트 요청 → GET /api/recommend?nationality=KR&ageGroup=20s&gender=M&... → Spring Boot가 PostgreSQL의 popular_places 테이블 조회 → 조건에 맞는 추천 장소 목록을 JSON으로 반환1. Entity 클래스 생성Entity는 PostgreSQL 테이블을 Java 클래스로 매핑한 것이다.Spark가 생성한 popular_places 테이블의 각 컬럼이 Java 필드가 된다.패키지 구조com.travel.bigdata.entity 패키..

빅데이터 분산 처리 프로젝트 - Spark 배치 분석 및 결과 저장목표HDFS에 쌓인 로그 데이터를 Spark로 분석하여"비슷한 여행자들이 선호하는 장소" 결과를 도출하고 PostgreSQL에 저장하는 것이 목표다.전체 흐름HDFS (사용자 로그 CSV) → Spark가 읽어서 분석 → 국적/연령대/성별/여행목적/라이프스타일별 인기 장소 도출 → PostgreSQL의 popular_places 테이블에 저장1. Spark 작업 실행 방식: spark-submitSpark 분석 작업은 Spring Boot 내부에서 실행하는 것이 아니라,별도의 스크립트를 Spark 클러스터에 제출(submit)하는 방식이다.프로젝트 기획서에도 "새벽 4시 기준 스케줄링 : 트리거 역할"이라고 명시되어 있다...

빅데이터 분산 처리 프로젝트 - HDFS에 사용자 로그 적재목표Spring Boot에서 HDFS에 사용자 행동 로그를 저장하는 파이프라인을 구현하는 것이 목표다.전체 흐름클라이언트 → POST /api/logs → Spring Boot → HDFS에 CSV 파일로 저장1. Hadoop 라이브러리 추가Spring Boot에서 HDFS에 접근하려면 Hadoop Client 라이브러리가 필요하다.build.gradle의 dependencies에 추가했다.dependencies { // 기존 의존성 생략... // HDFS 연동을 위한 Hadoop 라이브러리 implementation 'org.apache.hadoop:hadoop-client:3.2.1'}버전은 Docker로 띄운 Hadoop(..

빅데이터 분산 처리 프로젝트 - Spring Boot 프로젝트 생성 및 PostgreSQL 연동목표1단계에서 Docker로 인프라(PostgreSQL, Hadoop, Spark)를 구성했다.2단계에서는 Spring Boot 프로젝트를 생성하고, Docker로 띄운 PostgreSQL과 연결하는 것이 목표다.1. Spring Initializr로 프로젝트 생성https://start.spring.io 에서 프로젝트를 생성했다.프로젝트 설정항목설정값ProjectGradle - GroovyLanguageJavaSpring Boot3.5.11Groupcom.travelArtifactbigdataPackagingJarConfigurationYAMLJava17Dependencies의존성용도Spring WebREST..

빅데이터 분산 처리 프로젝트 - On My Guide Docker 인프라 세팅프로젝트 개요외국인 관광객을 위한 여행지 추천 시스템의 백엔드를 개발하는 프로젝트다.사용자 행동 로그를 수집하고, 빅데이터 분산 처리를 통해 "나와 비슷한 여행자들의 선호 여행지"를 분석하여 추천하는 것이 목표다.기술 스택Java 17 / Spring Boot 3.0.5 / Spring Security 6PostgreSQL — 분석 결과 저장용 RDBHadoop (HDFS) — 대용량 사용자 로그 적재Spark — 배치 분산 처리 (군집 분석)Kafka — 로그 이벤트 스트리밍전체 데이터 파이프라인사용자 행동 (GO, 상세보기, 재추천) ↓Kafka (로그 이벤트 스트림) ↓Spring Consumer (Kafka 메..

커피점·제과점 최적 주택 찾기 — 다중 소스 다익스트라 풀이1. 문제 요약N개의 건물(0 ~ N-1)이 양방향 도로로 연결된 그래프가 주어진다. 도로에는 거리 정보가 있고, 실시간으로 새로운 도로가 추가될 수 있다.calculate 호출 시 M개의 커피점 건물, P개의 제과점 건물, 제한 거리 R이 주어지면, 커피점도 제과점도 아닌 주택 중에서 다음 조건을 만족하는 건물을 찾아야 한다.가장 가까운 커피점까지의 최단 거리 ≤ R가장 가까운 제과점까지의 최단 거리 ≤ R조건을 만족하는 주택이 여러 개라면, (커피점 최단 거리 + 제과점 최단 거리)의 최솟값을 반환한다. 조건을 만족하는 주택이 없으면 -1을 반환한다.2. Main 코드 분석 — 입력 구조와 채점 로직 이해제출 시스템에서는 main.py가 입력..