본문 바로가기

IT개발79

[Spring Boot3] Logger & SLF4J 구현체 로그 애플리케이션의 흐름을 모니터링하고 오류를 찾는데 도움을 주는 애플리케이션 실행과 관련한 기록. "spring-boot-starter 패키지"에는 "로그백" 패키지가 포함되어 있습니다.로그백은 "SLF4J"를 기본 인터페이스로 사용합니다.애플리케이션에서 로그를 처리할 때에는 "loggerFactory"로부터 "Logger"을 취득한 후(getLooger()), 취득한 Logger를 사용하여 로그를 처리합니다.import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class Hello { private static final Logger logger = LoggerFactory.getLogger(Hello.class); public s.. 2025. 4. 20.
[Spark] RDD의 사용 실습 & HDFS의 웹 로그 데이터 삽입(Flume) Spark에서 작업하기 전에 해야 할 일웹 로그 데이터를 HDFS에 넣기(Flume이 해줍니다.)Flume이 "로컬 로그 파일"을 읽어서 HDFS의 "/loudacre/weblogs" 디렉토리로 넣는 과정을 수행해야 하겠습니다.Spark는 HDFS에 있는 데이터를 기반으로 작업하기 때문에, 그 데이터가 먼저 존재해야 Spark 코드가 제대로 실행되기 때문입니다. 이 실습에서는 제공된 웹 로그 파일을 로컬 스풀(spool) 디렉토리에 배치하여 "Apache 서버"를 시뮬레이션한 후, "Flume"을 사용하여 데이터를 수집합니다. Flume이 수집한 데이터를 저장할 HDFS 디렉토리 생성 $ hdfs dfs -mkdir /loudacre/weblogs 웹 서버 로그 출력을 위한 로컬 디렉토리 생성, 모든.. 2025. 4. 16.
[Hadoop & Spark] Hadoop과 Spark의 차이(기술적, 아키텍처) 기술적 측면데이터 처리 방식종류HadoopSpark저장 위치디스크 (HDD/SSD)메모리 (RAM)처리 속도비교적 느림매우 빠름(10배)장애 복구매우 강함 (자동 복구)상대적으로 약함실시간 처리불가능가능 Hadoop(안정성에 집중)특징디스크 기반 저장/처리 시스템"무조건 실패하지 않게"가 데이터를 작은 조각으로 나누어 여러 컴퓨터에 저장한 번에 한 가지 일만 하지만 확실히 처리Spark(속도에 집중)특징메모리 기반 처리 시스템데이터를 메모리에 올려 놓고 반복적으로 처리동시에 여러 작업을 빠르게 수행 아키텍처 비교 : 근본적인 설계 차이HADOOPHadoop은 "분산 스토리지(HDFS)"와 "분산 처리(MapReduce)"로 구성된 2계층 아키텍처입니다.배치 처리 중심 : 데이터를 "모아서 한꺼번"에 처리.. 2025. 4. 16.
[Spring Boot3]Spring Data JPA가 CRUD를 자동 처리하는 방법 최종 정리 (한 줄 요약!) 1. CrudRepository 제너릭 인터페이스 제공 2. UserRepository extends CrudRepository 형태로 실 매개 타입 전달 3. Spring이 UserRepository의 구현체를 자동 생성 4. 개발자는 UserRepository를 상속받은 인터페이스만 정의하면 CRUD 기능 사용 가능 5. Spring Data JPA가 인터페이스를 기반으로 자동으로 CRUD 쿼리를 실행결론: "인터페이스만 만들면 Spring이 알아서 CRUD를 다 해준다" Spring Data JPA의 CRUD 자동 처리 과정[CrudRepository 제너릭 인터페이스]Spring Data JPA는 CrudRepository라는 제너릭 인터페이스를 제공함.여기서 T는 엔.. 2025. 4. 14.

티스토리툴바