본문 바로가기

전체 글171

[Spring Boot3] Logger & SLF4J 구현체 로그 애플리케이션의 흐름을 모니터링하고 오류를 찾는데 도움을 주는 애플리케이션 실행과 관련한 기록. "spring-boot-starter 패키지"에는 "로그백" 패키지가 포함되어 있습니다.로그백은 "SLF4J"를 기본 인터페이스로 사용합니다.애플리케이션에서 로그를 처리할 때에는 "loggerFactory"로부터 "Logger"을 취득한 후(getLooger()), 취득한 Logger를 사용하여 로그를 처리합니다.import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class Hello { private static final Logger logger = LoggerFactory.getLogger(Hello.class); public s.. 2025. 4. 20.
[Coding Test] 신규 아이디 추천(프로그래머스, Java, Lv.1) 문제 설명카카오에 입사한 신입 개발자 네오는 "카카오계정개발팀"에 배치되어, 카카오 서비스에 가입하는 유저들의 아이디를 생성하는 업무를 담당하게 되었습니다. "네오"에게 주어진 첫 업무는 새로 가입하는 유저들이 카카오 아이디 규칙에 맞지 않는 아이디를 입력했을 때, 입력된 아이디와 유사하면서 규칙에 맞는 아이디를 추천해주는 프로그램을 개발하는 것입니다. 다음은 카카오 아이디의 규칙입니다. 아이디의 길이는 3자 이상 15자 이하여야 합니다. 아이디는 알파벳 소문자, 숫자, 빼기(-), 밑줄(_), 마침표(.) 문자만 사용할 수 있습니다. 단, 마침표(.)는 처음과 끝에 사용할 수 없으며 또한 연속으로 사용할 수 없습니다. "네오"는 다음과 같이 7단계의 순차적인 처리 과정을 통해 신규 유저가 입력한 아이디.. 2025. 4. 18.
[Spark] RDD의 사용 실습 & HDFS의 웹 로그 데이터 삽입(Flume) Spark에서 작업하기 전에 해야 할 일웹 로그 데이터를 HDFS에 넣기(Flume이 해줍니다.)Flume이 "로컬 로그 파일"을 읽어서 HDFS의 "/loudacre/weblogs" 디렉토리로 넣는 과정을 수행해야 하겠습니다.Spark는 HDFS에 있는 데이터를 기반으로 작업하기 때문에, 그 데이터가 먼저 존재해야 Spark 코드가 제대로 실행되기 때문입니다. 이 실습에서는 제공된 웹 로그 파일을 로컬 스풀(spool) 디렉토리에 배치하여 "Apache 서버"를 시뮬레이션한 후, "Flume"을 사용하여 데이터를 수집합니다. Flume이 수집한 데이터를 저장할 HDFS 디렉토리 생성 $ hdfs dfs -mkdir /loudacre/weblogs 웹 서버 로그 출력을 위한 로컬 디렉토리 생성, 모든.. 2025. 4. 16.
[Hadoop & Spark] Hadoop과 Spark의 차이(기술적, 아키텍처) 기술적 측면데이터 처리 방식종류HadoopSpark저장 위치디스크 (HDD/SSD)메모리 (RAM)처리 속도비교적 느림매우 빠름(10배)장애 복구매우 강함 (자동 복구)상대적으로 약함실시간 처리불가능가능 Hadoop(안정성에 집중)특징디스크 기반 저장/처리 시스템"무조건 실패하지 않게"가 데이터를 작은 조각으로 나누어 여러 컴퓨터에 저장한 번에 한 가지 일만 하지만 확실히 처리Spark(속도에 집중)특징메모리 기반 처리 시스템데이터를 메모리에 올려 놓고 반복적으로 처리동시에 여러 작업을 빠르게 수행 아키텍처 비교 : 근본적인 설계 차이HADOOPHadoop은 "분산 스토리지(HDFS)"와 "분산 처리(MapReduce)"로 구성된 2계층 아키텍처입니다.배치 처리 중심 : 데이터를 "모아서 한꺼번"에 처리.. 2025. 4. 16.

티스토리툴바