본문 바로가기

IT개발84

[Linux] 나만 보는 Ubuntu CLI 단축키 및 명령어 1. 터미널 단축키 (CLI)기본 터미널 조작단축키설명Ctrl + Alt + T터미널 열기Ctrl + D현재 쉘 종료 (exit와 동일)Ctrl + L터미널 화면 지우기 (clear와 동일)Ctrl + Shift + T새 탭 열기Ctrl + Shift + W현재 탭 닫기Ctrl + Shift + Q터미널 창 닫기Alt + 숫자키 (1~9)특정 탭으로 이동명령어 입력 및 탐색단축키설명Ctrl + C실행 중인 명령어 강제 종료Ctrl + Z실행 중인 프로세스를 백그라운드로 보내기 (fg로 다시 실행 가능)Ctrl + A커서 맨 앞으로 이동Ctrl + E커서 맨 뒤로 이동Ctrl + U커서 왼쪽 모든 입력 삭제Ctrl + K커서 오른쪽 모든 입력 삭제Ctrl + W커서 앞의 한 단어 삭제Ctrl + YCtrl.. 2025. 5. 14.
[Spring Boot3] Logger & SLF4J 구현체 로그 애플리케이션의 흐름을 모니터링하고 오류를 찾는데 도움을 주는 애플리케이션 실행과 관련한 기록. "spring-boot-starter 패키지"에는 "로그백" 패키지가 포함되어 있습니다.로그백은 "SLF4J"를 기본 인터페이스로 사용합니다.애플리케이션에서 로그를 처리할 때에는 "loggerFactory"로부터 "Logger"을 취득한 후(getLooger()), 취득한 Logger를 사용하여 로그를 처리합니다.import org.slf4j.Logger;import org.slf4j.LoggerFactory;public class Hello { private static final Logger logger = LoggerFactory.getLogger(Hello.class); public s.. 2025. 4. 20.
[Spark] RDD의 사용 실습 & HDFS의 웹 로그 데이터 삽입(Flume) Spark에서 작업하기 전에 해야 할 일웹 로그 데이터를 HDFS에 넣기(Flume이 해줍니다.)Flume이 "로컬 로그 파일"을 읽어서 HDFS의 "/loudacre/weblogs" 디렉토리로 넣는 과정을 수행해야 하겠습니다.Spark는 HDFS에 있는 데이터를 기반으로 작업하기 때문에, 그 데이터가 먼저 존재해야 Spark 코드가 제대로 실행되기 때문입니다. 이 실습에서는 제공된 웹 로그 파일을 로컬 스풀(spool) 디렉토리에 배치하여 "Apache 서버"를 시뮬레이션한 후, "Flume"을 사용하여 데이터를 수집합니다. Flume이 수집한 데이터를 저장할 HDFS 디렉토리 생성 $ hdfs dfs -mkdir /loudacre/weblogs 웹 서버 로그 출력을 위한 로컬 디렉토리 생성, 모든.. 2025. 4. 16.
[Hadoop & Spark] Hadoop과 Spark의 차이(기술적, 아키텍처) 기술적 측면데이터 처리 방식종류HadoopSpark저장 위치디스크 (HDD/SSD)메모리 (RAM)처리 속도비교적 느림매우 빠름(10배)장애 복구매우 강함 (자동 복구)상대적으로 약함실시간 처리불가능가능 Hadoop(안정성에 집중)특징디스크 기반 저장/처리 시스템"무조건 실패하지 않게"가 데이터를 작은 조각으로 나누어 여러 컴퓨터에 저장한 번에 한 가지 일만 하지만 확실히 처리Spark(속도에 집중)특징메모리 기반 처리 시스템데이터를 메모리에 올려 놓고 반복적으로 처리동시에 여러 작업을 빠르게 수행 아키텍처 비교 : 근본적인 설계 차이HADOOPHadoop은 "분산 스토리지(HDFS)"와 "분산 처리(MapReduce)"로 구성된 2계층 아키텍처입니다.배치 처리 중심 : 데이터를 "모아서 한꺼번"에 처리.. 2025. 4. 16.

티스토리툴바