기억 파편

Dead Letter (데드 레터)

"Dead Letter"란, 메시지 큐에서 소비자(consumer)에게 전달할 수 없거나 처리 중에 문제가 발생하여 처리가 불가능한 메시지를 말합니다. 보통 메시지를 큐에 전달하려 했으나 여러 번 재시도해도 실패하거나 타임아웃이 발생한 경우, 해당 메시지를 일반 큐에서 제거하고 "Dead Letter Queue (DLQ)"라고 불리는 별도의 큐로 이동시킵니다.

이 과정은 메시지 처리 실패 시 메시지를 손실하지 않고 안전하게 보관하여 나중에 점검하거나 문제를 해결할 수 있도록 하기 위함입니다.

Producer Dead Letter (생산자 데드 레터)

"Producer Dead Letter"는 메시지를 큐로 전송하는 생산자(producer) 측에서 발생한 문제로 인해 큐에 정상적으로 전달되지 못한 메시지를 의미합니다. 프로듀서가 메시지를 발행할 때 네트워크 오류, 메시지 큐 자체의 장애, 또는 메시지 크기 제한 등으로 인해 큐에 메시지가 도달하지 못하는 경우, 이 메시지를 Dead Letter로 처리할 수 있습니다.

이러한 상황에서는 메시지를 버리거나 다른 DLQ에 저장하여 생산자 측 문제를 추적하고 나중에 재전송할 수 있습니다.

Consumer Dead Letter (소비자 데드 레터)

"Consumer Dead Letter"는 소비자가 특정 메시지를 처리하는 도중 실패하거나 오류가 발생하여 메시지를 정상적으로 처리하지 못한 경우를 의미합니다. 일반적으로 메시지 큐는 메시지가 소비자에게 여러 번 재시도된 후에도 실패하는 경우, 해당 메시지를 "Dead Letter Queue"로 이동시킵니다.

이러한 "Consumer Dead Letter"는 일반적으로 소비자가 처리할 수 없는 메시지(잘못된 형식, 누락된 데이터, 또는 예상치 못한 내용)를 담고 있어, 이를 DLQ에 넣고 이후 개발자나 운영자가 수동으로 처리하거나 점검할 수 있습니다.

Kafka에서 Dead Letter Queue 설정 방법

Kafka 자체에는 기본적으로 DLQ 기능이 없지만, 컨슈머 애플리케이션 쪽에서 구현 가능하다.

1. DLQ 토픽 생성:
   • Kafka에 별도의 DLQ 토픽을 생성.
   • 예를 들어, 원본 토픽이 my-topic이라면, DLQ 토픽은 my-topic-dlq와 같은 방식으로 이름을 지정
2. 컨슈머 예외 처리 및 DLQ 전송:
   • 메시지 처리 중 오류가 발생할 때 예외 처리를 통해 실패한 메시지를 DLQ 토픽으로 전송
   • 예를 들어, 메시지 처리 로직에서 예외가 발생하면 KafkaProducer를 사용하여 DLQ 토픽에 메시지를 전송

public void processMessage(String message) {
    try {
        // 메시지 처리 로직
    } catch (Exception e) {
        // DLQ로 메시지 전송
        ProducerRecord<String, String> record = new ProducerRecord<>("my-topic-dlq", message);
        kafkaProducer.send(record);
        log.error("Failed to process message, sent to DLQ", e);
    }
}

3. Kafka Connect 사용:

Kafka Connect는 Kafka와 다른 시스템 간에 데이터를 쉽게 전송(스트리밍)할 수 있게 해주는 프레임워크이다. 이를 통해 다양한 데이터베이스, 파일 시스템, 클라우드 서비스, 로그 시스템 등과 Kafka를 통합할 수 있음.

• Source Connectors: 외부 시스템에서 Kafka로 데이터를 전송하는 커넥터
  • 예를 들어, 데이터베이스에서 데이터를 Kafka로 보내거나, 로그 파일에서 Kafka로 스트리밍
• Sink Connectors: Kafka에서 외부 시스템으로 데이터를 전송하는 커넥터
  • 예를 들어, Kafka에서 받은 데이터를 데이터베이스나 HDFS, Elasticsearch 등으로 보냄

Kafka Connect는 standalone mode와 distributed mode로 실행할 수 있으며, connector configuration을 통해 여러 외부 시스템과의 통합을 자동화함.

Dead Letter Queue는 메시지 처리 중 오류가 발생한 메시지를 별도의 큐에 저장해두고, 후속 처리를 통해 문제를 해결할 수 있게 해주는 시스템이다. Kafka Connect에서 DLQ는 주로 메시지 처리 실패 시 데이터를 안전하게 보관하고, 문제가 해결된 후 재처리를 할 수 있도록 도와줌.

Kafka Connect DLQ 기능은 주로 dead-letter-policy와 관련된 설정을 통해 구성된다. 예를 들어, 메시지 처리에 실패할 경우 해당 메시지를 DLQ로 이동시켜 추가적인 검토 및 처리가 가능하게 함.

• Kafka Connect 프레임워크와 Dead Letter Queue 기능을 지원하는 커넥터를 사용하고(ex. Debezium) 커넥터 설정에서 errors.deadletterqueue.topic.name을 지정하여 특정 토픽을 DLQ로 사용 가능.

RabbitMQ에서 Dead Letter Queue 설정 방법

RabbitMQ는 기본적으로 DLQ 기능을 지원함

1. DLQ용 큐 생성:
   • Dead Letter를 위한 별도의 큐를 생성합니다.
   • 예를 들어 my-queue-dlq라는 이름의 큐를 생성
2. Dead Letter Exchange 생성:
   • x-dead-letter-exchange와 같은 DLX(Dead Letter Exchange)를 생성하여 메시지를 전송할 곳을 설정. DLX는 메시지 처리 실패 시, 또는 메시지가 만료된 경우 메시지를 다른 큐로 라우팅하는 역할을 함.
3. 원본 큐 설정에 DLX 추가:
   • 원본 큐를 설정할 때 x-dead-letter-exchange 속성을 추가하여 DLX를 지정.
   • 예를 들어, my-queue라는 원본 큐가 있을 때 해당 큐의 메시지가 실패하면 DLX를 통해 DLQ 큐로 메시지가 전달
   • 메시지 만료 시간(x-message-ttl)을 설정하여 특정 시간이 지나면 DLQ로 이동하도록 설정 가능

// Dead Letter Exchange 및 Queue 설정
Map<String, Object> args = new HashMap<>();
args.put("x-dead-letter-exchange", "my-dlx");  // 익스채인지 설정
args.put("x-dead-letter-routing-key", "my-queue-dlkey"); // 라우팅 키 설정
// 메시지 만료 시간 설정 (TTL)
args.put("x-message-ttl", 60000);  // 60초 후 메시지 만료

// 원본 큐 선언
channel.queueDeclare("my-queue", true, false, false, args); // 큐에 엮음

// Dead Letter Queue 선언
channel.queueDeclare("my-queue-dlq", true, false, false, null);
channel.queueBind("my-queue-dlq", "my-dlx", "my-queue-dlkey"); // 큐, 익스채인지, 라우팅 키

• "my-queue"라는 이름의 원본 큐를 선언
• args는 위에서 설정한 Dead Letter Exchange 및 라우팅 키를 포함하는 속성. 이 속성에 따라 메시지가 만료되거나 처리 실패 시 DLX를 통해 my-queue-dlq로 전달됨
• "my-queue-dlq"라는 이름의 Dead Letter Queue(DLQ)를 선언. 이 큐는 Dead Letter로 전달된 메시지를 저장하는 역할을 함
• channel.queueBind는 "my-dlx" DLX와 "my-queue-dlq" 큐를 지정한 라우팅 키 "my-queue-dlkey"를 통해 연결하여, DLX에서 발생한 Dead Letter 메시지가 이 큐에 전달되도록 설정

Dead Letter가 Dead Letter Queue 에 쌓이면 그 다음 단계는?

1. Dead Letter 모니터링 및 알림

• DLQ에 메시지가 쌓이면 이를 모니터링하고, 일정 수 이상이 되거나 특정 조건을 만족하면 자동으로 알림이 오도록 설정
• 알림 시스템을 통해 개발자나 운영팀이 문제를 인식하고 원인을 분석

2. 원인 분석

• DLQ에 쌓인 메시지를 검토하여 처리 실패 원인을 파악.
  • 메시지 형식 오류 또는 잘못된 데이터
  • 처리 로직의 버그 또는 예외
  • 메시지 크기 초과나 타임아웃
• 로그를 통해 오류 상황을 구체적으로 분석하거나, DLQ에 쌓인 메시지 내용 자체를 검토하여 어떤 부분에서 문제가 발생했는지 확인

3. 수동 재처리 또는 자동 재처리

• 문제가 해결된 후 DLQ의 메시지를 다시 원래 큐에 넣어 재처리 가능. 이를 자동화할 수도 있지만, 데이터 일관성을 위해 보통 수동으로 처리
• 자동화 시 재처리 시나리오를 신중하게 정의해야 하며, 동일한 실패가 발생하지 않도록 로직을 수정

E2E 테스트?

여러 구성 요소가 함께 예상대로 작동하는지 확인하는 테스트

• 환경 유사성: E2E 서버는 실제 운영 환경을 최대한 유사하게 설정하여, 실제 서비스에서 발생할 수 있는 문제를 미리 발견할 수 있도록 합니다.
• 자동화 테스트: Selenium, Cypress, Playwright 같은 도구를 사용하여 사용자의 인터랙션을 자동으로 시뮬레이션하고, 여러 계층 간의 흐름을 확인합니다.
• 데이터 일관성: 일부 E2E 서버는 테스트 데이터베이스나 샌드박스 환경을 사용하여 실제 운영 데이터와 분리된 상태에서 테스트를 수행합니다.
• CI/CD 통합: E2E 테스트는 CI/CD 파이프라인에 통합되어 배포 과정에서 발생할 수 있는 문제를 조기에 발견할 수 있도록 자동으로 실행됩니다.

E2E 서버 = E2E 테스트를 위한 서버

1. 테스트 환경 구성

E2E 서버는 운영 환경과 유사한 환경을 제공하는 것이 중요합니다. 이를 위해 다음과 같은 환경을 구성합니다.

• 테스트용 데이터베이스: 실제 데이터베이스와 분리된 테스트용 데이터베이스를 설정하여 데이터 충돌을 방지하고 테스트 데이터를 자유롭게 사용할 수 있게 합니다.
• 테스트 API 엔드포인트: E2E 서버는 운영 API와 구분된 테스트용 API 엔드포인트를 설정해 두는 것이 좋습니다.
  • url을 또 따는건 아닌 것 같음, 같은 소스에 profile 만 stage 이런식으로 주는게 좋을 것 같음. 매번 주소 바꾸고 관리하는거 불편
• 샌드박스 모드: 외부 API를 사용하는 경우, 실제 외부 API와 통신하지 않고 샌드박스 모드(테스트 모드)로 설정하여 과금 등의 위험을 줄입니다.
  • 테스트 용 api를 제공해주는게 제일 좋은 것 같음.. 그렇지 않다면.. mock server를 띄워서 상황별로 일정한 값을 내리도록 세팅해야 할 듯
• 인프라 설정: 실제 환경을 모방하여 Docker 등을 활용해 마이크로서비스 아키텍처를 구성하거나 CI/CD 파이프라인에서 테스트 환경을 동적으로 띄우는 방법을 사용할 수 있습니다.

2. 자동화 도구 설정

자동화 도구는 사용자의 행동을 시뮬레이션하고, 전체 흐름을 테스트하는 데 중요한 역할을 합니다. 몇 가지 인기 있는 도구는 다음과 같습니다.

• Selenium: 주로 웹 애플리케이션의 UI 테스트를 자동화하는 데 사용되며, 다양한 브라우저를 지원합니다.
• Cypress: 현대 웹 애플리케이션 테스트에 적합한 빠르고 간편한 도구로, 백엔드와의 상호작용을 테스트하는 데 강점을 가집니다.
• Playwright: 다양한 브라우저와 모바일 디바이스까지 지원하며, 최신 웹 애플리케이션에 적합한 자동화 도구입니다.
• soup ui: 사용해서 api 순차 호출하고 전 결과를 후 api 에 사용 가능. 시나리오별로 관리 가능

이 도구들을 CI/CD 파이프라인과 통합하여 특정 조건에서 E2E 테스트가 자동으로 실행되도록 설정할 수 있습니다.

3. 테스트 코드 작성

테스트 코드는 사용자가 실제로 애플리케이션을 사용하는 흐름을 최대한 비슷하게 재현해야 합니다.

• 시나리오 설계: 로그인, 상품 조회, 결제 등 사용자의 주요 작업 시나리오를 정리하고, 순서대로 테스트가 진행되도록 합니다.
• 상태 관리: 테스트 중 서버의 상태(예: 로그인 상태, 장바구니에 담긴 상품 등)를 일관되게 관리하기 위해 각 테스트 케이스를 독립적으로 작성하거나, 필요한 경우 테스트 실행 전후에 초기화 과정을 둡니다.
• 에러 및 예외 처리 테스트: 정상적인 흐름뿐 아니라, 잘못된 입력이나 서버 오류 등 다양한 예외 상황을 테스트하여 애플리케이션이 안정적으
• 로 작동하는지 확인합니다.

4. CI/CD 통합

테스트가 성공적으로 작성되었다면, 이를 CI/CD 파이프라인에 통합하여 배포 전 자동으로 실행되도록 설정합니다.

• GitHub Actions, Jenkins, GitLab CI 등과 같은 CI/CD 도구를 사용하여 코드가 변경될 때마다 자동으로 E2E 테스트를 실행할 수 있습니다.
• 테스트 결과가 실패하면 알림을 받도록 하여, 문제를 빠르게 확인하고 수정할 수 있도록 합니다.

cypress 예시

npm install cypress --save-dev

위 명령어로 설치하고 루트에 cypress.json 파일을 생성하고 아래처럼 api서버 url 설정

{
  "baseUrl": "http://localhost:8080"
}

테스트 파일 생성: cypress/integration/user_spec.js 파일을 생성하고 아래와 같이 작성

describe('User API E2E Test', () => {
  it('should create a new user and retrieve the user list', () => {
    const user = { name: 'John Doe', email: 'john.doe@example.com' };

    // Create a new user
    cy.request('POST', '/users', user)
      .its('status')
      .should('eq', 200);

    // Retrieve the user list and verify the new user exists
    cy.request('/users').then((response) => {
      expect(response.status).to.eq(200);
      expect(response.body).to.have.length.greaterThan(0);
      expect(response.body.some(u => u.email === user.email)).to.be.true;
    });
  });
});

1. POST /users 엔드포인트에 사용자 데이터를 보내 사용자를 생성
2. GET /users 엔드포인트로 모든 사용자를 조회하고, 방금 생성한 사용자가 포함되어 있는지 확인

아래 명령어로 cypress 실행, Cypress 창이 열리면 user_spec.js 테스트 파일을 선택

npx cypress open

github actions와 연동

테스트를 해야하는 서버의 코드에 .github/workflows/e2e-test.yml 파일생성하고 다음 설정을 추가

(gitHub는 .github/workflows/ 폴더에 있는 YAML 파일을 모두 인식하여 워크플로우로 처리)

name: E2E Tests

on:
  push:
    branches:
      - main
  pull_request:
    branches:
      - main

jobs:
  e2e-test:
    runs-on: ubuntu-latest

    services:
      db:
        image: mysql:5.7
        env:
          MYSQL_ROOT_PASSWORD: password
          MYSQL_DATABASE: e2e_test_db
        ports:
          - 3306:3306
        options: >-
          --health-cmd="mysqladmin ping --silent"
          --health-interval=10s
          --health-timeout=5s
          --health-retries=3

    steps:
      - name: Check out the code
        uses: actions/checkout@v2

      - name: Set up JDK 11
        uses: actions/setup-java@v2
        with:
          java-version: '11'

      - name: Install dependencies
        run: ./gradlew build -x test

      - name: Start Spring Boot application with E2E profile
        run: ./gradlew bootRun -Dspring.profiles.active=e2e &
        env:
          SPRING_DATASOURCE_URL: jdbc:mysql://localhost:3306/e2e_test_db
          SPRING_DATASOURCE_USERNAME: root
          SPRING_DATASOURCE_PASSWORD: password
        timeout-minutes: 2

      - name: Wait for Spring Boot to start
        run: |
          timeout 60s bash -c "until echo > /dev/tcp/localhost/8080; do sleep 5; done"

      - name: Run Cypress tests
        uses: cypress-io/github-action@v2
        with:
          start: npm start
        env:
          CYPRESS_BASE_URL: http://localhost:8080

main 브랜치에 머지하거나 pr 날리면 cypress 실행하도록 작성

사용 예시

@Configuration
public class AppConfig {

    @Bean
    public Service defaultService() {
        return new ServiceImpl();
    }

    @Bean
    @Primary
    public Service primaryService() {
        return new PrimaryServiceImpl();
    }

    @Bean(name = "customService")
    public Service customNamedService() {
        return new CustomServiceImpl();
    }
}

이렇게 등록된 빈들을 사용할 때는 아래와 같이 다양한 방법으로 사용할 수 있다.

주의해야 할 점은 이름만 같게 해 준다고 자동으로 주입되는 게 아니라는 사실...

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

@Component
public class ServiceConsumer {

    private final Service defaultService;
    private final Service primaryService;
    private final Service customService;

    // 기본 주입: @Primary가 지정된 빈이 주입됨
    @Autowired
    public ServiceConsumer(Service primaryService) {
        this.primaryService = primaryService;
    }

    // @Qualifier를 사용하여 이름으로 주입
    @Autowired //setter 방식으로 주입 시 필수
	public void setDefaultService(@Qualifier("defaultService") Service defaultService) {
    this.defaultService = defaultService;
}


    // @Qualifier를 사용하여 특정 이름의 빈 주입
    @Autowired
    @Qualifier("customService") //메서드에 붙여도 되지만 인자에 붙이는게 더 읽기 쉬움
    public void setCustomService(Service customService) {
        this.customService = customService;
    }

    public void useServices() {
        primaryService.execute();    // PrimaryServiceImpl이 실행됨
        defaultService.execute();    // ServiceImpl이 실행됨
        customService.execute();     // CustomServiceImpl이 실행됨
    }
}

하지만 내가 선호하는 방식은 아니다. 주입하는 코드가 너무 난잡하고 길다.. 나라면 아래처럼 생성자 방식으로 주입할 것이다...

import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

@Component
public class ServiceConsumer {

    private final Service defaultService;
    private final Service primaryService;
    private final Service customService;

    // 필드에 특정 빈을 주입할 수 있도록 생성자 파라미터에 @Qualifier 추가
    public ServiceConsumer(
        @Qualifier("defaultService") Service defaultService,
        @Qualifier("primaryService") Service primaryService, //@Primary라서 @Qualifier 없어도 됨
        @Qualifier("customService") Service customService
    ) {
        this.defaultService = defaultService;
        this.primaryService = primaryService;
        this.customService = customService;
    }

    // 메서드 예시
    public void useServices() {
        defaultService.execute();
        primaryService.execute();
        customService.execute();
    }
}

위처럼 해도 되지만 사실 진짜 원하는건 아래와 같이 롬복을 사용한 방식이다.

import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

@Component
@RequiredArgsConstructor
public class ServiceConsumer {

    private final Service primaryService;
    @Qualifier("defaultService")
    private final Service defaultService;
    @Qualifier("customService")
    private final Service customService;

...
}

하지만 이러면 에러가 난다. 

Lombok does not copy the annotation 'org.springframework.beans.factory.annotation.Qualifier' into the constructor

꼭 써야한다면..

src/main/java 하위에(com.xx~과 같은 위치) lombok.config 파일을 생성하고 아래 내용을 작성한다.

# lombok.config
lombok.copyableAnnotations += org.springframework.beans.factory.annotation.Qualifier

이렇게 설정하면 Qualifier를 복사하여 어노테이션을 롬복이 컴파일할 때 만드는 파일에 추가해 준다.

자바 thread pool 

Thread Pool은 미리 생성된 여러 스레드들이 모여 작업을 처리하는 스레드 그룹입니다. 주로 서버나 애플리케이션에서 반복적인 작업이 필요할 때, 작업마다 새로운 스레드를 생성하고 종료하는 대신, 미리 준비된 스레드를 사용하여 효율적으로 작업을 처리합니다. 이렇게 하면 스레드 생성과 소멸에 필요한 시간과 리소스를 절약할 수 있습니다.

1. 효율적인 리소스 관리:
   • 스레드를 매번 생성하고 삭제하는 비용을 줄여 CPU와 메모리 사용을 최적화합니다.
   • 일정 수의 스레드만 사용하여 리소스를 제한하기 때문에 시스템 과부하를 예방합니다.
2. 성능 향상:
   • 새로운 작업이 들어오면 미리 준비된 스레드를 활용하여 빠르게 작업을 처리합니다.
   • 특히 웹 서버와 같이 다수의 요청을 동시에 처리해야 하는 경우, Thread Pool이 성능을 크게 향상시킵니다.
3. 작업 대기열 관리:
   • 스레드 수가 제한되어 있어, 할당된 스레드가 모두 바쁘다면 새로 들어오는 작업은 대기열에 보관됩니다.
   • 스레드가 완료되면 다음 작업을 수행하므로 병목을 방지합니다.

적합한 상황

• 동시성 요구가 큰 작업: 웹 서버, 데이터베이스 연결, 대규모 병렬 계산 작업에서 효과적입니다.
• 고정된 수의 작업 처리: 주기적으로 발생하는 작업(예: 주기적인 데이터 동기화)에서 적절합니다.
• 비동기, 스케줄

자바 예시

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

ExecutorService executorService = Executors.newFixedThreadPool(10); // 고정 크기 10개 스레드 풀 생성

for (int i = 0; i < 20; i++) {
    executorService.submit(() -> {
        System.out.println("Thread: " + Thread.currentThread().getName());
    });
}

executorService.shutdown(); // 작업 종료 후 모든 스레드 종료

• newFixedThreadPool(int n): 고정된 개수의 스레드를 가진 스레드 풀 생성.
• newCachedThreadPool(): 필요할 때 스레드를 생성하고, 일정 시간 후 소멸하는 스레드 풀.
• newSingleThreadExecutor(): 하나의 스레드로 순차적으로 작업을 처리하는 스레드 풀.
• newScheduledThreadPool(int n): 일정 시간 간격으로 작업을 처리할 수 있는 스레드 풀.

spring 과 연관성

ExecutorService executorService = Executors.newFixedThreadPool(10);을 사용하면, Spring에서 이미 설정된 스레드 풀과는 별개로 고유한 스레드 풀을 10개의 스레드로 생성하게 됩니다. 즉, 이 방식으로 생성한 스레드 풀은 Spring의 관리 범위를 벗어나 독립적으로 작동하며, Spring의 설정과는 상관없이 고정된 10개의 스레드만을 사용하게 됩니다.

Spring에서 스레드 풀을 사용하는 권장 방식

Spring에서 스레드 풀을 사용할 때는 @Configuration과 ThreadPoolTaskExecutor를 활용하여 스레드 풀을 Bean으로 정의하는 것이 좋습니다. 이 방법으로 스레드 풀을 설정하면, Spring의 관리 하에 들어가고, 스레드 풀 설정을 쉽게 조정할 수 있습니다.

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.Executor;

@Configuration
public class ThreadPoolConfig {

    @Bean
    public Executor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(10);        // 기본적으로 유지할 스레드 수
        executor.setMaxPoolSize(20);         // 최대 스레드 수
        executor.setQueueCapacity(500);      // 대기열에 쌓일 작업 수
        executor.setThreadNamePrefix("MyAppThread-"); // 스레드 이름 접두사 설정
        executor.initialize();
        return executor;
    }
}

///

@Service
public class MyAsyncService {

    @Async
    //    @Async("customTaskExecutor") 특정 빈을 사용할 경우 명시 가능
    public void executeAsyncTask() {
        System.out.println("Thread: " + Thread.currentThread().getName());
        // 비동기 작업 수행
    }
}

이렇게 ThreadPoolTaskExecutor로 스레드 풀을 설정하면, Spring에서 생성한 스레드 풀을 Bean으로 주입받아 사용 가능하며, Spring의 설정에 따라 스레드 풀이 관리됩니다.

ExecutorService와 ThreadPoolTaskExecutor 차이점

• 관리 범위: ExecutorService를 직접 생성하면 Spring 컨텍스트와 별도로 동작하지만, ThreadPoolTaskExecutor로 생성한 스레드 풀은 Spring의 관리 하에 들어갑니다.
• 설정 및 모니터링: Spring의 ThreadPoolTaskExecutor는 Spring Actuator와 통합되어 모니터링과 설정 관리가 용이합니다.

기본 스프링 thread pool 설정(빈으로 안하고 이렇게 해도 됨)

# Core pool size (기본 스레드 수)
spring.task.execution.pool.core-size=10

# Maximum pool size (최대 스레드 수)
spring.task.execution.pool.max-size=20

# Queue capacity (작업 대기열 크기)
spring.task.execution.pool.queue-capacity=500

# Thread name prefix (스레드 이름 접두사)
spring.task.execution.thread-name-prefix=MyAppExecutor-

Spring Boot의 기본 값

Spring Boot에서는 spring.task.execution.pool 설정을 명시하지 않으면, 사용되는 기본 값

1. core-size (기본 스레드 수): 기본적으로 1로 설정됩니다.
2. max-size (최대 스레드 수): 기본적으로 2147483647로 설정됩니다 (즉, 거의 무제한).
3. queue-capacity (작업 대기열 크기): 기본적으로 2147483647로 설정됩니다.
4. thread-name-prefix (스레드 이름 접두사): 기본적으로 SimpleAsyncTaskExecutor-로 설정됩니다.

Spring Boot의 기본 스레드 풀은 SimpleAsyncTaskExecutor를 사용하여 비동기 작업을 처리하는데, 이 Executor는 스레드 풀을 사용하지 않고 매번 새로운 스레드를 생성하므로 성능이나 리소스 관점에서 비효율적일 수 있습니다. 따라서, 실제 운영 환경에서는 ThreadPoolTaskExecutor를 설정하는 것이 좋습니다.

예시

ThreadPoolTaskExecutor 설정에 코어 사이즈 10으로 되어 있는데 @async에서 스래드 풀 8개 쓰고 1초 뒤에 @scheduled 에서 스래드 풀 5개 쓴다고 할 때의 상황

설정된 내용

• core-size: 10
• max-size: 20
• @Async에서 8개 스레드를 사용 중

동작 방식

1. core-size가 10으로 설정되어 있기 때문에, 풀의 최소 크기는 10입니다. 만약 10개가 다 사용되면, 추가로 최대 20개까지 확장 가능합니다.
2. 현재 @Async에서 8개 스레드를 사용하고 있다면, 2개 스레드는 유휴 상태로 남아 있습니다.
3. @Scheduled가 5개 스레드를 요구할 때, 이미 8개의 스레드가 사용 중이므로, 추가로 필요한 5개를 풀에서 할당하려고 합니다.

5개 스레드를 할당하는 경우

• 현재 2개의 유휴 스레드가 남아 있기 때문에, @Scheduled는 이 2개의 스레드를 사용할 수 있습니다.
• 최대 풀 사이즈인 20개까지 확장될 수 있기 때문에, 추가로 3개의 스레드를 더 생성하여, 총 5개 스레드를 사용하게 됩니다.

따라서, 3개의 스레드가 추가로 생성되고, 총 5개의 스레드가 사용됩니다. 작업이 끝난 후 스레드 수는 다시 줄어들어 설정된 core-size인 10개로 돌아갑니다.

만약 두 작업이 서로 다른 스레드 풀을 사용하도록 분리하고 싶다면, @Async와 @Scheduled에 각각 다른 ThreadPoolTaskExecutor를 지정할 수도 있습니다. 이 경우 두 작업은 스레드 풀이 충돌되지 않고 완전히 독립적으로 실행됩니다.

스프링의 thread pool은 async 나 scheduled에서 사용

Spring Boot는 자체적으로 필요한 기본 설정을 가지고 있어, 특별히 스레드 풀을 명시적으로 설정하지 않으면 자동으로 기본 스레드 풀을 생성하고 이를 사용합니다. 이 기본 스레드 풀은 Spring이 비동기 작업(@Async)이나 스케줄링 작업(@Scheduled) 등을 처리할 때 사용됩니다.

일반적인 API요청 시 

일반 동기 API 요청에서는 특별히 스레드 풀을 직접 관리하지 않습니다. 대신, Spring MVC(또는 Spring WebFlux와 같은 비동기 모델)를 사용할 경우 서버 컨테이너(예: Tomcat, Jetty, Undertow)가 자동으로 요청을 처리하기 위한 스레드 풀을 관리합니다.

동기 요청 시 스레드 풀 동작 방식

• Spring MVC에서 동기 API 요청이 들어오면, 서버 컨테이너가 요청마다 스레드를 할당합니다.
• Tomcat, Jetty, Undertow와 같은 서버들은 기본적으로 내부에 스레드 풀을 관리하며, 들어오는 요청을 처리하기 위해 해당 스레드 풀의 스레드를 사용합니다.
• 서버 컨테이너는 일반적으로 최소 스레드 수, 최대 스레드 수, 대기 큐 크기 등의 설정을 제공하여, 트래픽에 맞춰 성능을 조절할 수 있습니다.

application.properties 설정

# 최소 스레드 수 (초기화 시 생성할 스레드 수)
server.tomcat.min-threads=10

# 최대 스레드 수 (요청이 많을 때 생성 가능한 최대 스레드 수)
server.tomcat.max-threads=200

# 요청을 대기열에 얼마나 보관할 수 있는지 설정 (큐의 크기)
server.tomcat.accept-count=100

동기 API 요청의 경우, 하나의 요청에 대해 한 스레드가 전용으로 할당됩니다. 반면, 비동기 API 요청에서는 별도의 스레드 풀을 활용해 여러 작업을 동시에 처리할 수 있고, 비동기 작업이 완료될 때만 해당 스레드에 응답을 전송합니다.

thread pool 을 사용하지 않고 필요 시 thread 를 생성하고 종료하는 방식

• 비효율성: 매번 스레드를 새로 생성하고 소멸시키기 때문에 오버헤드가 큽니다. 단순 반복적인 작업에는 적합하지 않습니다.
• 적합한 상황: 자주 호출되지 않는 작업, 또는 실행 시간이 길고 독립적인 작업에 적합하며, 스레드 풀이 필요하지 않은 단순한 프로그램이나 이벤트 드리븐 방식에 유용합니다. 예를 들어, 특정 이벤트가 발생할 때마다 독립적인 작업을 수행하는 경우입니다.
• 리소스 관리: 스레드가 고정된 풀에 묶여 있지 않아 메모리와 CPU 부담이 증가할 수 있습니다.

for (int i = 0; i < 5; i++) {
    new Thread(() -> {
        System.out.println("Thread: " + Thread.currentThread().getName());
    }).start();
}

1. 대용량 데이터를 처리할 때의 주요 고려사항은 무엇인가요?

• 대용량 데이터 처리에서는 확장성, 성능, 데이터 일관성 등을 고려해야 합니다.
  • 데이터를 효율적으로 저장하고 처리하기 위해 분산 시스템을 활용하고(확장성)
  • 캐싱 전략을 사용하여 읽기 성능을 높입니다.
• 데이터 중복 방지와 실패 시 복구 전략이 필요합니다.
  • 중복방지: 멱등성 API(PUT); 디비에 UNIQUE KEY잡아서 중복 데이터 삽입 안되게
    • Redis 또는 Memcached를 사용해 데이터 처리 전 고유 키를 캐싱하여 중복 여부를 빠르게 확인할 수 있습니다. 예를 들어, 특정 ID가 Redis에 존재하면 중복으로 간주하고 처리하지 않는 방식입니다.
  • 복구 전략
    • 트랜잭션과 롤백 (Transaction & Rollback)
      • RDBMS의 트랜잭션 기능을 사용해 작업 단위로 처리하고, 실패 시 모든 작업을 롤백하여 데이터 일관성을 유지합니다. 트랜잭션 단위가 클 경우에는 단계별로 커밋을 처리하는 Savepoint를 활용할 수도 있습니다.
      • NoSQL 데이터베이스에서도 MongoDB와 같은 시스템은 단일 문서 수준에서 트랜잭션을 지원하고, Cassandra는 클라이언트 라이브러리에서의 조정을 통해 일부 트랜잭션 효과를 제공할 수 있습니다.
    • 분산 트랜잭션 및 분산 락
      • 여러 시스템 간 트랜잭션을 위해 2PC (Two-Phase Commit) 또는 SAGA 패턴을 사용합니다. SAGA 패턴은 트랜잭션 단위로 실행되는 작업을 분리하고, 오류 발생 시 보상 작업을 수행해 데이터 일관성을 유지합니다.
      • 데이터 충돌을 방지하기 위해 분산 락을 적용할 수 있습니다. 예를 들어, Redis의 SETNX 명령을 사용해 분산 잠금을 구현하여, 하나의 리소스에 동시에 접근하는 것을 방지할 수 있습니다.
    • 재시도 및 지연 재시도 (Retry & Backoff)
      • 네트워크 문제나 일시적인 오류에 대해 재시도 정책을 설정하여 실패한 요청을 다시 시도할 수 있습니다. 무조건 재시도하기보다 지수적 백오프(Exponential Backoff) 전략을 사용해 지연 시간을 점진적으로 늘리면 서버에 부담을 줄일 수 있습니다.
        • 과도한 요청 방지: 동일한 요청을 반복적으로 보내는 것을 막아 서버가 과부하에 걸리지 않도록 하여, 서버가 일정한 시간 동안 안정적으로 요청을 처리할 수 있습니다.
        • 서버 복구 시간 확보: 지연 시간이 늘어날수록 서버가 안정화되거나 부하를 해소할 시간이 생기므로, 문제 해결 후 요청을 성공적으로 처리할 가능성이 커집니다.
        • 네트워크 효율성 향상: 클라이언트와 서버 간의 불필요한 트래픽을 줄이고, 네트워크 자원을 효율적으로 사용하게 합니다.
        • 트랜잭션 유지 시간이 너무 길어지면 잠금 자원이나 연결 자원이 오래 점유되어 다른 요청이나 트랜잭션에 영향을 줄 수
          • 최대 재시도 횟수와 백오프 한계 설정(무한히 기다리지 않도록)
          • 장기 트랜잭션을 여러개의 작은 단위로 분리하거나 비동기 처리하여 트랜젝션이 길어지지 않도록
          • 트랜젝션 타임아웃 설정
          • 회복 가능한 트랜잭션 설계
            • 장애나 재시도가 필요한 경우에도, 중간까지 완료된 트랜잭션 부분이 유지되고 나머지 작업을 이어갈 수 있도록 분산 트랜잭션 관리나 SAGA 패턴을 활용해 트랜잭션을 보다 유연하게 설계합니다.
      • Circuit Breaker 패턴을 함께 사용해 오류가 지속될 경우 특정 시간 동안 요청을 차단해 전체 시스템의 안정성을 높일 수 있습니다.
    • 데이터 복제 및 백업
      • 데이터 손실을 방지하기 위해 백업 및 복제 전략을 설정합니다. 예를 들어, RDBMS에서는 정기적인 백업과 함께 로그 기반 복구(Log-based Recovery)를 사용해 장애 발생 시 특정 시점으로 데이터를 복원할 수 있습니다.
      • 분산 시스템의 경우 데이터 복제를 통해 여러 노드에 데이터를 분산 저장하여 데이터 유실 가능성을 줄입니다. Cassandra나 MongoDB와 같은 분산 DB에서는 노드 간 자동 복제를 지원해 복구성을 높입니다.
    • 이벤트 소싱과 로그 기반 복구
      • 이벤트 소싱을 통해 상태 변화가 발생할 때마다 이벤트를 저장해, 장애 발생 시 해당 이벤트를 재생하여 이전 상태로 복구할 수 있습니다.
      • 로그 기반 복구 시스템은 Kafka와 같은 메시지 큐에 이벤트를 기록해 실시간으로 복구할 수 있으며, 장애가 발생해도 로그를 재생하여 데이터 상태를 원래대로 복원할 수 있습니다.
• 마지막으로 비용 절감 측면에서 클라우드 서비스를 활용하거나 데이터 파이프라인의 최적화가 필요할 수 있습니다.

2. 대용량 데이터를 실시간으로 처리해야 한다면 어떤 아키텍처를 선택할 것인가요?

• 실시간 데이터 처리가 필요한 경우 이벤트 기반 아키텍처(EDA)와 스트리밍 처리 시스템을 선호합니다. Apache Kafka와 같은 메시지 브로커를 통해 데이터를 스트리밍으로 전송하고, Apache Flink 또는 Spark Streaming을 사용해 데이터를 실시간으로 처리합니다. 이렇게 하면 지연을 최소화하면서도 높은 처리량을 유지할 수 있습니다.
• CQRS: 조회와 데이터변경을 시스템적으로 분리하여 각각 최고의 성능을 낼 수 있도록 개선, 독립적으로 확장 가능하도록 개발
  • 변경: RDBMS, 조회: MONGO, ELASTIC..

3. 대용량 데이터 처리 중 병목현상을 해결한 경험이 있나요?

• 디비
  • 이전 프로젝트에서 MySQL 데이터베이스에서 많은 데이터를 읽어와야 하는 작업이 있었는데, 특정 쿼리에서 병목 현상이 발생했습니다. 이를 해결하기 위해 인덱스를 최적화하고, 비동기 처리를 도입해 읽기 작업을 분산했습니다. 또한, 캐싱 레이어를 추가해 반복되는 읽기 작업을 줄였고, 결과적으로 처리 속도를 크게 향상시켰습니다.
• 서비스
  • 긴 트랜젝션을 여러 개의 작은 트랜젝션으로 나눔
  • 트랜젝션 안에 외부 api 호출이 있어
    • api호출 성공 시 db작업하도록 개선
    • transaction outbox pattern + polling publish pattern으로 바꾼 적 있음

4. MapReduce와 같은 분산 처리 기법을 설명해 주시고, 이를 언제 사용하면 좋을까요?

MapReduce는 대규모 데이터를 분산하여 처리할 수 있게 해주는 프레임워크입니다. 데이터를 맵(Map) 단계에서 분산하여 처리하고, 리듀스(Reduce) 단계에서 그 결과를 통합합니다. 주로 배치 작업에 적합하며, 대규모 로그 분석, 대량의 텍스트

데이터 처리, ETL 작업 등에 사용됩니다.

5. 대용량 데이터의 효율적 관리를 위해 어떤 데이터베이스를 사용할 것인가요?

데이터 특성과 처리 요구 사항에 따라 데이터베이스를 선택

• 실시간 읽기 및 쓰기가 빈번한 경우 : Redis와 같은 인메모리 데이터베이스를 고려
• 로그나 이벤트 데이터를 저장 :  쓰기 성능과 확장성이 중요한데, 이러한 요구에 맞는 데이터베이스로는 Cassandra와 MongoDB, Elasticsearch 등
  
  • Cassandra
    • 분산형 NoSQL 데이터베이스로, 특히 칼럼 패밀리(Column Family) 기반의 데이터 모델을 사용하는 시스템. 높은 쓰기 성능과 수평 확장성 덕분에 대량의 로그 데이터를 빠르게 저장 가능. 분산 구조로 데이터가 여러 노드에 분산되어 저장되고 복제되어 고가용성과 안정성이 높습니다.
    • 적합한 경우: 대규모의 로그 데이터를 수집하고 분석하는 경우, 트래픽이 많이 발생하는 IoT 데이터 또는 웹 트래픽 로그 등에서 효율적입니다.
    • 장점: 특히 쓰기 성능이 뛰어나며 노드 간의 데이터 복제와 장애 허용성이 우수해, 고가용성 환경에서도 데이터를 안정적으로 처리할 수 있습니다. 노드 추가 시 용량이 수평으로 확장되며 성능 저하 없이 대규모 데이터를 처리할 수 있습니다.
  • MongoDB
    • 문서 기반 NoSQL 데이터베이스로, JSON 형식의 유연한 데이터 구조를 지원합니다. 복잡한 스키마를 요구하지 않기 때문에 로그 데이터의 다양한 필드와 동적 스키마를 저장하는 데 적합합니다.
    • 적합한 경우: 애플리케이션 로그, 이벤트 데이터를 JSON 형태로 저장해 실시간으로 조회하고 분석해야 하는 경우. 대화형 애플리케이션에서 발생하는 로그 데이터와 이벤트 처리에 적합합니다.
    • 장점: 샤딩(데이터 분산 저장)을 통해 수평 확장이 가능하며, 다양한 인덱싱을 통해 실시간 쿼리에 적합한 구조를 제공합니다.
  • Elasticsearch
    • 분산형 검색 엔진으로 로그와 이벤트 데이터를 저장하고, 실시간 검색과 분석을 수행하는 데 특화된 시스템입니다. Kibana와 함께 사용하면 데이터를 시각화할 수 있어 로그 모니터링과 분석에 특히 유용합니다.
    • 적합한 경우: 로그 모니터링, 애플리케이션 성능 관리(APM), 보안 로그 분석, 실시간 검색 등이 필요한 경우. ELK(Elasticsearch, Logstash, Kibana) 스택으로 많이 사용됩니다.
    • 장점: 실시간 검색과 시각화 기능이 강력하며, 텍스트 기반의 로그 데이터에서 유용한 인사이트를 빠르게 얻을 수 있습니다.

• 데이터 일관성이 중요한 트랜잭션성 데이터 : MySQL, PostgreSQL과 같은 RDBMS가 적합

6. 대용량 데이터 처리에서 성능을 최적화하기 위해 사용할 수 있는 기법에는 어떤 것들이 있나요?

아키텍쳐 적인 방법:

• 캐싱 레이어를 추가해 빈번히 조회되는 데이터를 미리 저장
• 비동기 처리를 통해 응답시간을 줄여 타임아웃 방지 
  • 네트워크 요청, 파일 IO등의 시간이 오래걸리는 작업을 비동기로 처리하면 메인 스레드가 다른 작업을 수행할 수 있어 리소스를 효율적으로 사용할 수 
• 배치 처리로 시스템 자원을 효율적으로 사용
  • 데이터를 한꺼번에 처리해 트랜잭션 관리나 데이터 일관성 유지에 유리
  • 주로 비업무 시간이나 서버 부하가 적은 시간대에 작업을 수행해 시스템 자원을 효율적으로 사용

디비적인 방법:

• 인덱스를 적절히 사용하여 데이터 검색 속도를 높입니다.
• 데이터 파티셔닝과 샤딩을 통해 데이터베이스 부하를 분산

7. 대용량 데이터를 다룰 때 발생할 수 있는 장애 및 복구 전략에 대해 설명해 주세요.

대용량 데이터 시스템에서 장애가 발생할 경우, 데이터 유실을 방지하고 빠르게 복구하는 것이 중요

서비스적:

• 디비 등 데이터 복제를 통해 고가용성을 확보
• Kafka와 같은 시스템에서는 메시지 리플레이를 통해 복구
• Dead Letter Queue (DLQ)와 Retry 메커니즘을 통해 이벤트 처리 실패에 대비.

인프라적:

• 장애가 발생했을 때 특정 노드로 트래픽을 우회하거나, 백업 데이터에서 복원
• 클라우드 서비스를 사용할 경우 데이터 센터의 지역 분산(재해복구 관련 DR)을 통해 데이터 유실 위험을 줄여

(IF 분산) 소스 내부적으로는 circuit braker pattern 적용하여 장애가 전파되지 않도록(대용량 시스템의 장애와 분산 시스템의 장애는 다른가?)

대용량 시스템의 장애와 분산 시스템의 장애는 약간 관점이 다르다.

하지만 대용량 시스템의 단점인 SPOF를 막기 위해서는 분산 시스템으로 구성해야하고 그렇게되면 결국 대용량 + 분산 시스템의 특징을 모두 지닐 수 밖에 없게 된다.

비관락 <-> 낙관락

• 비관락: 데이터가 수정될 것이라고 가정하고, 데이터를 조회하거나 수정할 때 다른 트랜잭션이 접근하지 못하도록 미리 락을 거는 방식입니다.
• 낙관락: 데이터 충돌이 적을 것으로 보고, 충돌이 발생했을 때만 문제를 해결하는 방식입니다. 버전 번호나 타임스탬프를 이용해 데이터가 변경되었는지 확인합니다.
• 2023.01.12 - [개발/spring] - [jpa] lock종류와 사용 시 주의사항

베타락 <-> 공유락

• 베타락: 데이터에 대해 하나의 트랜잭션만 읽기와 쓰기를 모두 할 수 있게 하는 락으로, 다른 트랜잭션은 해당 데이터를 읽거나 쓸 수 없습니다.
• 공유락: 데이터 읽기 작업에서는 여러 트랜잭션이 동시에 접근할 수 있도록 허용하는 락으로, 읽기는 가능하지만 쓰기는 불가능합니다.

쓰기락 <-> 읽기락

• 쓰기락: 데이터에 대해 쓰기 작업을 독점으로 수행할 수 있게 해 주는 락입니다. 락이 걸려 있는 동안에는 다른 트랜잭션에서 읽기와 쓰기 작업이 모두 불가능합니다.(쓰기를 위한 충돌관리; 충돌 시 쓰기 작업 보장)
• 읽기락: 읽기 작업을 수행하는 동안 다른 트랜잭션이 쓰기 작업을 할 수 없도록 하지만, 여러 트랜잭션이 동시에 읽기 작업을 할 수 있게 합니다.

베타락 = 쓰기락 / 공유락 = 읽기락

비관락/낙관락  쓰기락/읽기락 은 관점의 차이 비관락/낙관락 안에도 쓰기락/읽기락 가능

비관적 락과 쓰기 락의 관계

• 비관적 락의 구현 방식 중 하나가 쓰기 락: 비관적 락은 데이터의 변경을 안전하게 처리하기 위해 데이터베이스에서 락을 거는 개념이며, 이를 구현하는 방법 중 하나가 쓰기 락입니다. 비관적 락을 사용하여 충돌을 방지하려면 데이터 접근 시 다른 트랜잭션의 접근을 차단해야 하므로, 쓰기 락을 통해 데이터의 독점적인 접근 권한을 설정하는 경우가 많습니다.
• 공통점: 비관적 락과 쓰기 락 모두 다른 트랜잭션이 데이터에 접근하지 못하도록 제어하는 역할을 합니다.
• 차이점: 비관적 락은 충돌 방지를 위한 전체적인 전략이고, 쓰기 락은 비관적 락을 구현하는 구체적인 방법 중 하나입니다. 쓰기 락은 단순히 쓰기 작업이 수행되는 동안의 락이지만, 비관적 락은 읽기 또는 쓰기 작업 중에 락을 걸어 잠재적인 충돌을 방지할 수 있습니다.

MySQL에서 SELECT ... FOR UPDATE는 행 수준의 쓰기 락을 걸지만, 실제로는 동일한 트랜잭션 내에서만 데이터의 읽기와 수정에 대한 배타적 접근을 보장합니다. 다른 트랜잭션에서는 쓰기 작업은 막히지만 읽기 작업은 허용하는 것이 MySQL의 기본 동작입니다. 이 특징은 특히 InnoDB 엔진을 사용하는 경우에 적용됩니다.

왜 읽기 락이 걸리지 않는가?

MySQL의 InnoDB 엔진에서는 SELECT ... FOR UPDATE가 특정 행에 대해 **공유 락이 아닌 배타적 락(exclusive lock)**을 설정하여 다른 트랜잭션이 해당 행을 수정하지 못하도록 합니다. 그러나 읽기 작업은 차단하지 않습니다. 이는 SELECT ... FOR UPDATE가 쓰기 충돌을 방지하는 데 중점을 두는 방식 때문입니다.

이 방식은 동시성(concurrency)을 최대한 유지하기 위한 MySQL InnoDB의 최적화된 동작 방식으로 볼 수 있습니다. 다시 말해, 읽기 락까지 걸어 데이터 접근을 완전히 차단할 필요가 없는 경우라면, 다른 트랜잭션에서 해당 데이터를 읽는 작업은 허용합니다.

만약 읽기 작업까지 완전히 차단하고 싶다면?

MySQL에서 데이터의 읽기와 쓰기 모두를 차단하려면 명시적 테이블 락을 걸어야 합니다.

• 테이블 락으로 읽기/쓰기 모두 차단

LOCK TABLES MY_TABLE_NAME WRITE;

• 이 명령은 테이블 전체에 대해 락을 설정하여 다른 트랜잭션의 읽기와 쓰기를 모두 막습니다.
• 또는 트랜잭션 격리 수준 조정: 트랜잭션 격리 수준을 SERIALIZABLE로 설정하여, 현재 트랜잭션이 완료되기 전까지 다른 트랜잭션이 해당 행에 접근하는 것을 완전히 막을 수도 있습니다.

InnoDB에서 SELECT ... FOR UPDATE의 읽기 허용 특성은 데이터베이스 성능과 동시성 유지를 위한 트레이드오프이며, MySQL의 특징 중 하나로 이해할 수 있습니다.

분산락 (Distributed Lock)

분산락은 분산 시스템에서 여러 인스턴스가 동시에 동일한 리소스를 수정하거나 접근할 때, 경쟁 조건(race condition)을 방지하기 위해 사용하는 메커니즘입니다. 주로 여러 서버에서 동시에 동일한 데이터나 자원에 접근할 때, 하나의 서버만이 리소스를 수정하거나 작업을 진행할 수 있도록 동기화(synchronization)합니다.

분산락은 시스템의 일관성을 보장하며, 여러 서비스가 동시에 동일한 작업을 수행하지 않도록 하여 데이터의 무결성을 유지합니다.

분산락 구현 방법

분산락을 구현하는 방법은 여러 가지가 있으며, 각각의 방식은 특정 상황에 맞춰 사용할 수 있습니다. 주요 분산락 구현 방법은 다음과 같습니다:

1. 데이터베이스 기반 락 (Database Locking)
   • 비관락 쓰기락 베타락
     • 구현 방식: 데이터베이스에서 특정 레코드를 업데이트하거나 SELECT FOR UPDATE와 같은 쿼리를 사용하여 락을 걸고, 이를 통해 락을 구현합니다. 
     • 장점: 간단하게 구현할 수 있으며, 대부분의 관계형 데이터베이스가 지원합니다.
     • 단점: 성능 문제, 락 경합, 교착 상태(deadlock) 등이 발생할 수 있습니다.
   • 네임드락 (Named Lock)
     • 구현 방식: 네임드락은 일반적으로 데이터베이스가 제공하는 GET_LOCK(), RELEASE_LOCK() 등의 함수를 사용하여 이름이 지정된 락을 설정합니다. 이 락은 데이터베이스의 특정 리소스가 아니라, 지정된 이름을 가진 락을 사용하여 락을 설정합니다. 트랙젝션 단위가 아닌 세션 단위의 락
2. Redis 기반 락 (Redis Lock)
   • 구현 방식: Redis의 SETNX (SET if Not Exists)와 EXPIRE 명령어를 사용하여 락을 구현합니다. 이 방식은 Redis 서버를 통해 분산 환경에서 빠르고 효율적으로 락을 관리할 수 있습니다.
   • 장점: 빠르고, TTL(시간 만료)을 지원하여 자동으로 락을 해제할 수 있습니다. 분산 환경에 적합합니다.
   • 단점: Redis 서버가 다운될 경우 락이 풀리지 않는 문제가 발생할 수 있습니다.
3. Zookeeper 기반 락 (Zookeeper Lock)
   • 구현 방식: Zookeeper를 활용하여 분산 락을 구현합니다. Zookeeper의 Ephemeral Node와 Watchers 기능을 사용하여 락을 관리합니다.
   • 장점: 강력한 일관성과 고가용성을 제공합니다. 락이 해제되면 자동으로 다른 노드가 락을 획득할 수 있습니다.
   • 단점: 설정이 복잡하고, 성능 이슈가 발생할 수 있습니다.
4. Consul 기반 락 (Consul Lock)
   • 구현 방식: Consul은 Session과 Key/Value Store를 사용하여 분산 락을 구현할 수 있습니다. 락은 세션을 기반으로 하며, 세션이 만료되면 락이 자동으로 해제됩니다.
   • 장점: Consul의 분산 시스템과 고가용성을 활용할 수 있습니다.
   • 단점: Consul을 설정하고 관리하는 복잡성이 있습니다.

Redis 기반 분산락 구현 예시

Redis를 사용하여 분산락을 구현하는 방법을 소개합니다. Redis의 SETNX 명령어와 EXPIRE 옵션을 활용하여 락을 구현할 수 있습니다.

1. 분산 락을 획득하고, 획득되지 않으면 예외를 던지는 방식 (Throwing)
2. 스핀락 방식 (Spinlock)

1. Redis 분산락 구현(예외를 던지는 방식)

Redis에서 분산락을 구현할 때 사용할 수 있는 핵심 명령어는 SETNX와 EXPIRE입니다.

• SETNX: Key가 존재하지 않으면 값을 설정하고, 존재하면 아무 작업도 하지 않습니다. 락을 구현하는 데 유용합니다.
• EXPIRE: Key에 대한 TTL(시간 제한)을 설정하여 일정 시간 후 락을 자동으로 해제할 수 있습니다.

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

@Component
public class RedisDistributedLock {

    private final RedisTemplate<String, String> redisTemplate;
    private static final String LOCK_PREFIX = "lock:";

    public RedisDistributedLock(RedisTemplate<String, String> redisTemplate) {
        this.redisTemplate = redisTemplate;
    }

    // 락을 얻고, 성공하면 block을 실행, 실패하면 예외를 던지는 방식
    public <T> T lockAndRun(String key, long timeout, TimeUnit timeUnit, Runnable block) {
        String lockKey = LOCK_PREFIX + key;
        boolean lockAcquired = redisTemplate.opsForValue().setIfAbsent(lockKey, "locked", timeout, timeUnit);

        if (lockAcquired) {
            try {
                block.run();
            } finally {
                releaseLock(lockKey);
            }
        } else {
            throw new RuntimeException("Unable to acquire lock for key: " + key);
        }

        return null;
    }

    // 락 해제
    private void releaseLock(String key) {
        redisTemplate.delete(key);
    }
}

• setIfAbsent: Redis의 SETNX 명령어를 사용하여 락을 획득하려고 시도합니다. 락이 이미 있을 경우 false를 반환하고, 없으면 true를 반환하여 락을 획득합니다.
• timeout과 timeUnit: 락을 획득할 수 있는 시간 제한을 설정합니다. 이 시간이 지나면 자동으로 락이 풀립니다.
• 락을 성공적으로 획득하면 block.run()이 실행되고, 작업이 끝난 후 락을 해제합니다.
• 락을 획득하지 못하면 예외를 던집니다.

장점:

• 직관적: 락을 획득하지 못했을 때 바로 예외를 던지므로 호출하는 쪽에서 락 실패에 대한 처리를 명확히 할 수 있습니다.
• 성공적인 락 획득 후 작업 실행 보장: 락을 획득한 후 작업이 실행되므로, 동시에 여러 프로세스에서 동일한 리소스를 수정하지 않게 됩니다.

단점:

• 락 획득 실패시 예외 처리 필요: 락을 획득하지 못했을 경우 예외가 발생하므로 호출자 측에서 이를 처리해야 합니다. 예외가 자주 발생할 경우 성능에 영향을 줄 수 있습니다.
• 락 획득 실패에 대한 대처가 복잡할 수 있음: 예외를 던지면 호출자가 반드시 예외를 처리해야 하므로, 이 부분에서 코드가 복잡해질 수 있습니다.

2. Redis 분산 락 구현 (스핀락 방식)

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

@Component
public class RedisSpinlock {

    private final RedisTemplate<String, String> redisTemplate;
    private static final String LOCK_PREFIX = "lock:";

    public RedisSpinlock(RedisTemplate<String, String> redisTemplate) {
        this.redisTemplate = redisTemplate;
    }

    // 스핀락을 이용한 락 획득 및 실행
    public <T> T spinLockAndRun(String key, long timeout, TimeUnit timeUnit, Runnable block) {
        String lockKey = LOCK_PREFIX + key;

        long start = System.currentTimeMillis();
        boolean lockAcquired = false;

        while (System.currentTimeMillis() - start < timeUnit.toMillis(timeout)) {
            lockAcquired = redisTemplate.opsForValue().setIfAbsent(lockKey, "locked", timeout, timeUnit);
            if (lockAcquired) {
                try {
                    block.run();
                    break;  // 성공적으로 작업을 마쳤으면 루프 종료
                } finally {
                    releaseLock(lockKey);
                }
            }

            try {
                // 락을 획득하지 못하면 일정 시간 대기 후 재시도 (스핀락)
                TimeUnit.MILLISECONDS.sleep(100);
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
                break;
            }
        }

        if (!lockAcquired) {
            throw new RuntimeException("Unable to acquire lock for key: " + key);
        }

        return null;
    }

    // 락 해제
    private void releaseLock(String key) {
        redisTemplate.delete(key);
    }
}

설명:

• 스핀락(Spinlock): 락을 획득하지 못하면 일정 시간 동안 계속해서 락을 시도하며 기다립니다. setIfAbsent로 락을 시도하고, 락을 획득하지 못하면 sleep을 이용해 일정 시간 대기한 후 다시 시도합니다.
• timeout과 timeUnit: 락을 시도할 최대 시간을 설정하고, 락을 획득한 후 해당 시간 동안 작업을 실행합니다.
• 락을 성공적으로 획득한 후 작업을 실행하고, 완료 후 락을 해제합니다.

장점:

• 낮은 대기 시간: 예외를 던지지 않고 계속해서 락을 시도하므로 예외 처리보다 더 부드러운 흐름을 유지할 수 있습니다.
• 재시도 방식: 락을 획득하지 못하면 일정 시간 대기 후 재시도하므로, 락 경합이 많을 때 유용할 수 있습니다.

단점:

• CPU 자원 낭비: 락을 시도하며 대기하는 동안 CPU를 계속 소모하게 되어, 시스템 부하가 증가할 수 있습니다.
• 무한 루프 문제: 락을 계속해서 시도하지만, 특정 상황에서는 결국 락을 얻지 못하고 무한 루프에 빠질 수 있습니다. 이를 해결하려면 재시도 횟수를 제한해야 합니다.
• 성능 저하: 락이 자주 경합되면, 스핀락을 반복하면서 성능 저하가 발생할 수 있습니다.

트랜잭션 아웃박스 패턴과 폴링 퍼블리셔 패턴은 분산 시스템에서 데이터베이스와 메시징 시스템 간의 메시지 전달을 보장하기 위해 자주 함께 사용되는 패턴입니다. 특히 이벤트 주도 아키텍처에서 데이터베이스 상태 변화와 해당 이벤트 발행의 일관성을 유지해 줍니다.

아웃박스 패턴(유실방지)

배경 및 필요성

분산 시스템에서는 데이터베이스에 데이터를 저장하는 트랜잭션과 외부 메시징 시스템에 이벤트를 보내는 작업이 분리되어 있기 때문에, 두 작업이 동시에 성공하거나 실패하도록 일관성 있는 처리가 어려울 수 있습니다. 특히, 트랜잭션 내에서 데이터베이스는 성공했는데 메시지 큐로의 전송은 실패하는 경우, 데이터 일관성이 깨질 수 있습니다. 이 문제를 해결하는 방법 중 하나가 아웃박스 패턴입니다.

트랜잭션 아웃박스 패턴의 주요 흐름:

1. 데이터베이스 트랜잭션 및 아웃박스 기록 생성:
   • 애플리케이션이 데이터베이스 변경(예: 주문 생성)을 해야 할 때, 메인 테이블(예: Orders)에 데이터를 저장하는 동시에, 하나의 트랜잭션 안에서 "아웃박스" 테이블에 관련 이벤트 정보를 기록합니다.
   • 이 아웃박스 테이블에는 메시징 시스템에 발행할 이벤트와 관련된 정보가 포함되며, 아직 발행되지 않았음을 나타내는 상태 정보도 포함됩니다.
2. 트랜잭션 커밋:
   • 모든 데이터베이스 작업(메인 테이블과 아웃박스 테이블에 저장 작업)이 하나의 트랜잭션으로 묶이기 때문에, 트랜잭션이 성공적으로 커밋되면 데이터베이스와 이벤트 기록이 일관성을 유지하게 됩니다.

아웃박스 패턴의 구조

1. 아웃박스 테이블:
   • 서비스의 데이터베이스에 아웃박스 테이블을 둡니다. 이 테이블은 데이터베이스의 업데이트 내용과 함께 발행할 이벤트를 저장합니다. 즉, 비즈니스 로직에서 데이터베이스에 기록할 때, 메시지 큐에 보내야 할 이벤트 정보도 이 테이블에 같이 저장됩니다.
2. 로컬 트랜잭션:
   • 데이터베이스에 데이터를 저장할 때, 같은 트랜잭션 내에서 아웃박스 테이블에도 이벤트 데이터를 함께 기록합니다. 단일 트랜잭션을 통해 데이터베이스의 데이터와 이벤트 정보를 동시에 커밋하므로, 이 과정에서 실패가 발생하면 전체 트랜잭션이 롤백됩니다.
3. 이벤트 리스너/폴링 프로세스:
   • 별도의 폴링 서비스 또는 트리거가 아웃박스 테이블을 주기적으로 스캔하여 새로운 이벤트가 있으면 이를 메시징 시스템(예: Kafka, RabbitMQ)으로 전송합니다. 이 작업은 별도의 비동기 프로세스로 수행되며, 메시지 전송이 성공하면 해당 이벤트는 아웃박스 테이블에서 삭제되거나 상태가 업데이트됩니다. (폴링 주기에 따른 지연 있음)

• 데이터베이스 상태와 이벤트 전송 상태의 일관성을 보장
• 메시지 전송 실패 시에도 데이터는 손실되지 않으며, 시스템은 나중에 재시도할 수 있음
  
  • 유실 발생 시 배치로 재발행

폴링 퍼블리셔 패턴

폴링 퍼블리셔 패턴은 아웃박스 테이블에 저장된 이벤트를 주기적으로 조회(polling)하여 메시징 시스템에 발행하는 역할을 합니다.

폴링 퍼블리셔 패턴의 주요 흐름:

1. 주기적인 조회:
   • 폴링 작업은 일정한 간격으로 아웃박스 테이블을 조회하여 발행되지 않은 이벤트를 찾습니다.
2. 메시지 발행:
   • 발행되지 않은 이벤트를 찾아 메시징 시스템(예: Kafka 또는 RabbitMQ)으로 발행합니다.
   • 발행이 성공하면 해당 이벤트의 상태를 “발행 완료”로 업데이트하여, 동일한 이벤트가 다시 발행되지 않도록 합니다.

두 패턴을 결합한 이점

• 일관성 보장: 트랜잭션 아웃박스 패턴을 통해 데이터베이스 변경과 이벤트 기록을 하나의 트랜잭션에서 처리할 수 있어 데이터와 이벤트의 일관성을 유지할 수 있습니다.
• 내결함성: 폴링 퍼블리셔 패턴을 통해 이벤트 발행이 실패하더라도 재시도가 가능해 내결함성을 확보할 수 있습니다.
• 확장성: 메시징 시스템을 통해 이벤트가 발행되므로, 여러 마이크로서비스가 이 이벤트를 구독하여 비동기로 처리할 수 있어 시스템 확장성에 유리합니다.

세팅 예시

• 예시 1. mysql + kafka

1. 트랜젝션 처리 시 outbox 테이블에 이벤트 정보도 추가

@Transactional
public void createOrder(Order order) {
    // 1. Orders 테이블에 주문 정보 저장
    ordersRepository.save(order);
    
    // 2. Outbox 테이블에 이벤트 기록
    OutboxEvent event = new OutboxEvent(
        order.getId(),
        "ORDER",
        "ORDER_CREATED",
        new JSONObject().put("orderId", order.getId()).put("status", order.getStatus()).toString(),
        "PENDING"
    );
    outboxRepository.save(event);
}

2. 폴링용 스케줄 생성 -> 카프카로 이벤트 발행

@Scheduled(fixedDelay = 5000) // 5초마다 실행
public void publishEvents() {
    List<OutboxEvent> pendingEvents = outboxRepository.findByStatus("PENDING");
    
    for (OutboxEvent event : pendingEvents) {
        try {
            // 1. Kafka에 이벤트 발행
            kafkaTemplate.send("order-events", event.getPayload());
            
            // 2. 발행 성공 시, Outbox 테이블에서 상태를 'COMPLETED'로 업데이트
            event.setStatus("COMPLETED");
            outboxRepository.save(event);
            
        } catch (Exception e) {
            // 발행 실패 시 별도의 로깅 또는 재시도 처리
            logger.error("Failed to publish event: " + event.getEventId(), e);
        }
    }
}

• 예시2. 스케줄 대신 디비 변경 감지 이용하여 이벤트 전송

MySQL Kafka 커넥터와 Debezium을 사용하면 트랜잭션 아웃박스 패턴을 더욱 쉽게 구현할 수 있습니다. 이 조합은 변경 데이터 캡처(Changed Data Capture, 데이터베이스에서 발생하는 삽입(INSERT), 업데이트(UPDATE), 삭제(DELETE)와 같은 변경 사항을 실시간으로 감지하고 추적하는 기술) 방식을 통해 MySQL 데이터베이스의 변화(즉, 새로운 아웃박스 레코드)를 자동으로 Kafka에 발행하는 구조를 제공합니다. 이를 통해 폴링을 위한 추가 프로세스 없이, 이벤트가 발생할 때마다 Kafka에 실시간으로 이벤트를 전송할 수 있습니다.

• Debezium은 MySQL Kafka 커넥터 중에서도 가장 널리 사용되고 인기 있는 CDC 커넥터입니다. Debezium은 MySQL을 포함해 다양한 데이터베이스의 변경 사항을 실시간으로 감지하여 Kafka에 전송하는 강력한 기능을 제공하는 오픈소스 CDC 플랫폼입니다. Kafka와 MySQL을 연동하는 데 있어서 CDC를 필요로 할 때, Debezium이 대표적인 솔루션으로 많이 활용됩니다.
• MySQL Kafka 커넥터는 Kafka Connect 프레임워크를 사용하여 MySQL 데이터베이스와 Apache Kafka 간에 데이터를 스트리밍하는 도구입니다. 주로 MySQL에서 발생한 데이터 변경 사항을 Kafka로 전송하는 데 사용됩니다. 이를 통해 MySQL 데이터베이스의 변경 로그를 실시간으로 Kafka로 스트리밍하고, Kafka의 여러 소비자가 이 데이터를 처리할 수 있습니다.

Debezium을 활용한 MySQL Kafka 커넥터 구현

Debezium은 CDC 플랫폼으로, MySQL의 바이너리 로그(binlog)를 읽어 Kafka로 변경 사항을 스트리밍할 수 있도록 합니다. MySQL의 binlog는 데이터베이스에 일어나는 모든 변경 사항을 기록하며, Debezium은 이를 Kafka 이벤트로 변환해 전송합니다. 

1. 트랜잭션 아웃박스 패턴 적용: 애플리케이션에서 데이터베이스에 트랜잭션을 수행할 때, Outbox 테이블에 이벤트 정보를 함께 기록합니다.
2. Debezium이 변경 감지 및 Kafka로 발행:
   • Debezium은 MySQL 바이너리 로그를 모니터링하고, Outbox 테이블에 새로운 행이 추가되면 해당 이벤트를 자동으로 Kafka로 발행합니다.
     • 바이너리 로그를 통한 순서 보장 및 오프셋을 활용한 발행 보장 -> 실패시 재시도로 발행 보장
   • 예를 들어, Outbox 테이블에 새로운 주문 이벤트가 추가되면 Debezium이 이를 감지해 Kafka의 dbserver1.yourDatabase.Outbox 토픽으로 해당 데이터를 스트리밍합니다.
3. Kafka 소비자 서비스: Kafka에 연결된 소비자 서비스는 dbserver1.yourDatabase.Outbox 토픽에서 이벤트를 수신하여, 그 이벤트를 바탕으로 필요한 로직을 실행하거나 다른 서비스로 전달합니다.

장점

• 실시간 처리: Debezium이 CDC 방식으로 아웃박스 테이블의 변경을 감지하여 바로 Kafka에 발행하므로 실시간으로 이벤트를 처리할 수 있습니다.
• 추가 폴링 프로세스 불필요: 별도의 폴링 프로세스를 구현할 필요가 없으므로 시스템 자원을 절약할 수 있습니다.
• 내결함성: Debezium은 Kafka로 이벤트 발행 중 문제가 발생하더라도 Kafka의 내장된 내결함성 기능 덕분에 안정적으로 이벤트를 재시도하고, 누락 없이 처리할 수 있습니다.
• 처리량 증설 가능; 아웃박스 테이블 (이벤트 키를 기반으로) 파티셔닝을 통한 처리량 증대 가능 
  • 로그를 순서대로 읽느라 단일 커넥터 사용 -> 테이블에 쌓이는 속도가 더 많아서 slow
  • 분산처리로 속도 향상: 토픽(이벤트 키) 별로 outbox table 분리하여 분산 처리 가능토록(같은 키는 같은 테이블에 쌓이도록 -> 순서보장)

참고: https://youtu.be/DY3sUeGu74M?si=L4jk0qBOdTcRYHPb

2024.11.06 - [개발/sql] - 2 Phase Lock & mysql

2024.02.29 - [architecture/micro service] - [arch] EDA, event sourcing, saga, 2pc

2PC, 2PL 모두 알아봤는데 뭔가 미래에도 헷갈릴 것 같아서 정리...

1. 2PC (Two-Phase Commit)

2PC는 분산 트랜잭션 관리 방식으로, 여러 시스템에서 분산된 트랜잭션을 일관되게 관리하고 커밋/롤백을 보장하는 프로토콜

2PC는 MSA의 서로 다른 서비스 간(회원 컴포넌트 & 배송 컴포넌트), 즉 분리된 데이터의 저장에 대해서(하나의 동작이지만) 하나의 트랜젝션으로 묶지 못하기 때문에 데이터가 틀어지지 않게 하는 방법이다

2PC는 현재 잘 안 쓰이고 MSA의 경우 결국 SAGA chreography가 더 자주 쓰이는 듯. 비동기에 이벤트 기반인 게 제일 안전하다. 결국 메시지 브로커를 누가 누가 잘 쓰냐의 경쟁이랄까..

동작 방식:

• Phase 1: Prepare Phase
  • 트랜잭션 코디네이터가 참가자들에게 트랜잭션을 커밋할 준비가 되었는지 물어봅니다 (Vote).
  • 각 참가자는 트랜잭션이 커밋 가능한지, 아니면 롤백해야 하는지를 답변합니다.
  • 모든 참가자가 "Yes"를 응답하면 커밋을 진행하고, 하나라도 "No"를 응답하면 롤백합니다.
  • ex. 주문 서비스(코디네이터)는 각 서비스(결제, 재고, 배송 등)에게 트랜잭션을 준비할 수 있는지 확인합니다. 각 서비스는 작업을 완료할 준비가 되었는지 확인하고, 준비되면 "Yes"를 응답합니다. 각 서비스는 해당 작업을 실제로 실행하지 않고, 작업을 예약해 놓습니다.
  • 트랜젝션 걸고 락 필요

• Phase 2: Commit/Rollback Phase
  • 트랜잭션 코디네이터는 모든 참가자가 "Yes"라고 응답하면 커밋을 확정하고, 하나라도 "No"라고 응답하면 롤백합니다.
  • 트랜잭션 코디네이터는 모든 참가자들에게 최종 결과를 전달합니다.
  • ex. 모든 서비스가 "Yes" 응답을 하면, 주문 서비스는 모든 서비스에 대해 트랜잭션을 커밋하도록 지시합니다. 하나라도 "No" 응답이 있으면, 주문 서비스는 모든 서비스에 롤백을 지시합니다. 

import javax.transaction.TransactionManager;
import javax.transaction.UserTransaction;
import javax.naming.InitialContext;

public class TwoPhaseCommitExample {

    public static void main(String[] args) {
        try {
            // JNDI를 통해 트랜잭션 관리자를 조회
            InitialContext ctx = new InitialContext();
            UserTransaction utx = (UserTransaction) ctx.lookup("java:comp/UserTransaction");

            // 1단계: 트랜잭션 시작
            utx.begin();
            System.out.println("Transaction started");

            // 참여자 1: 데이터베이스 A
            DatabaseParticipant dbA = new DatabaseParticipant("DB_A");
            dbA.prepare();

            // 참여자 2: 데이터베이스 B
            DatabaseParticipant dbB = new DatabaseParticipant("DB_B");
            dbB.prepare();

            // 2단계: 커밋 요청
            dbA.commit();
            dbB.commit();
            System.out.println("Transaction committed successfully");

            // 트랜잭션 종료
            utx.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

// 참여자 역할을 하는 클래스
class DatabaseParticipant {
    private String name;

    public DatabaseParticipant(String name) {
        this.name = name;
    }

    // 준비 단계
    public void prepare() {
        try {
            connection.setAutoCommit(false); // 트랜잭션 시작
            // 락 잡기
            PreparedStatement stmt = connection.prepareStatement("SELECT * FROM accounts WHERE id = ? FOR UPDATE");
            stmt.setInt(1, 1); 
            stmt.executeQuery();

            // 데이터 수정
            connection.prepareStatement("UPDATE accounts SET balance = balance - 100 WHERE id = 1").executeUpdate();

            System.out.println(name + " is prepared for the transaction");
        } catch (SQLException e) {
            e.printStackTrace();
            rollback();
        }
    }

    // 커밋 단계
    public void commit() {
        System.out.println(name + " has committed the transaction");
    }

    // 롤백 단계
    public void rollback() {
        System.out.println(name + " has rolled back the transaction");
    }
}

장점:

• 원자성 보장: 모든 참가자가 트랜잭션을 커밋하거나 모두 롤백하여 트랜잭션의 원자성을 보장합니다.
• 분산 트랜잭션 처리: 여러 시스템에서 하나의 트랜잭션을 관리할 수 있습니다.

단점:

• Blocking 문제: 트랜잭션이 실패하거나 코디네이터가 실패하면, 참가자는 "결정할 수 없다"는 상태로 대기 상태에 빠질 수 있습니다. 트랜잭션 코디네이터나 참가자 서비스가 다운되면 트랜잭션이 중단될 수 있습니다.
• 성능 저하: 2PC는 동기식으로 트랜잭션을 처리하기 때문에, 각 서비스 간의 통신과 협의 과정에서 지연이 발생할 수 있습니다.
• 복잡성: 2PC는 구현이 복잡하며, 특히 장애 복구와 같은 시나리오에서 상태를 관리하는 데 어려움이 있을 수 있습니다.
• 데드락: 준비 단계에서 여러 트랜잭션이 교착 상태에 빠질 수 있으므로, 트랜잭션 순서 및 타임아웃을 적절히 설정해야 합니다. prepare 했는데 commit 못하고 죽으면,, 영원한 데드락?(타임아웃 설정 필요)
• 락 경합: 준비 단계에서 락이 너무 오래 유지되면, 다른 트랜잭션이 대기 상태가 되어 성능 저하가 발생할 수 있습니다. 이를 해결하려면 트랜잭션 범위를 최소화하고, 락 해제를 신속히 수행해야 합니다.

2. 2PL (Two-Phase Locking)

2LC는 데이터베이스의 동시성 제어 방법으로, 트랜잭션이 데이터에 대해 잠금을 설정하고 해제하는 순서를 규정하는 방식

디비(mysql) 내부에서 같은 요청이 여러번 들어왔을 때, 어떻게 잠그냐~ 하는 방법

@Transactional  Isolation과 연관하여

= 데이터 일관성과 성능 간의 균형을 맞추는 방법, 기본적으로데이터베이스의 격리 수준을 기반으로 동작

1. READ_COMMITTED (기본)

• 매핑된 2PL 방식: Basic 2PL
  • 트랜잭션이 진행되면서 필요한 시점에만 락을 걸고, 트랜잭션이 종료될 때 락을 해제
  • Dirty Read, Non-Repeatable Read 방지
  • Phantom Read가 발생할 수 있으며, 이 경우 Repeatable Read나 Serializable 격리 수준을 사용해야 함

2. READ_UNCOMMITTED

• 매핑된 2PL 방식: None (락을 관리하지 않음)
  • 트랜잭션 간에 락을 걸지 않으며, Dirty Read가 가능하고 동시성 제어가 거의 없음
  • 2PL 방식이 적용되지 않음

3. REPEATABLE_READ(mySql default)

• 매핑된 2PL 방식: S2PL (Strict 2PL)
  • 트랜잭션이 데이터를 읽고 쓰는 동안 해당 데이터를 락을 걸고 트랜잭션 종료 시점에 락을 해제
  • Phantom Read, Non-Repeatable Read와 Dirty Read 방지

4. SERIALIZABLE

• 매핑된 2PL 방식: SS2PL (Strong Strict 2PL)
  • 트랜잭션이 시작될 때 모든 락을 미리 걸고, 트랜잭션 종료 시점에 락을 해제
  • Phantom Read, Non-Repeatable Read, Dirty Read를 방지하고, 모든 트랜잭션 간의 충돌을 방지
  • 트랜잭션이 끝날 때까지 모든 락을 보유하므로 성능이 안 좋음

동작 방식:

• Phase 1: Growing Phase
  • 트랜잭션은 필요한 잠금을 획득할 수 있으며, 이 시점에서만 데이터에 대한 잠금을 증가시킬 수 있습니다. 새로운 잠금을 얻거나 기존 잠금을 확장할 수 있습니다.
• Phase 2: Shrinking Phase
  • 트랜잭션은 잠금을 더 이상 추가할 수 없으며, 잠금을 해제하는 시점입니다. 잠금 해제는 commit 또는 rollback 후에 이루어집니다.

장점:

• Serializable 격리 수준 보장: 이 방식은 데이터의 일관성을 유지하면서, 트랜잭션 간의 충돌을 방지할 수 있습니다.
• 동시성 제어: 두 개의 단계에서 데이터 잠금과 해제를 관리하여 동시성 문제를 해결합니다.

단점:

• 교착 상태 (Deadlock): 만약 여러 트랜잭션이 서로의 잠금을 기다리게 되면 교착 상태가 발생할 수 있습니다. 이를 해결하려면 교착 상태 감지 및 회피 기법이 필요합니다.
• 성능 저하: 잠금 관리가 복잡하여 성능에 부정적인 영향을 미칠 수 있습니다.

아래와 같은 로직은 serializable하지 않아 실행 순서에 따라 결과가 다르다(x=100; y=200에서 시작)

Serializable은 트랜잭션 격리 수준(iso-level) 중 가장 높은 수준으로, 실행 순서에 상관없이 동일한 결과를 보장합니다.

Serializable은 트랜잭션들이 서로 겹치지 않도록 순차적으로 실행되는 것처럼 보이도록 보장합니다. 즉, 동시에 실행되는 여러 트랜잭션이 서로 간섭하지 않도록 하여, 트랜잭션이 직렬화된 것처럼 처리됩니다.

1. 결과의 일관성 보장: 여러 트랜잭션이 동시에 실행되더라도, 실행 순서에 관계없이 동일한 결과를 보장합니다. 즉, 트랜잭션 간에 발생할 수 있는 경쟁 조건이나 읽기-쓰기에 의한 문제(예: 더티 리드, 비반영 읽기, 팬텀 리드 등)를 방지합니다.
2. 트랜잭션 순차성: 데이터베이스는 트랜잭션들이 마치 순차적으로 실행된 것처럼 처리되도록 합니다. 이는 데이터베이스가 내부적으로 잠금 또는 스케줄링을 관리하여 발생할 수 있는 충돌을 막습니다.
3. 동시성 감소: 여러 트랜잭션이 동시에 실행되면, 그들이 서로 잠금을 요구하거나 기다리는 상태가 발생할 수 있습니다. 이로 인해 성능 저하가 있을 수 있습니다.

이를 보장하기 위해선? 

2단계 잠금(2-Phase Locking, 2PL)은 데이터베이스에서 트랜잭션의 일관성과 동시성을 유지하기 위한 잠금 프로토콜입니다. 2단계 잠금 규칙을 따르면 데이터베이스의 ACID 특성을 유지하면서 다중 트랜잭션이 동시에 실행될 때도 무결성을 보장할 수 있습니다.

2단계 잠금(2-Phase Locking)의 원리

: 모든 잠금 작업이 첫 번째 잠금 해제 작업보다 반드시 먼저 이루어지는 것입니다.

1. 확장 단계(Growing Phase):
   • 트랜잭션은 필요한 모든 잠금을 획득하는 단계입니다.
   • 잠금 해제는 허용되지 않으며 오로지 잠금 획득만 할 수 있습니다.
   • 트랜잭션이 접근하는 데이터에 대해 읽기 잠금 또는 쓰기 잠금을 설정합니다.
2. 축소 단계(Shrinking Phase):
   • 트랜잭션이 모든 잠금을 해제하는 단계입니다.
   • 이 단계에서는 더 이상 잠금을 획득할 수 없습니다.
   • 트랜잭션이 모든 작업을 완료하고 나면, 잠금을 해제하여 다른 트랜잭션이 접근할 수 있도록 합니다.

2단계 잠금이 일관성을 보장하는 이유

2PL을 따르는 경우, 트랜잭션 간의 교착 상태(Deadlock)나 무결성 문제를 예방할 수 있습니다. 트랜잭션이 모든 잠금을 획득할 때까지 축소를 시작하지 않기 때문에, 중간에 변경되는 데이터를 읽어 일관성이 깨지는 상황을 방지할 수 있습니다.

2단계 잠금의 단점

• 교착 상태 발생 가능성: 여러 트랜잭션이 서로의 잠금을 기다리다가 교착 상태가 발생할 수 있습니다.
• 성능 저하: 트랜잭션이 길어질수록 잠금을 오랫동안 유지해야 하므로 다른 트랜잭션의 병렬 실행을 방해할 수 있습니다.

종류

•  2PL
  • 모든 잠금 작업이 첫 번째 잠금 해제 작업보다 반드시 먼저 이루어지는 것
  • 락은 트랜잭션이 끝날 때까지 지속되는 것이 아니라, 쓰기 작업이 완료되는 시점에 해제

• C2PL
  • 트랜잭션이 시작되기 전에 필요한 모든 잠금을 미리 획득
  • 모든 리소스를 잠근 후, 트랜잭션을 시작하고 잠금 해제는 트랜젝션 처리하자마자

• S2PL
  • 트랜잭션 시작 시점에 모든 잠금을 미리 걸지는 않음. 대신, 잠금을 필요로 할 때마다 걸고, 획득한 모든 쓰기 잠금을 트랜잭션이 완료될 때까지 유지
  • write lock의 unlock이 커밋 이후

• SS2PL
  • 각 데이터에 접근할 때 해당 데이터에 대한 잠금을 획득하며, 획득한 모든 잠금은 트랜잭션이 완료될 때까지 유지
  • read/write lock의 unlock이 커밋 이후

MySQL의 2PL 사용 방식

MySQL은 InnoDB 스토리지 엔진을 사용할 때, 트랜잭션 격리 수준에 따라 락킹을 관리합니다. InnoDB는 기본적으로 Strict 2-Phase Locking (S2PL)을 사용하며, 이는 일반적인 2PL과 달리 트랜잭션이 종료될 때까지 쓰기 잠금을 유지합니다. 이 방식은 Repeatable Read 및 Serializable 격리 수준에서 특히 활용됩니다.

• Repeatable Read 격리 수준: InnoDB의 기본 격리 수준이며, InnoDB는 기본적으로 S2PL을 사용하여 트랜잭션 중에 읽은 데이터가 변경되지 않도록 보장합니다. 추가로 MySQL에서는 멀티버전 동시성 제어(MVCC)를 사용해 읽기 작업에 대한 잠금 경합을 줄입니다.
• Serializable 격리 수준: 이 수준에서는 MySQL이 트랜잭션 충돌을 방지하기 위해 더 강한 잠금을 사용합니다. 결과적으로 트랜잭션을 직렬화된 순서로 수행하려는 경향이 있으며, SS2PL과 유사한 동작을 제공합니다.

JPA와 데이터베이스 락킹의 관계

JPA에서 특정 락킹을 요청할 때(예: @Lock(LockModeType.PESSIMISTIC_WRITE)), 이 요청은 데이터베이스로 전달되어 MySQL의 2PL 방식에 따라 적용됩니다. 결국, JPA를 통해 락 모드를 설정해도 최종적인 락킹 동작은 데이터베이스의 격리 수준과 락킹 방식에 의해 결정됩니다.

요약

1. MySQL + JPA 조합에서는 InnoDB의 2PL 구현(S2PL)에 의해 락킹이 수행됩니다.
2. 트랜잭션 격리 수준 설정에 따라 2PL의 엄격성이나 일관성 수준이 달라집니다.
3. JPA는 데이터베이스에 락 모드를 요청할 수 있지만, 락킹 방식은 데이터베이스의 구현에 의존합니다.

2PL의 문제점

2PL은 데이터에 공유 락(읽기용) 또는 배타적 락(쓰기용)을 걸어서 트랜잭션이 안전하게 처리되도록 합니다. 하지만 몇 가지 문제점이 있습니다:

1. 데드락 발생 가능성:
   • 여러 트랜잭션이 서로의 락을 기다리는 상태에 빠져서 교착 상태가 발생할 수 있습니다.
2. 높은 락 대기 시간:
   • 트랜잭션 간의 상호 락으로 인해 읽기와 쓰기가 겹칠 때마다 대기 시간이 길어질 수 있으며, 대기 상태에서 성능 저하가 발생합니다.
3. 성능 저하:
   • 특히 읽기 작업이 많은 시스템에서 성능이 크게 저하됩니다. 모든 트랜잭션이 락을 걸어야 하므로, 높은 동시성 요구를 충족하기 어렵습니다.

MVCC (Multi-Version Concurrency Control)는 다중 버전 동시성 제어라고 불리는 방식으로, 데이터베이스에서 동시성 제어를 위해 여러 데이터 버전을 관리하여 성능을 향상시키는 기법입니다. 특히 읽기 작업이 많은 환경에서 락을 걸지 않고도 동시성을 보장할 수 있도록 설계되었습니다.

MVCC의 주요 개념

• 데이터 버전 관리: MVCC에서는 데이터베이스의 각 행(row)에 대해 여러 버전을 저장합니다. 새로운 트랜잭션이 변경을 가할 때마다, 기존 버전을 덮어쓰지 않고 새로운 버전을 생성합니다. 과거의 데이터는 그대로 유지됩니다.
• 트랜잭션 격리: MVCC는 트랜잭션이 시작될 때의 스냅샷(시점) 기준으로 데이터를 읽도록 하여, 다른 트랜잭션이 데이터를 변경하는 중에도 해당 스냅샷 기준 데이터를 읽게 됩니다. 이를 통해 락 없이도 일관된 읽기 작업을 제공합니다.
• 삭제 지연: 과거의 버전 데이터는 특정 조건에서 삭제되며, 데이터베이스가 자동으로 불필요한 버전을 제거하는 가비지 컬렉션 작업을 수행합니다.

MVCC의 작동 방식

1. 트랜잭션 시작 시점의 스냅샷 사용: 트랜잭션이 시작되면 해당 시점의 데이터 스냅샷을 이용하여 데이터 조회를 수행합니다. 이렇게 하면 다른 트랜잭션에서 데이터가 변경되더라도 현재 트랜잭션은 일관성 있는 데이터를 확인할 수 있습니다.
2. 데이터 버전 관리: 데이터에 대한 수정이 발생할 때 기존 데이터는 그대로 유지하고 새로운 버전을 생성합니다. 예를 들어, A 트랜잭션이 테이블의 특정 행을 수정하면, 원래 데이터를 덮어쓰지 않고 새로운 데이터 버전을 추가하는 방식입니다.
3. 커밋 후 가시성: 트랜잭션이 완료되면 변경된 데이터 버전이 다른 트랜잭션에서도 보이게 됩니다. 아직 완료되지 않은 트랜잭션에서의 변경은 다른 트랜잭션에 영향을 미치지 않습니다.
4. 가비지 컬렉션: 시간이 지나면서 더 이상 참조되지 않는 오래된 데이터 버전은 데이터베이스에서 주기적으로 삭제하여 공간을 확보합니다.

MVCC의 장점

• 락을 사용하지 않고도 일관된 읽기를 보장하므로, 읽기 성능이 우수합니다.
• 트랜잭션이 많아도 충돌이 적어, 데드락 발생 가능성이 줄어듭니다.
• 동시 읽기 및 쓰기 작업을 효율적으로 처리하여 높은 동시성을 제공합니다.

MVCC의 단점

• 모든 데이터의 버전을 유지해야 하므로, 저장 공간이 더 많이 필요할 수 있습니다.
• 가비지 컬렉션 작업이 필요하여, 오래된 버전을 제거하는 데 추가적인 관리 비용이 발생할 수 있습니다.

적용 사례

MVCC는 PostgreSQL, MySQL의 InnoDB 엔진, Oracle 등 여러 데이터베이스 시스템에서 사용되며, 특히 트랜잭션 격리 수준을 높이면서도 성능을 유지해야 하는 환경에서 널리 활용됩니다.

출처: https://www.youtube.com/watch?v=0PScmeO3Fig