[cloud] 파일을 동적으로 관리하는 config server

2024. 1. 29. 13:59

환경: springboot2.7.6, java 17, springcloud 2021.0.8

application.properties/yml과 같은 설정파일을 수정하면 서버를 재시작해야 한다는 부담이 있다.

spring cloud에서 제공하는 config server를 이용하면 설정 파일을 수정해도 재시작하지 않고, 동적으로 값을 읽어 올 수 있다.

공용 프로퍼티 설정 서비스 만들기(이하 config service라고 명명)

1. 프로퍼티 파일을 외부로 빼준다. 보통 공통 값(디비, API url, 공통으로 사용하는 값 등)을 뺀 파일을 외부에 생성한다.

여기서는 documents아래에 임의의 폴더를 생성하여 만들었다.

참고로 윈도우로 작업하였다.

2. 이 파일을 추적할 서버를 새로 만든다. 아래와 같이 디펜덴시를 추가하고 어노테이션을 단다.

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-config-server</artifactId>
</dependency>

@EnableConfigServer
@SpringBootApplication

그리고 이제 추적할 파일에 대한 정보를 프로퍼티 파일에 작성한다.

server:
  port: 8888

spring:
  application:
    name: config-service
  cloud:
    config:
      server:
        git:
          uri: file:///Users/JIHYUN BANG/Documents/source/inflearn/git-local-repo
     	  default-label: main

파일을 바로 볼거라 file:// 로 시작하는데 깃으로 관리한다면 아래 처럼 해당 주소를 기입하면 될 것 같다.

        git:
          uri: https://github.com/haileyjhbang/inflearn-config.git
         # username: bbb //private repository 일 경우 필요
         # password: aaa //private repository 일 경우 필요
     #  uri: file:///Users/JIHYUN BANG/Documents/source/inflearn/git-local-repo

여기서 주의해야하는 것은 파일 경로를 알기 위해 아래와 같이 명령어를 입력할 경우 (윈도우의 경우) 아래와 같이 C드라이브 아래부터 나오는데, /c 를 제외하고 /Users 부터 입력해야 한다는 것.

$ pwd
/c/Users/JIHYUN BANG/Documents/source/inflearn/git-local-repo

2-1. 파일 시스템으로 프로퍼티들을 관리할 경우 profiles.active: native

spring:
  application:
    name: config-service
  profiles:
    active: native
  cloud:
    config:
      server:
        native:
          search-locations: file:///${user.home}/Documents/source/inflearn/native-repo

3. 서버를 시작하고 아래 주소로 확인해 보면 ecommerce.yml의 내용이 화면에 찍힌다.

http://localhost:8888/ecommerce/default

4. 허나 로그를 보면 아래와 같은 에러가 지나가는데

org.springframework.cloud.config.server.environment.NoSuchLabelException: No such label: main
	at org.springframework.cloud.config.server.environment.JGitEnvironmentRepository.refresh(JGitEnvironmentRepository.java:307) ~[spring-cloud-config-server-3.1.8.jar:3.1.8]
	at org.springframework.cloud.config.server.environment.JGitEnvironmentRepository.getLocations(JGitEnvironmentRepository.java:256) ~[spring-cloud-config-server-3.1.8.jar:3.1.8]
	at org.springframework.cloud.config.server.environment.MultipleJGitEnvironmentRepository.getLocations(MultipleJGitEnvironmentRepository.java:139) ~[spring-cloud-config-server-3.1.8.jar:3.1.8]
...

Caused by: org.eclipse.jgit.api.errors.RefNotFoundException: Ref main cannot be resolved
	at org.eclipse.jgit.api.CheckoutCommand.call(CheckoutCommand.java:223) ~[org.eclipse.jgit-5.13.1.202206130422-r.jar:5.13.1.202206130422-r]
	at org.springframework.cloud.config.server.environment.JGitEnvironmentRepository.checkout(JGitEnvironmentRepository.java:461) ~[spring-cloud-config-server-3.1.8.jar:3.1.8]
	at org.springframework.cloud.config.server.environment.JGitEnvironmentRepository.refresh(JGitEnvironmentRepository.java:300) ~[spring-cloud-config-server-3.1.8.jar:3.1.8]
	... 69 common frames omitted

2024-01-29 14:01:10.993  INFO 20748 --- [nio-8888-exec-1] .c.s.e.MultipleJGitEnvironmentRepository : Will try to refresh master label instead.
2024-01-29 14:01:11.218  WARN 20748 --- [nio-8888-exec-1] .c.s.e.MultipleJGitEnvironmentRepository : Could not merge remote for master remote: null

내용을 살펴보면 git-local-repo\ecommerce.yml 가 깃으로 관리되는데 main 브랜치가 없다는 것이다.

다시 보니 기본 브랜치가 master로 되어 있었고

설정파일을 아래처럼 수정하면 에러가 사라진다.

spring.cloud.config.server.git.default-label: master

5. 신기한 점은 git uri에 file://로 설정할 경우 해당 파일 경로가 remote 깃과 연결되지 않았을 때는 파일 저장만으로도 바로 반영이 되었는데,

remote 깃과 연결한 후에는 파일을 수정하여 저장하더라도 자동으로 git에서 파일을 가져와서 override 하기 때문에 파일이 수정되지 않는다. 그 후에는 깃에 커밋하고 푸시해야만 반영됨.

즉, 파일시스템으로 프로퍼티를 관리하기위한 제대로된 방법은 native를 사용하는 것이다.

file://인 경우 ecommerce.yml이 반영되려면 깃에 커밋을 하지 않고도 저장만 하면 바로 반영이 된다. 즉, 저장을 하고 http://localhost:8888/ecommerce/default 를 호출하면 서버 재시작 없이도 변경된 내용을 확인할 수 있음. 물론 이는 지금 깃이 아닌 파일을 바라보도록 했기 때문.. 깃으로 수정했다면 remote push까지 해야한다. <<-깃에 연결 전

공용 설정 가져오는 서버 설정 추가(사용처; 이하 user service라고 명명)

1. 사용처에 아래 디펜덴시 추가

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-config</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-bootstrap</artifactId>
</dependency>

2. 공용으로 관리하기로 한 정보는 설정파일에서 없애고 resources/ 아래에 bootstrap.yml 추가(이름 꼭 확인)

해당 파일은 프로젝트에서 별도로 가지고 있는 application.yml 보다 먼저 로딩된다.

로딩이 그렇다는 것이고 적용 우선 순위는 아래와 같다.

application.yml → application-`name`.yml → application-`name`-<profile>.yml

즉, bootstrap.yml로 로딩된 ecommerce.yml 은 위 순서에서 application-ecommerce.yml으로 인식되어 두번째 우선순위를 갖는다.

# application.yml에서 일부를 띠어서 공용으로 관리하기로 했기 때문에
# application.yml 이전에 불러올 정보를 가져올 프로퍼티임
spring:
  cloud:
    config:
      uri: http://127.0.0.1:8888
      name: ecommerce   #파일명.yml 일 때 파일명 작성

3. 설정 후 서버 시작 시 아래 로그 지나감 확인

INFO 24156 --- [  restartedMain] c.c.c.ConfigServicePropertySourceLocator : Fetching config from server at : http://127.0.0.1:8888
INFO 24156 --- [  restartedMain] c.c.c.ConfigServicePropertySourceLocator : Located environment: name=ecommerce, profiles=[default], label=null, version=4c8198ea3c95ce84f573a78f41b637a4da81ad49, state=null
INFO 24156 --- [  restartedMain] b.c.PropertySourceBootstrapConfiguration : Located property source: [BootstrapPropertySource {name='bootstrapProperties-configClient'}, BootstrapPropertySource {name='bootstrapProperties-file:///Users/JIHYUN BANG/Documents/source/inflearn/git-local-repo/file:/C:/Users/JIHYUN BANG/Documents/source/inflearn/git-local-repo/ecommerce.yml'}]

4. 혹시 실행 시 아래 에러를 만나면, (그래도 실행은 잘 되지만) 프로퍼티 수정이 필요하다.

2024-01-29 15:29:08.527 ERROR 20628 --- [  restartedMain] o.a.catalina.session.StandardManager     : Exception loading sessions from persistent storage

java.io.EOFException: null
	at java.base/java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2926) ~[na:na]
...
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1303) ~[spring-boot-2.7.6.jar:2.7.6]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1292) ~[spring-boot-2.7.6.jar:2.7.6]
	at com.example.userservice.UserServiceApplication.main(UserServiceApplication.java:18) ~[classes/:na]
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:na]
	at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:77) ~[na:na]
	at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:na]
	at java.base/java.lang.reflect.Method.invoke(Method.java:568) ~[na:na]
	at org.springframework.boot.devtools.restart.RestartLauncher.run(RestartLauncher.java:49) ~[spring-boot-devtools-2.7.6.jar:2.7.6]

해당 에러는 Tomcat의 SESSIONS.ser 파일이 없을 때 나는 에러로 추정되며, 해당 파일은 Tomcat이 애플리케이션 세션 상태를 저장하는 데 사용된다. (참고로 현 프로젝트는 spring-boot-starter-web 안의 tomcat을 사용 중)

세션 지속성(persistent session)은 웹 서버가 다운되거나 재시작될 때 사용자 세션 정보를 유지하는 기능인데 이를 통해 서버가 재시작된 후에도 사용자가 이전의 세션을 계속 사용할 수 있음.

세션 지속성을 '끈다'는 것은 이러한 세션 정보의 유지를 비활성화하는 것을 의미한다. 즉, 서버가 다운되거나 재시작되면 모든 사용자 세션 정보가 손실되는 것이다. 이 기능은 개발 과정에서 테스트나 디버깅을 쉽게 하기 위해 사용되곤 하는데, 서비스의 안정성이나 사용자 경험을 위해서는 일반적으로 세션 지속성이 활성화되어 있는 것이 좋다.

spring boot의 경우 내장 tomcat을 사용하기 때문에 직접적인 tomcat 설정 파일을 수정할 수 없음

따라서 에러를 없애기 위해서 application.yml에 아래 설정을 추가(기본적으로 true로 세팅됨)

server:
  servlet:
    session:
      persistent: false

5. 공용 설정파일인 ecommerce.yml 파일을 동적으로 가져오려면

위의 config service에서는 파일 커밋 시 바로 반영된 것을 확인할 수 있었으나, 사용처에서는 바로 확인이 안 된다는 것을 알 수 있다. 동적으로 가져오려면 아래와 같은 방법이 있다.

사용처를 재기동
actuator refresh api 이용
spring cloud bus 사용

1번 방법은.. 매우 비효율적

5-1. actuator refresh 사용

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator </artifactId>
</dependency>

management:
  endpoints:
    web:
      exposure:
        include: refresh, health, beans

재시작 후 ecommerce.yml을 수정하고 저장하면

config service에 반영된 것 확인되고 아래처럼 POST 요청하면 서버가 리로드 되면서 수정된 사항이 반영된다.

다만 actuator refrest를 사용할 경우 해당 프로퍼티를 바라보는 모든 서비스들에 대해 실행해줘야 하기 때문에.. 만약 관련 서비스들이 많다면 여간 번거로운 작업이 아닐 수 없다. 하여 보통은 spring cloud bus를 사용한다.

5-1-1. 여러 profile 사용

위와 같이 여러 환경 프로퍼티 파일이 있을 때 사용처에서 아래와 같이 설정하면 해당 환경으로 가져온다.

spring:
  cloud:
    config:
      uri: http://127.0.0.1:8888
      name: ecommerce
  profiles:
    active: prod

-> ecommerce-prod.yml

spring:
  cloud:
    config:
      uri: http://127.0.0.1:8888
      name: ecommerce
  profiles:
    active: dev

-> ecommerce-dev.yml

참고로 해당 값은 아래의 active profile에 dev로 적어도 같은 효과이다.

혹은 VM options에 아래와 같이 작성한다.

-Dspring.profiles.active=dev

환경별 프로퍼티 파일을 추가하고 config server를 다시 불러오면 아래와 같이 해당 환경의 프로퍼티 파일과 default 파일을 모두 불러오는 것을 볼 수 있다.

728x90

'개발 > spring-cloud' 카테고리의 다른 글

[spring-cloud] micrometer, prometheus (0)	2024.02.08
[spring-cloud] zipkin 분산 환경 모니터링 (0)	2024.02.08
[resilience4j] circuit breaker (0)	2024.02.08
[cloud] property값 암호화하여 사용하기 (0)	2024.01.29
[cloud] spring cloud bus (0)	2024.01.29

기억 파편