vi /var/lib/pgsql/14/data/pg_hba.conf vi /var/lib/pgsql/14/data/pg_hba.conf
//아래와 같이 수정
# TYPE DATABASE USER ADDRESS METHOD
# "local" is for Unix domain socket connections only
local all command, query md5
local all all peer
# IPv4 local connections:
host all all 127.0.0.1/32 scram-sha-256
# IPv6 local connections:
host all all ::1/128 scram-sha-256
# Allow replication connections from localhost, by a user with the
# replication privilege.
local replication all peer
host replication all 127.0.0.1/32 scram-sha-256
host replication all ::1/128 scram-sha-256
host all all 0.0.0.0/0 md5
이전 글에서 cqrs에 대해 생각해보았는데, 이를 구현하는 방법을 보던 중 Axon framework라는 것을 알게 되었다.
Based on architectural principles, such as Domain-Driven Design (DDD) and Command-Query Responsibility Separation (CQRS), Axon Framework provides the building blocks that CQRS requires and helps to create scalable and extensible applications while maintaining application consistency in distributed systems.
사실 cqrs나 event driven developlment을 검색했을 때 주로 나오는 기술이 Kafka나 rabbitMQ였고 이전 회사에서도 Kafka를 도입하려고 했었던지라 비동기 메세징에 대해서는 Kafka가 제일 먼저 떠오른게 사실이다.
그만큼 요즘, 딱 지금 이 시기에는 Kafka가 대세아닌 대세를 누리는 것 같은데 그 틈으로 보이는 Axon이 흥미로워 보였고, 차이점이 있지 않을까 싶었다.
거창한 설명과 비교는 인터넷에 널린 자료를 참고하면 되겠고, 내가 생각하는 큰 차이점은 아래와 같다.
Axon은 개발할 때부터, 즉 뼈속부터 cqrs를 지키며 개발할 수 있게 해주는 framework라면
Kafka는 이미 있는 그들의 플랫폼에, 그들이 제공하는 api를 이용해서 event를 publish / handling 할 수 있는데 message streaming 위주의 기능을 한다는 것.
(직접 사용해보지 않아서 아닐수도 있음에 주의 ㅋㅋ)
이 글은 Kafka보다는 Axon에 대해 알고 싶은 글이므로 Axon에 대해 더 찾아본다.
Axon Framework란 EventSourcing, CQRS, DDD(Domain Driven Design) 세 가지 Concept을 중심으로 어플리케이션을 개발할 수 있게 도와주는 프레임워크이다.
Axon Server는 그러한 프레임워크를 작동하게 하는 서버이며 메세지 라우팅, 이벤트 저장소 등의 역할을 수행한다.
Axon Server는 다음과 같은 특징을 갖는다.
Event Store(이벤트 저장, 이벤트 전파, 스냅샷 저장 등)에 특화
AxonServer 내부에는 Event 저장을 위한 별도 DB가 없으며, File을 직접 다룸
EventStore는 오직 데이터 추가만이 가능하기에 수정, 삭제와 관련된 그 어떠한 API도 제공되지 않음
높은 가용성
클러스터 모드를 지원함
핸들러가 먹통이 되었더라도 큐에 메세지를 저장
서비스간 통신은 gRPC 방식을 사용
참고로 Axon Framework + Axon Server 조합이 필수는 아니다.
Axon Server대신 Kafka + NoSQL 등을 조합하여 사용할 수도 있다(Axon framework가 제공하는 Kafka-connector를 사용하여 kafka와 연동가능하다).
개념은 이정도로 살펴보고(사실 봐도 와닿지 않는다.. 따라서 개발하면서 더 찾아보고) 몸빵하면서 익혀야겠다.
springboot2, gradle multi project 등 이미 나에게 익숙한 환경에서 axon dependency 를 활용한 샘플 프로젝트 클론코딩을 진행하려고 한다.
기술을 선택해주진 않지만 선택하는데 가이드를 준다(비동기를 써, 그게 카프카인지 래빗인지는 니네가 결정해)
하지만 필요 시 기술 지정 할수도..
2. 지속적으로 아키텍처 분석
최근 동향 확인, 비즈니스의 흐름에 따른 개선 제안
3. 최신 트랜드 유지
롱텀으로 생각, 미래를 대비
4. 결정 사항 준수 확인
설계 원칙을 따르는지 지속적으로 검증
기대한대로 작동하는지 확인
5. 다양한 경험 필요
다양한 기술 프래임워크 플랫폼 환경에 대한 경험
다양한 기술에 친숙해야 함
기술의 깊이보다는 폭에 집중
6. 업계/도매인의 지식 필요
기술 뿐 아니라 비즈니스적 요소도 이해해야 함
비즈니스 요구를 만족하는 설계 필요
고객/이해당사자 등과 소통 필요
7. 대인 관계 / communication
어떠한 일이건 사람의 문제
리더쉽, 팀웍, 동기유발
8. 회사 내부 상황 파악 / 정치
아키텍트의 결정은 도전을 받음
결정에 따라 비용, 시간, 인력 등에 영향
협상능력 필요
지금은 개발자이지만, 궁극적으로는 기술 pm이나 팀/그룹 리더, 나아가서는 아키텍트가 되고 싶은 마음에 찾아본 내용 개인적인 취향도 깊이보다 폭, 기술보다는 사람이라 생각하여 나와 맞을 수 있을거라 생각하면서도.. 설득, 협상능력 이런건 자신이 없기에 아직은 막연하다. 뭐 우선 관련 기회가 주어져야겠지..
**명령(Command)**와 **조회(Query)**의 책임을 분리하여 시스템의 확장성과 유지보수성을 높이는 데 목적이 있으며..
쉽게 말해서 data에 대한 read와 write는 분리되어 개발되어야 한다는 것이다.
eventually consistent!
1. Before
설명을 하기 전에 그림을 먼저보자. 먼저 아래는 일반적인 우리의 서버 구조이다.
before CQRS
api 만 다를 뿐 결국 같은 서비스 안에서 같은 디비를 바라보고 있다. 백 만 건의 조회가 생겨 디비 행이 걸리면 업데이트에도 지연이 있을 수 있고 반대로 몇 천 건을 수정할 경우 디비 락이 걸려 조회가 안될 수도 있다. 이를 개발하는 소스 안에서도 게으른 개발자는 등록과 조회가 같은 dto를 사용할 수도 있고 한 dto 안에서 등록용 함수, 조회용 함수 등이 덕지덕지 섞여 어느샌가 리팩토링 조차 힘든 상황이 올 수도 있다.
2. Initial CQRS
그렇다면 CQRS는 어떤 개념인가. 아래 그림을 보자.
initial CQRS
CQRS를 처음 제시한 사람은 CQRS에 대해 아주 단순하게 말했다.
It has one simple assumption: instead of having one big model for reads and writes, you should have two separate models. One for writes and one for reads.
단순하게 말하면 등록/조회 같은 dto 쓰지마라..ㅋ (사실 더 나아가선 application도 분리해야한다; 녹색이 어플리케이션, 노란색이 dto라고 보면 된다)
그리고 두 가지 개념을 들고온다: query와 command
Query should not modify anything, just return the data. Command is the opposite one: it should make changes in the system, but not return any data.
나는 query는 조회용, command는 업데이트(수정,등록 등)용이라고 이해했다(다른 원문에서는 read와 update 라고 분리하기도하는데 공통된 의미라고 생각한다).
위 그림에서도 내부적인(service; dto, 함수 등) 분리는 된 듯 한데, DB의 분리는 아직이다. 사실 이 정도만 분리해도 괜찮다(현실적이다)는 평도 있다.
3. Ultimate CQRS
하지만 모든 원론이 그러하듯 궁극적인 CQRS는 한 단계 더 진화한다. 필자도 경험해봤지만 결국 대용량 서비스는 조회의 싸움이다.
특히 MSA 구조에서 데이터 조회란, 수 많은 테이블의 join의 결과체이며 이로인해 DB cpu가 100을 찍는 경우도 허다하다.
궁극적인 CQRS는 아래와 같이 제안한다.
ultimate CQRS
차이점은 read, write의 완전한 분리 그리고 event sourcing
여기서 핵심 내용은 write 와 read 할 때 사용되는 db(물리적인 db, in-memory db 등 데이터를 저장하는 모든 것을 일컬음)는 communicate이 불가하고 오로지 event를 통해서만 communicate 할 수 있다는 점이다.
위 플로우를 write -> event storage(업데이트 로그) -> events -> event handler -> write 라고 설명하는 사람도 있는데, 이 때 event storage가 전체 플로우 중 transactional 이 가능한 유일한 아이라고 설명하는 사람도 있다(write할 때도 event storage에 event생성만 하고 끝이니 딱히 transacitonal할 필요 없음). 적당히 이해하고 보면 될 듯 하다.
정리하면 아래와 같다.
write
event 생성, throw error, void 만 가능 event를 생성하고 event store에 publish해서 전파하는 방식으로 데이터를 업데이트
read
만들어진 event를 subscribe 하여 적용된 데이터를 조회 query는 데이터만 return 하고 다름 side effect은 없음
event
한번만 실행됨을 보장해야 함 모든 consumer를 update 해야 함
위 처럼 분리되었을 경우의 아래와 같은 장점을 얻을 수 있게 된다.
각각의 상황에 맞게 optimize가 가능(ex. read - view with cache)
read와 write가 서로 독립적(즉 서로 영향을 미치지 않는다; 조회하다 부하가 걸려 업데이트가 안 될 일이 없다).
독립적인 scaling(조회가 많으면 조회 쪽 성능에 대한 개선만 하면 됨/ 관련 인프라의 scale out)이 가능
우리가 만든 프로젝트를 cqrs화 하자면..
이를 공부하면서 의문이 생기는 것은 배달 주문 메뉴 수정/실시간 잔액 조회와 같이 실시간 반영이 필요할 때 event driven의 경우 아무래도 write -> read로 가는 약간의 지연이 있을 것 같은데 이는 어떻게 해결할 수 있는지, 무시할만한 수준인건지 궁금하다..(왠지 진짜 실시간은 write 테이블을 보고 약간의 지연을 허용하면 read 테이블을 보고 그런식으로 할 것 같다..는 과거의 나ㅋㅋ)
+ 후에 실습을 해보니 write -> read 로 이벤트 전파가 거의 동시에 이루어지는 것을 확인할 수 있었다. 다만 실 운영 환경에서는 트래픽이나 시스템의 환경에 따라 약간씩 다르지 않을까 생각된다.
위 스크립트에서 &가 없으면 실행시킨 화면에서 실행이되고, 그 곳을 빠져나가면 shutdown 된다.
배포 쉘에 항상 저렇게 쓰는데, 매번 까먹어서 정리
& : executes the first command in the background, The shell does not wait for the command to finish, and the return status is 0.
&& : executes the first command and conditionally proceeds to the second if it exits with success
nohup : A background process(&) will not stay alive after the shell session is closed. Nohup makes running after you disconnect from the session. sh file should has 755 permission. nohup file will be created with debig info.
/var/lib/jenkins/.ssh/known_hosts [SSH] No Known Hosts file was found at /var/lib/jenkins/.ssh/known_hosts. Please ensure one is created at this path and that Jenkins can read it.
/var/lib/jenkins/.ssh/known_hosts 해당 경로와 파일을 만들어준다.
sudo vi /etc/sysconfig/jenkins
/PORT 검색 후 8888로 변경
systemctl restart jenkins
설치 후 ui로 들어가서 jenkins setup wizard를 진행하다보니 다음과 같은 에러가 나서 추가적인 설정을 하였다.
"Unable to connect to Jenkins Server."
//Add Jenkins user to root group
sudo usermod -a -G root jenkins
vi /etc/sysconfig/jenkins
//아래 내용 수정
JENKINS_LISTEN_ADDRESS="0.0.0.0"
systemctl restart jenkins
ui에서 localhost:8888로 들어온다. secret key로 로그인 하고 기본 플러그인으로 설치하겠다고 하면 천천히 설치하면서 아래와 같은 화면이 된다.
