서버 세팅 & tool/kafka

[windows] kakfa connect; mariadb 설치

방푸린 2024. 2. 4. 16:20
반응형

환경: windows11, java17, springboot2.7.6

 

kakfa connect를 통해 데이터를 import/export 가능

코드 없이 configuration으로 데이터 이동 가능

Standalone mode, distribution mode 지원

  • restfult API 지원
  • stream, batch 형태로 데이터 전송 가능
  • 커스텀 connector를 통한 다양한 플러그인 제공(파일, mysql, 등)

 

테스트를 위한 mariaDB 다운로드(in windows)

참고로 마리아디비는 mysql과 코어를 같이 사용한다.

디비 생성을 위해 cmd로 접근

소스에 아래 추가

<dependency>
    <groupId>org.mariadb.jdbc</groupId>
    <artifactId>mariadb-java-client</artifactId>
    <version>3.1.4</version>
</dependency>

소스 띄우고 h2 콘솔로 아래 입력

cool

MariaDB 설치

MacOS

$ brew install mariadb

시작, 종료, 상태확인

$ mysql.server start, mysql.server stop, mysql.server status

접속

$ mysql –uroot

데이터베이스 생성

mysql> create database mydb;

Access denied 발생 시

$ sudo mysql –u root

mysql> use mysql;

mysql> select user, host, plugin FROM mysql.user;

mysql> set password for 'root'@'localhost'=password('test1357’);

mysql> flush privileges;

Windows)

다운로드

mariadb-10.5.8-winx64.zip 파일 다운로드

데이터베이스 초기화

.\bin\mariadb-install-db.exe 

    --datadir=C:\Work\mariadb-10.5.8-winx64\data 

    --service=mariaDB 

    --port=3306 

    --password=test1357

kafka connect 다운로드

http://packages.confluent.io/archive

들어가서 confluent community 7.5.3.zip 다운로드, 압축 해제

 

jdbc connector 다운로드

https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc

 

kafka connect 실행

에러 발생 시 아래처럼 실행 파일 수정

마리아 디비 jar 파일을 kafka connect 폴더 아래로 이동

다시 실행. 그래도 에러

해당경로에 프로퍼티 파일이 없어서 나는 에러로 bat파일을 열어 경로 수정한다.

그리고 다시 실행하면 성공.

성공 후 토픽 리스트를 다시 조회하면, kafka connect 가 필요한 토픽이 추가된 것을 확인할 수 있다.

 

728x90
반응형