mspark 블로그

$mvn avro:help [INFO] Scanning for projects... [INFO] [INFO] --------------------------< com.mspark:kafka >-------------------------- [INFO] Building kafka 0.0.1-SNAPSHOT [INFO] --------------------------------[ jar ]--------------------------------- [INFO] [INFO] --- avro-maven-plugin:1.9.1:help (default-cli) @ kafka --- [INFO] Apache Avro Maven Plugin 1.9.1   Maven plugin for Avro IDL and Specific API Compilers This plugin has 5 goals: avro:help   Display help information on avro-maven-plugin.   Call mvn avro:help -Ddetail=true -Dgoal=<goal-name> to display parameter   details. avro:idl-protocol   Generate Java classes and interfaces from AvroIDL files (.avdl) avro:induce   Generate Avro files (.avsc and .avpr) from Java classes or interfaces avro:protocol   Generate Java classes and interfaces from Avro protocol files (.avpr) avro:schema   Generate Java classes from Avro schema files (.avsc) avro:induc...

brew tap AdoptOpenJDK/openjdk brew cask install adoptopenjdk8

centos 기반으로 설치를 진행 했으나 아래의 단점이 발견 되어 docker-compose로 로컬 환경을 구축 하였음 단점  - 설치가 귀찮다  - docker 시작시 zookeeper나 kafka 기동이 귀찮다.  - 깜박하고 container에 port 오픈을 안했다.... 아래의 사이트를 참고하여 docker-compose 구성 https://miiingo.tistory.com/196 docker-compose.yaml version: '2' networks: test: services: zookeeper: image: wurstmeister/zookeeper:3.4.6 container_name: zookeeper ports: - "2181:2181" networks: - test kafka: image: wurstmeister/kafka:2.12-2.4.1 container_name: kafka environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092 KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ADVERTISED_PORT: 9092 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_TOPICS: "test:1:1" # Topic명:Partition개수:Replica개수 volumes: - /var/run/docker.sock:/var/run/docker.sock ports: - "9092:9092" depends_on: - zookeep...

하나의 webserver 설정에 https와 http 2.0를 혼재하여 사용할 경우  예를 들어 a.com, b.com 있을 경우 b.com 'server {}' 설정에만 http2 설정이 있을 경우  크롬 브라우저에서  ERR_HTTP2_INADEQUATE_TRANSPORT_SECURITY 가 발생한다. HTTP2  부적절한 전송 보안 오류? nginx 설정 중 하나의 server 디렉티브에 http 2.0 설정을 하였을 뿐인데 전체 서버에 영향을 받는거 보니 내부 로직에 이슈인지 ? 잘 모르겠다. 테스트 해 볼만한 케이스는 1. default 서버 설정, 2. 모두 http 2.0으로 변경 이 있을 것 같다. 1. default 서버 설정    - 의미 없음    2. 모든  server 디렉티브를 http 2.0으로 변경할 경우    - 정상 처리됨 (내부 was에서 오류가 나지만.) 일단 해당 이슈는 모두 http2.0를 사용 안하는 방향으로 수정.

OS : Centos Docker를 통해 Centos 환경을 만든다. (최초 수행 시) docker run --name centos -it centos /bin/bash (이후 수행 시) docker exec -it centos /bin/bash Java 1.8 설치 $ yum install java-1.8.0-openjdk-devel 주키퍼 설치 $ yum install wget $ wget "https://downloads.apache.org/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0-bin.tar.gz" $ tar -xvzf apache-zookeeper-3.6.0-bin.tar.gz $ mkdir -p /usr/local/zookeeper $ mv apache-zookeeper-3.6.0-bin/* /usr/local/zookeeper $ mkdir -p /var/lib/zookeeper $ cat > /usr/local/zookeeper/conf/zoo.cfg << EOF > tickTime=2000 > dataDir=/var/lib/zookeeper > clientPort=2181 > EOF $ export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk $ /usr/local/zookeeper/bin/zkServer.sh start 설치 확인 $ yum install telnet $ telnet localhost 2181 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. srvr Zookeeper version: 3.6.0--b4c89dc7f6083829e18fae6e446907ae0b1f22d7, built on 02/25/2020 14:38 GMT Latency m...

docker run --name centos -it centos /bin/bash docker exec -it centos /bin/bash