코딩스토리

# 해당 포스팅은 "카프카-데이터 플랫폼 최강자 (저자 고승범)" 도서를 읽으며 공부한 내용입니다. 서론 카프카를 공부하기 전에 이미 여러 블로그들을 보면서 프로듀싱 서버와 컨슈머 서버를 구성했다. 하지만 정말 "pub sub 구조"라는 단편적인(단편을 넘어서 거의 백지상태😂) 지식만을 가진 상태로 구현하다 보니 많은 궁금증들이 생겼다. 그래서 이 글에서는 내가 느꼈던 궁금증들을 토대로 공부한 내용을 정리해보려고 한다. 카프카의 기본 개념에 대해서는 이미 많은 블로그들이 잘 정리해 놓았기 때문에 이 부분은 패스!! 나도 크게 세 가지 개념 정도만 알고 이 책을 읽었기 때문에 아래 내용들에 대해서 알고 있다면 글을 읽는데 무리가 없을 것이다. (아래 질문에 대해서 예시 답변정도로만 답할 수 있다면 충분!!..

2023 카카오 신입개발자 블라인드 채용이 9월 초 시작되었습니다. 카카오는 블라인드 채용이기 때문에 서류 접수까지 10초 정도의 시간밖에 걸리지 않습니다. (물론 자신의 이름과 전화번호를 알고 있다면 😆) 1차 코딩테스트 소프트웨어 마에스트로 활동을 하면서 바쁜 일상을 보내다 보니, 어느새 어렵고 어렵다는 카카오 코딩테스트 1차 날이 다가왔습니다. 카카오는 1차 코테를 5시간 동안 진행합니다. 이미 작년, 재작년 카카오 1차 코테를 봤었고, 시간도 많고 구글링이 가능하다면 충분히 통과할 수 있을 거란 자신감이 있었습니다. 하지만 생각보다는 아슬아슬했던 것 같습니다. 문항별로 배점이 다르다는 소문이 있었는데 실제로 그런 것 같기도..? 2차 코딩테스트 2차 코딩테스트는 준비 없이는 사실상 합격이 불가능한..

프로젝트를 진행 중에 Spring 서버에서 Dynamo DB를 사용해야 할 일이 생겼다. 그래서 여러 자료를 찾아보려고 구글링 했는데 이상하게 자료가 많지 않았다. 특히 gradle을 사용하는 자료는 거의 없었다. 왜지..? (Spring으로는 Dynamo DB를 잘 안 다루나요...? 🧐) 나는 기존에 구현했던 AWS S3 코드를 비교해가며 구현하긴 했는데 만약 이런 경험이 없다면 구현하기 쉽지 않을 것 같다. 그래서 이 기회에 코드를 남겨놓으려고 한다. 먼저 대부분의 블로그에서 말해주고 있듯이 AWS IAM을 생성해야 한다. IAM은 쉽게 말하면 권한을 가지고 있는 부계정을 생성해주는 것인데 내 Root 계정은 AWS의 모든 서비스를 사용할 수 있는 권한이 있지만 그만큼 탈취당했을 시 큰 위험이 따른..

개요 프로젝트에 새로운 기능을 추가하기 위해 CloudRun에 배포를 하려고 한다. 지난번 CloudRun을 사용할 때에는 CI/CD 환경을 구축하지 못했었는데 (그때 당시에는 빠르게 결과물을 내야 했고, 숙련도도 부족해서.. 핑계입니다..😭 시간 나면 이전 기능도 구축 예정) 이번에는 멘토님의 말씀처럼 개발을 시작하기 전에 CI/CD 환경을 구축해놓으려고 한다. CI/CD 환경 구축하기 기본적으로 Github을 사용하면 빠르게 CI/CD 환경을 구축할 수 있다. 물론 public으로 해야 한다는 점 등 단점이 있지만 빠르고 쉽게 구현할 수 있다는 장점이 커서 많이 사용한다고 한다. (실제로 옛날 프로젝트에서 CI/CD를 구현했을 때 꽤나 빠르게 완성했던 걸로 기억한다.) 먼저 CloudRun에 배포할 ..

현재 진행하고 있는 프로젝트에서 PlanetScale이란 DB를 사용하고 있다. 해당 DB는 서버리스 기반으로 Read Row Count로 비용을 산출한다. 즉, 몇 개의 Row에 접근했는지에 따라 비용을 내야 한다. 하지만 무료 비용이 월 10억 번 접근이기 때문에 전혀 걱정하지 않고 있었다. 하지만 어느 날 서비스 분석을 하던 중, 7억 번의 접근을 했음을 확인했다. 해당 DB는 "가사 제공 기능"과 관련하여 사용 중이다. 즉, 가사를 저장하고 있는 테이블이 주로 사용되고 있는데, 절대 저렇게 나올 수가 없다고 생각했다. 그래서 Insight를 확인해보니 아래와 같았다. 하루 동안 쿼리가 날아온 개수는 분명 717개인데, Rows read는 3900만 번이다. 즉, 한 번의 쿼리당 약 5만 번의 ro..

Local에서 Docker Image를 만들고, GCP의 Container Registry에 저장하려고 했다. docker push gcr.io/conopotserver/conopotgcp 이전에 이미 꾸준히 해오던 작업이었기 때문에 아무 생각 없이 실행했는데 아래와 같은 오류가 발생하며 Image가 push 되지 않았다. unauthorized: You don't have the needed permissions to perform this operation, and you may have invalid credentials. To authenticate your request, follow the steps in: https://cloud.google.com/container-registry/docs..

앞선 포스팅에서 Spring boot 서버를 docker를 사용하여 돌려보고 image를 생성하였다. https://kimtaehyun98.tistory.com/150 Spring 프로젝트로 Docker Image 만들기 현재 진행 중인 프로젝트에서 Cloud Run을 사용하여 서버를 배포하려고 한다. Cloud run은 앞선 포스팅에서 설명했듯이 컨테이너 기반의 Instance를 서버리스 형태로 실행하게 된다. 자세한 설명은 아 kimtaehyun98.tistory.com 현재 프로젝트의 아키텍처는 아래와 같기 때문에 Cloud Run을 사용하여 docker image를 배포해야 한다. 여러 가지 방법이 있겠지만, 원래라면 docker hub에 저장하고 Cloud Run에서 해당 hub를 보고 배포하..

현재 진행 중인 프로젝트에서 Cloud Run을 사용하여 서버를 배포하려고 한다. Cloud run은 앞선 포스팅에서 설명했듯이 컨테이너 기반의 Instance를 서버리스 형태로 실행하게 된다. 자세한 설명은 아래의 포스팅에! https://kimtaehyun98.tistory.com/149 Cloud Run에 Pub/Sub 사용하기 듀토리얼 # 해당 포스팅은 GCP 공식 문서 내용을 바탕으로 작성된 글입니다. https://cloud.google.com/run/docs/tutorials/pubsub?hl=ko#run-clone-sample-repository-java Cloud Run에 Pub/Sub 사용 튜토리얼 | Cloud R.. kimtaehyun98.tistory.com 그렇기 때문에 Doc..