전체 글
-
[Kafka] Commit📖 개발 공부/kafka 2023. 3. 26. 15:11
컨슈머가 poll() 을 호출할 때마다 컨슈머 그룹은 저장되어 있는 아직 읽지 않은 메시지를 가져온다. 컨슈머 그룹이 메시지를 어디까지 가져갔는지 알 수 있기 때문이다.오프셋 : 컨슈머들이 각각의 파티션에 자신이 가져간 메시지의 위치 정보커밋 : 각 파티션에 대해 현재 위치를 업데이트하는 동작카프카 내에 별도로 내부에서 사용하는 토픽(__comsumer_offsets)을 만들고, 그 토픽에 오프셋 정보를 저장하고 있다. (이전 카프카에서는 이 오프셋 정보를 주키퍼에 저장했다.)자동 커밋 (enable.auto.commit=true)auto.commit: 시간단위 5초(기본값)마다 컨슈머는 poll()을 호출할 때 가장 마지막 오프셋을 커밋한다. 컨슈머는 poll을 요청할 때마다 커밋할 시간인지 아닌지 체..
-
[Security] 비밀번호 단방향 암호화카테고리 없음 2023. 3. 19. 21:53
단방향 암호화(One-Way Encryption) 단방향 암호화란 한쪽 방향으로만 암호화를 한다는 의미이다. 즉 암호화만 가능하고 복호화는 할 수 없다. 그렇기 때문에 비밀번호를 관리할 때 유용하게 사용된다. 비밀번호를 단방향 암호화 방식으로 저장하는 경우에는 패스워드 DB가 노출되어도 안전하다. 패스워드를 검증할 때에는 사용자로부터 입력받은 비밀번호를 똑같은 방식으로 암호화하여 암호화된 패스워드끼리 비교를 하면 된다. 유저가 비밀번호를 잊어버렸을 때는 찾기가 불가능하다. 대신 비밀번호 변경 메일, SMS 인증을 통해 새로운 비밀번호를 입력하도록 하면 된다. 대표적으로 많이 사용하고 있는 알고리즘은 SHA-256 암호화 알고리즘이다. 단방향 암호화 종류 해시(Hash) 알고리즘을 사용한다. MD5(Mes..
-
[Resilience4j] Circuit Breaker Config 정리📖 개발 공부 2023. 3. 19. 19:07
Circuit Breaker 설명 참고 property default value description failureRateThreshold 50 실패한 호출에 대한 임계값으로 이 값을 초과하면 서킷이 열린다. slowCallDurationThreshold 60000 [ms] 호출 시간이 설정한 값보다 길면 slow call로 판단한다. slowCallRateThreshold 100 slow call 비율이 설정한 값보다 크거나 같으면 OPEN 상태로 바뀌고 호출을 차단한다. minimumNumberOfCalls 100 failure/slow rate을 계산하기 위한 최소 호출 수 waitDurationInOpenState 60000 [ms] OPEN → HALF_OPEN 으로 변경 되기까지 대기 시간 r..
-
[Memcached] slab allocator📖 개발 공부 2023. 3. 19. 16:48
Memcached DB 호출, API 호출 또는 페이지 렌더링 등의 결과를 임의의 데이터(문자열 또는 객체)화하여 작은 덩어리 형태로 저장하는 in-memory key-value 저장소이다. memcached는 기본적으로 객체를 저장하는데 사용되지만, string과 같은 직렬화될 수 있는 어떤 변수라도 저장할 수 있다. memcached에 데이터를 저장할 때 4개의 인자를 사용한다. key: string 타입 value: 직렬화되어 저장되고 비직렬화되어 검색 될 수 있다면 어떤 타입이든 가능 cache expire time(expiry)[s]: 캐시 만료 시간 (0으로 지정된 경우 캐시에서 지워지지 않는다. 대신, 메모리가 부족해진 경우 LRU 알고리즘에 따라 캐시에서 제거될 수 있다.) compacti..
-
[Flutter] 이미지 정방형으로 자르기 및 radius 설정📖 개발 공부/flutter 2023. 3. 12. 19:36
이미지 정방형으로 자르기 SizedBox의 width, height 속성을 이용해 같은 길이로 설정한다. 그리고 Image widget의 fit.cover 옵션을 추가한다. SizedBox( width: 100, height: 100, child: Image.network( "https://img-cf.kurly.com/shop/data/goodsview/20211223/gv10000260857_1.jpg", fit: BoxFit.cover, ), ) fit 옵션 설명 BoxFit.cover 비율대로 조정한 다음 적당히 잘라 버리고 늘리는 현상이 없다. BoxFit.fill 원본 이미지 비율 무시하고 늘리는 현상이 있다. BoxFit.contain 원본 이미지 비율 그대로 보여주지만 크기에 안 맞으면 여..
-
[Kafka] reset offset📖 개발 공부/kafka 2023. 2. 25. 20:15
reset offset 테스트를 하면서 consumer group의 offset을 reset 해야 하는 경우도 있고, 데이터 마이그레이션으로 데이터 누락 가능성을 방지하기 위해 offset을 reset 해야 하는 경우 등이 있다. consumer group의 offset을 reset 하기 위해서는 해당 consumer group이 inactive 상태여야 가능하다. 즉, consumer group의 모든 consumer application을 종료해야 한다. (신규로 생성될 consumer group인 경우는 상관 없다.) command kafka-consumer-groups.sh --bootstrap-server \\ {kafka broker endpoint} --group {consumer group..
-
Circuit Breaker (서킷 브레이커)📖 개발 공부 2023. 2. 17. 00:58
기존 MSA 패턴 마이크로서비스 아키텍처 패턴은 시스템을 여러 개의 서비스 컴포넌트로 나눠서 서비스 컴포넌트 간에 호출하는 개념을 가지고 있다. 이 패턴에는 서버가 서로 종속적이라는 한계가 있다. Server 1이 Server 2를 호출하는 상황에서 이슈가 생겨 Server 2가 응답을 못하거나 응답 속도가 느린 경우, Server 1에서 Server 2를 호출한 스레드는 응답을 받지 못해, 계속 응답을 기다리는 상태로 잡혀있게 된다. 지속해서 호출을 하게 되면 같은 원리로 각 스레드들이 응답을 기다리는 상태로 변화게 되고, 결과적으로는 남은 스레드가 없어서 다른 요청을 처리할 수 없는 상태가 된다. 동작하지 않는 서비스 접속 시 타임아웃될 때까지 차단되어, 의존성이 있는 서비스까지 연쇄적으로 멈출 가능..
-
Consistent Hashing (안정 해시)📚 개발 도서/대규모 시스템 설계 기초 2023. 2. 12. 01:02
해시 키 재배치(rehash) 문제 N개의 캐시 서버가 존재할 때 이 서버들에 부하를 균등하게 나누는 보편적인 방법 serverIndex = hash(key) % N (N: 서버의 개수) 이는 서버가 추가되거나 기존 서버가 삭제되면 문제가 된다. serverIndex = hash(key) % (N-1) (-1: 삭제된 서버) 장애가 발생한 서버에 보관되어 있는 키뿐만 아니라 대부분의 키가 재분배되게 된다. 대부분 캐시 클라이언트가 데이터가 없는 엉뚱한 서버에 접속하게 되는 것이다. 즉 노드 삭제 및 추가가 있는 경우 hash(key) % N 결과에 미치는 영향이 너무 커서 많은 수의 요청이 실패하여 캐시된 데이터가 다시 로드된다는 것이다. → 대규모 캐시 발생 안정 해시(consistent hash) 해..