
[Kafka] 개념과 툴 정리
·
카테고리 없음
해당 자료는 데브원영 DVWY강사님의 자료를 기반으로 정리하였습니다. 이미지들은 제가 직접 테스트 후 변경할 예정입니다. 문제될 시 비공개 처리 후 수정하겠습니다!카프카 사용 이전에는 end to end로 많은 문제점이 발생했다. 링크드인에서는 이러한 문제를 해결하기 위해서 데이터 전송을 실시간 처리도 가능하면서 확장에 용이한 이런 시스템을 개발하기 위해 만든 시스템이다.문제점EndToEnd 연결 방식의 아키텍처데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등)각기 다른 데이터 파이프라인 연결 구조확장에 엄청난 필요문제 해결 요구 사항모든 시스템으로 데이터를 전송 실시간 처리도 가능한 것데이터가 갑자기 많아지더라도 확장이 용이한 시스템이 필요함출처 : 데브원영 DVWY해결방법 : 카프카프로듀서와 ..