Kafka Connect는 Kafka를 외부 시스템(데이터베이스, 저장소, 서비스)과 통합하는 프레임워크로, 재사용 가능한 connector를 사용해 커스텀 코드 없이 데이터를 Kafka 안팎으로 이동시킵니다. 데이터 파이프라인 구축을 단순화합니다.
Kafka Connect가 하는 일
KAFKA CONNECT → Kafka와 외부 시스템 사이에서 데이터를 스트리밍하는 프레임워크:
→ SOURCE connector → 외부 시스템에서 Kafka로 데이터 가져오기(예: 데이터베이스 → Kafka)
→ SINK connector → Kafka에서 외부 시스템으로 데이터 보내기(예: Kafka → 데이터 웨어하우스)
→ 커스텀 producer/consumer 코드 대신 재사용 가능한 CONNECTOR(사전 구축 통합) 사용
→ connector를 "플러그인"하여 시스템을 Kafka와 통합
