ZOOKEEPER LÀ GÌ

Topic có thể được xem như thể thương hiệu của một hạng mục cơ mà những messages sẽ được tàng trữ và được đẩy vào.

Partition

Topics vào kafka có thể gồm size không hề nhỏ, điều đó tránh việc lưu trữ toàn bộ tài liệu của một topic trên một node, dữ liệu phải đươc phân chia ra thành những partition sẽ giúp bảo toàn dữ liệu cũng giống như xử trí tài liệu dễ ợt hơn. Partitions cho phép bọn họ triển khai subcribe tuy nhiên tuy nhiên tới một topic ví dụ bằng phương pháp phân chia tài liệu trong một topic ví dụ ra đến các broker khác biệt (kafka node), từng partition có thể được ném lên một vật dụng riêng lẻ – có thể chấp nhận được các consumer gọi tài liệu xuất phát từ 1 topic diễn ra một biện pháp tuy nhiên song.

Để tăng tính khả dụng (availability) của partition, từng partition cũng có thể có giá trị replicas của riêng rẽ nó. Để dễ hiểu hơn về kafka, mình đã trình bày bằng ví dụ với 3 node/broker.

Bây giờ đồng hồ, một topic sẽ được chia nhỏ ra thành 3 partitions và từng broker sẽ sở hữu được một bản copy của partition. Trong số phần đông bản copy partition này, sẽ có được một phiên bản copy được thai lựa chọn làm leader, trong khi phần nhiều phiên bản copy không giống chỉ triển khai đồng điệu dữ liệu với partition leader.

Tất cả các hành động ghi và phát âm tới một topic đang hồ hết buộc phải đi qua partition leader tương ứng cùng leader sẽ phối hợp để update tài liệu new cho tới những replica parition khác. Nếu leader bị hỏng, một trong các replica partition sẽ đảm nhiệm phương châm là 1 trong leader mới.

Để một producer/consumer ghi/hiểu message từ 1 partition, chắc chắn chúng cần biết leader là ai bắt buộc không? Thông tin này cần được gồm sẵn tại một địa chỉ nào kia.

Kafka tàng trữ hầu như báo cáo những điều đó là metadata vào một các dịch vụ Call là Zookeeper.

Cấu trúc tài liệu log vào Kafka

Chìa khóa bao gồm dẫn tới khả năng không ngừng mở rộng cùng hiệu suất của kafka đó là log. Thông thường các developer Khi bắt đầu tiếp cận kafka cảm thấy tương đối rối khi lần thứ nhất tìm đến “log“, cũng chính vì chúng ta thường gọi “log” chính là thuật nghữ được áp dụng trong log vận dụng. Tuy nhiên, đa số gì bản thân đang nói ở đây, là kết cấu tài liệu log. Log là một trong kết cấu dữ liệu tất cả sản phẩm từ bỏ đồng hóa cơ mà chỉ cung ứng dạng nối thêm (append). Bạn quan yếu sửa đổi giỏi xóa các records từ nó. Nó được gọi từ trái sang đề nghị và được đảm bảo an toàn sản phẩm tự các nhà cửa.

Một mối cung cấp dữ liệu đã ghi message vào log cùng một hoặc nhiều consumer không giống đang hiểu message từ log tại thời khắc chúng ta tuyển lựa.

Mỗi entry trong log được định danh vày một con số Điện thoại tư vấn là offmix, tuyệt nói một biện pháp dễ nắm bắt rộng, offmix y như chỉ số tuần trường đoản cú vào một array vậy.

Xem thêm: Hướng Dẫn Mua Xe Fixed Gear Là Gì, Xe Đạp Fixed Gear

Parsistence data trong Kafa

Kafka tàng trữ tất cả message vào disk (không thể giữ bên trên RAM) cùng được thu xếp có thứ từ bỏ vào cấu trúc log chất nhận được kafka tận dụng tối nhiều kĩ năng hiểu và ghi lên disk một phương pháp tuần từ bỏ.

Nó là một cách lựa chọn khá phổ cập nhằm lưu trữ tài liệu bên trên disk mà lại vẫn rất có thể sử dụng buổi tối nhiều hóa tính năng, bao gồm một số nguyên do chính dưới đây:

Consumer và Consumer Group

Consumer gọi những messages trường đoản cú bất kỳ partition nào, có thể chấp nhận được bạn không ngừng mở rộng lượng message được thực hiện tương tự như nhỏng phương pháp các producer cung ứng message.

Consumer cũng khá được tổ chức thành những consumer groups cho một topic cụ thể – từng consumer bên trong group gọi message xuất phát điểm từ 1 partition độc nhất, nhằm tránh Việc tất cả 2 consumer thuộc cách xử lý phát âm và một message 2 lần với toàn thể group xử trí tất cả những message từ tổng thể topic.

Để dễ hiểu rộng, chúng ta xem qua hình hình ảnh bên dưới đây

Trong bức ảnh ở bên trên, Server 1 duy trì partition 0 cùng 3 với VPS 2 giữ lại các partition 1 với 2. Chúng ta bao gồm 2 consumer groups là A cùng B. Group A gồm 2 consumer cùng group B có 4 consumer. Consumer group A bao gồm 2 consumer, vậy đề nghị từng consumer đã đọc message tự 2 partition.Trong consumer group B, con số consumer thông qua số partition bắt buộc mỗi consumer đã phát âm message từ là một partition.

Kafka tuân theo các phép tắc được cung cấp bởi vì broker với consumer. Nghĩa là kafka không áp theo dõi những record được hiểu vì chưng consumer cùng vì thế phân vân gì về hành động của consumer. Việc giữ gìn các messages trong một khoảng tầm thời hạn được thông số kỹ thuật trước với nó tùy nằm trong vào consumer, để kiểm soát và điều chỉnh thời hạn làm sao để cho phù hợp. Bản thân consumer đã dò hỏi coi Kafa gồm message nào new hay không cùng cho Kafka biết đều record như thế nào bọn chúng hy vọng phát âm. Vấn đề này có thể chấp nhận được chúng tăng/sút offphối nhưng consumer mong muốn, do đó nó có thể phát âm lại các message đã được hiểu rồi với tái xử trí những sự khiếu nại trong trường thích hợp gặp gỡ sự nắm.

Ví dụ: nếu Kafka được cấu hình để giữ những messages vĩnh cửu vào một ngày với consumer bị down lâu bền hơn một ngày, khi ấy consumer đang mất message. Tuy nhiên, ví như consumer chỉ bị down trong khoảng 1 tiếng đồng hồ, lúc đó nó hoàn toàn rất có thể ban đầu đọc lại message tự offmix mới nhất.

Vai trò của Zookeeper

Zookeeper nhập vai trò là nơi tàng trữ tài liệu phân tán dạng key-value. Nó được tối ưu hóa mang lại tác vụ phát âm nhanh hao tuy thế ghi lừ đừ. Kafka thực hiện Zookeeper nhằm tiến hành bài toán bầu lựa chọn leader của Kafka broker cùng topic partition. Zookeeper cũng có thiết kế mang lại kỹ năng chịu lỗi cao, vì vậy Kafka nhờ vào tương đối nhiều vào Zookeeper.

Xem thêm: Là Gì? Nghĩa Của Từ Exhaust Là Gì, Nghĩa Của Từ Exhaust Exhaust Fumes Có Nghĩa Là Gì

Nó cũng rất được áp dụng nhằm lưu trữ tất cả metadata nlỗi là:

Kết luận

Kafka sẽ nhanh lẹ phát triển thành trụ cột chính của mặt đường ống tài liệu so với ngẫu nhiên tổ chức nào. Kafka được cho phép các bạn gồm một lượng phệ những messages đi qua 1 phương tiện đi lại tập trung và lưu trữ chúng cơ mà không nhất thiết phải lo lắng gì về số đông vấn đề như hiệu suất giỏi mất mát tài liệu. Kafka rất có thể là thành phần trung vai trung phong trong mô hình kiến trúc phía sự khiếu nại (event-driven) với được cho phép chúng ta phân tách thân vận dụng này cùng với ứng dụng không giống.