Гвен Шапира , Тодд Палино , Раджини Сиварам , Крит Петти - Apache Kafka. Потоковая обработка и анализ данных

Kafka......................................................................................................71
Сколько должно быть брокеров.....................................................................................72
Конфигурация брокеров.....................................................................................................74
Тонкая настройка операционной системы................................................................74
Промышленная эксплуатация.................................................................................................78
Параметры сборки мусора.................................................................................................78
Планировка ЦОД.....................................................................................................................80
Размещение приложений на ZooKeeper......................................................................80
Резюме................................................................................................................................................82

8  Оглавление
Глава 3. Производители Kafka: запись сообщений в Kafka..............................................83
Обзор производителя.................................................................................................................84
Создание производителя Kafka..............................................................................................86
Отправка сообщения в Kafka...................................................................................................88
Синхронная отправка сообщения..................................................................................89
Асинхронная отправка сообщения................................................................................90
Настройка производителей.....................................................................................................91
client.id.........................................................................................................................................91
acks................................................................................................................................................92
Время доставки сообщения...............................................................................................93
linger.ms......................................................................................................................................96
buffer.memory...........................................................................................................................96
compression.type.....................................................................................................................97
batch.size.....................................................................................................................................97
max.in.flight.requests.per.connection..............................................................................97
max.request.size.......................................................................................................................98
receive.buffer.bytes и send.buffer.bytes...........................................................................98
enable.idempotence...............................................................................................................99
Сериализаторы...............................................................................................................................99
Пользовательские сериализаторы.............................................................................. 100
Сериализация с помощью Apache Avro.................................................................... 102
Использование записей Avro с Kafka......................................................................... 104
Разделы........................................................................................................................................... 107
Реализация пользовательской стратегии секционирования......................... 108
Заголовки....................................................................................................................................... 110
Перехватчики............................................................................................................................... 110
Квоты и регулирование запросов...................................................................................... 112
Резюме............................................................................................................................................. 114
Глава 4. Потребители Kafka: чтение данных из Kafka...................................................... 115
Принципы работы потребителей Kafka........................................................................... 115
Потребители и группы потребителей........................................................................ 115
Группы потребителей и перебалансировка разделов....................................... 118
Статические участники группы..................................................................................... 122
Создание потребителя Kafka................................................................................................. 123
Подписка на топики.................................................................................................................. 123

Оглавление  9
Цикл опроса.................................................................................................................................. 124
Потокобезопасность.......................................................................................................... 126
Настройка потребителей........................................................................................................ 127
fetch.min.bytes....................................................................................................................... 127
fetch.max.wait.ms.................................................................................................................. 127
fetch.max.bytes...................................................................................................................... 128
max.poll.records..................................................................................................................... 128
max.partition.fetch.bytes.................................................................................................... 128
session.timeout.ms и heartbeat.interval.ms............................................................... 128
max.poll.interval.ms............................................................................................................. --">