Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных
В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности».Проблема: Байты сильнее времениРешение: Метрика «Data Safety Window»Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данны...
Погода сигнала
Стабильно
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности».Проблема: Байты сильнее времениРешение: Метрика «Data Safety Window»Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте. Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.
Оставайтесь в сигнале
Следить за темой «Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных»
Следите не только за этой публикацией, но и за её продолжением: новыми материалами, соседними источниками и развитием сюжета.
Карта темы
Понять тему за минуту
Быстрый вход в историю: почему она важна сейчас, кто в ней участвует и куда идти дальше за контекстом.
Почему это важно сейчас
Карта темы
Открыть живую карту этой истории
Посмотрите, какие сущности, линии сюжета, источники и follow-up материалы формируют эту историю прямо сейчас.
Нажимайте на узлы
Страницы сущностей
Story timeline
Продолжить следить за темой
Короткая линия событий и follow-up материалов, чтобы быстро понять ход темы.
Насколько можно опираться
Сигнал и надёжность Habr
Источник работает в быстрый ритме: 0% последних материалов попадают в горячее окно, а 0% дают выраженный поисковый сигнал.
Надёжность
10
Свежесть
22
Источников в сюжете
6
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Microsoft раскрыла сроки выпуска Windows 11 26H2 и аппаратные требования
Microsoft подтвердила выпуск Windows 11 26H2 осенью 2026 года, уточнив, что обновление не станет крупным релизом. В новой документации компания раскрыла технические детали устан...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
PT Data Security 1.5 научилась искать уязвимости в базах данных
Компания Positive Technologies представила версию 1.5 платформы PT Data Security, предназначенной для инвентаризации, классификации и контроля безопасности данных. Главное новов...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Безопасность данных по плану: PT Data Security 1.5 с поиском уязвимостей и поддержкой СУБД Oracle
Компания Positive Technologies, один из лидеров в области результативной кибербезопасности, выпустила новую версию единой...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Билайн Big Data & AI и GPTunneL объявили о стратегическом партнёрстве на ПМЭФ-2026
Билайн Big Data & AI, команда, разрабатывающая решения на основе больших данных и искусственного интеллекта, и ИИ-платформа...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Промпты Nano Banana для фото и изображений: Бесплатно для Нано Банана Про
Создание безупречного визуала в Nano Banana — это не вопрос везения, а результат правильной коммуникации с нейросетью. В отличие от простых моделей прошлого, этот инструмент спо...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Пошаговая инструкция установки MTProto прокси через Service Node + VLESS
Если вы когда-нибудь пытались поднять прокси для Telegram на сервере, то знаете, что такое «мессенджер не грузит». В этой инструкции я предлагаю рассмотреть подробную, пошаговую...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Накрутка поведенческих факторов для роста позиций — реально ли за день занять топ 1 Яндекса
Знаете, можно много долго спорить о том, что вот там умеют делать, а наши ничего не умеют. Но подход Яндекса к формированию поисковой выдачи мне всегда импонировал больше, нежел...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Тени истории. Ренессанс – революция, подарившая миру главный инструмент шпионов
Вторая статья цикла о криптографии, в котором мы рассказываем, как человечество училось прятать и расшифровывать секреты — от древних методов до современных алгоритмов. Сегодня ...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Дополнительное покрытие этой темы
Похожие публикации и близкие по смыслу материалы по этой же теме.
Kafka. WebClient. Feign. WebSocket. Или как общаются микросервисы
Начнем с того, как микросервисы могут общаться? На самом деле все просто, сложные приложения могут состоять из нескольких разных микросервисов. Каждый сервис будет иметь свою ло...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Kafka для начинающих: Apache Avro и Schema Registry (практика)
Переводим нашу платформу с JSON на Apache Avro и Schema Registry. Заменяем сериализаторы и десериализаторы, генерируем классы из схем и разбираем разницу между GenericRecord и S...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Spring, kafka, неблокирующий retry, лаги
История об особенностях использования механизмов retry, которые дает spring-kafka из коробки и проблемах с производительностью. Есть нужно сделать асинхронный retry сообщений на...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.
Как проектировать интеграции с Kafka
Привет, Хабр! Меня зовут Елизавета Колесникова, и вот уже 4 года я работаю системным аналитиком СПАО «Ингосстрах» Этой статьёй я бы хотела начать серию материалов для аналитиков...
Погода сигнала
История уже пережила первый всплеск и теперь работает как надёжный контекстный материал.
Почему сейчас
История уже пережила первый заголовок, но всё ещё активно развивается.