Как перестать терять данные в Kafka: окно безопасности и проактивный мониторинг «возраста» данных
В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности».Проблема: Байты сильнее времениРешение: Метрика «Data Safety Window»Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данны...
В Kafka данные могут пропадать, даже если в конфигах стоит хранение 7 дней. В этом коротком кейсе — как я решил проблему потери данных, внедрив мониторинг «окна безопасности».Проблема: Байты сильнее времениРешение: Метрика «Data Safety Window»Конфигурация — это лишь декларация о намерениях. Реальное окно жизни данных диктует нагрузка в моменте.Чтобы не гадать по конфигам, я внедрил расчет фактического запаса времени в Grafana.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
«Надуваем круг» или как сделать развитие команды реально работающим
Привет! Я Коля Димов, руковожу дизайном и исследованиями продукта в Делимобиле. Хочу поделиться тем, как можно оценивать и помогать сотрудникам расти, чтобы их развитие было нео...
Почему ротация руководителей часто ломает систему там, где бизнес хотел ее усилить
Ротация руководителей внутри компании кажется логичным способом быстро усилить слабый блок. Но без понимания роли, контекста и управленческого профиля такое решение часто создае...
Детектор лжи под сомнением: почему полиграф часто ошибается и есть ли ему замена
Кино и книги приучили нас к тому, что детектор лжи — это такой непогрешимый инструмент, который видит человека насквозь. На экране все просто: вильнул зубец самописца или там де...
Управление несколькими профилями Codex: небольшой CLI на bash
Если у вас больше одного аккаунта Codex, начинается классическая путаница: какой auth.json сейчас активен, где закончился лимит и что вообще происходит. Я написал небольшой CLI ...
![[Перевод] Мнение разработчика криптографии об опасности квантовых вычислений](https://habrastorage.org/getpro/habr/upload_files/e64/1d4/6c0/e641d46c0c39b5abe9cb30bf86136374.jpg)
[Перевод] Мнение разработчика криптографии об опасности квантовых вычислений
Моё мнение о срочности внедрения квантово-устойчивой криптографии изменилось всего за несколько месяцев. Настало время рассказать о причинах этого.Уже давно ходили слухи об ожид...
Как я перестал копировать посты вручную и написал свой автопостинг
Каждый раз, когда я хочу опубликовать пост в интернете — будь то статья, короткий анонс или заметка — возникает одна и та же проблема: текст готов, а вот публикация превращается...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
«Надуваем круг» или как сделать развитие команды реально работающим
Привет! Я Коля Димов, руковожу дизайном и исследованиями продукта в Делимобиле. Хочу поделиться тем, как можно оценивать и помогать сотрудникам расти, чтобы их развитие было нео...
Почему ротация руководителей часто ломает систему там, где бизнес хотел ее усилить
Ротация руководителей внутри компании кажется логичным способом быстро усилить слабый блок. Но без понимания роли, контекста и управленческого профиля такое решение часто создае...
Детектор лжи под сомнением: почему полиграф часто ошибается и есть ли ему замена
Кино и книги приучили нас к тому, что детектор лжи — это такой непогрешимый инструмент, который видит человека насквозь. На экране все просто: вильнул зубец самописца или там де...
Управление несколькими профилями Codex: небольшой CLI на bash
Если у вас больше одного аккаунта Codex, начинается классическая путаница: какой auth.json сейчас активен, где закончился лимит и что вообще происходит. Я написал небольшой CLI ...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
«Надуваем круг» или как сделать развитие команды реально работающим
Привет! Я Коля Димов, руковожу дизайном и исследованиями продукта в Делимобиле. Хочу поделиться тем, как можно оценивать и помогать сотрудникам расти, чтобы их развитие было нео...
Почему ротация руководителей часто ломает систему там, где бизнес хотел ее усилить
Ротация руководителей внутри компании кажется логичным способом быстро усилить слабый блок. Но без понимания роли, контекста и управленческого профиля такое решение часто создае...
Детектор лжи под сомнением: почему полиграф часто ошибается и есть ли ему замена
Кино и книги приучили нас к тому, что детектор лжи — это такой непогрешимый инструмент, который видит человека насквозь. На экране все просто: вильнул зубец самописца или там де...
Управление несколькими профилями Codex: небольшой CLI на bash
Если у вас больше одного аккаунта Codex, начинается классическая путаница: какой auth.json сейчас активен, где закончился лимит и что вообще происходит. Я написал небольшой CLI ...
Дополнительное покрытие этой темы
Похожие публикации и близкие по смыслу материалы по этой же теме.
Spring, kafka, неблокирующий retry, лаги
История об особенностях использования механизмов retry, которые дает spring-kafka из коробки и проблемах с производительностью.Есть нужно сделать асинхронный retry сообщений на ...
Как проектировать интеграции с Kafka
Привет, Хабр!Меня зовут Елизавета Колесникова, и вот уже 4 года я работаю системным аналитиком СПАО «Ингосстрах» Этой статьёй я бы хотела начать серию материалов для аналитиков ...