Платформа данных на минималках. Часть 1: проблемы Data Lake и роль Iceberg
Представим ситуацию: у нас есть сервисы, которые пишут логи событий и сообщения из очередей (Kafka, RabbitMQ) в формате Avro для гарантии схемы и потоковой доставки. В это же время отдел машинного обучения работает с датасетами в Parquet — ребята ценят столбцовое хранение и производительность на скалярных чтениях.&n...
Погода сигнала
Рост
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Представим ситуацию: у нас есть сервисы, которые пишут логи событий и сообщения из очередей (Kafka, RabbitMQ) в формате Avro для гарантии схемы и потоковой доставки. В это же время отдел машинного обучения работает с датасетами в Parquet — ребята ценят столбцовое хранение и производительность на скалярных чтениях. Соседняя команда фиксирует фактовые таблицы в ORC, поскольку этот формат подходит для тяжелых аналитических агрегаций. Пока объемы данных измерялись гигабайтами, такой «зоопарк форматов» был терпим: каждый отдел использовал свой инструмент, а данные копировались между ними через ETL-конвейеры. Но с ростом до терабайтов и выше эта архитектура начинает ломаться: запросы становятся медленными, стоимость хранения и вычислений стремительно растет, а главное — теряется единый источник истины. Теперь одна и та же бизнес-сущность существует в трех разных форматах, схемах и состояниях. В этот момент возникает потребность не в очередном хранилище, а в табличной абстракции поверх существующих форматов. Такой слой должен обеспечивать ACID-транзакционность, централизованное управление схемой и единый каталог для всех потребителей — от потоковой инженерии до машинного обучения и BI. Именно так и приходят к Apache Iceberg и к идее построения собственной платформы данных.
Карта темы
Понять тему за минуту
Быстрый вход в историю: почему она важна сейчас, кто в ней участвует и куда идти дальше за контекстом.
Почему это важно сейчас
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
До 1 сентября осталось 5 месяцев: почему ваша транспортная логистика к этому не готова
Через пять месяцев электронные перевозочные документы станут обязательными для всех участников грузоперевозок в России. Штрафы доходят до 3% годовой выручки. Но настоящая пробле...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Мой путь к качественному сну после перехода на удаленку: изучаю, тестирую, применяю
Всем привет. Меня зовут Ольга. Я работаю системным аналитиком в РТК ИТ. Почему я занялась улучшением своего сна? Три месяца карантина в 2020 году стали для меня своего рода тест...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Ни надежды, ни империи, ни джедаев: почему трилогия Диснея по-прежнему плоха (и лучше не станет)
Вы когда-нибудь думали о том, почему продолжения популярных произведений довольно часто получаются не такими хорошими, как оригинал? Оказывается, ответ был совсем на поверхности...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
![[Перевод] USB для разработчиков ПО: введение в создание драйверов](https://habrastorage.org/getpro/habr/upload_files/5e8/7d0/c59/5e87d0c5977ad7220021e90b65f6cf2a.jpg)
[Перевод] USB для разработчиков ПО: введение в создание драйверов
Представьте: вам дали USB-устройство и попросили написать для него драйвер. Поначалу эта задача кажется пугающей, правда? Для создания драйверов нужно писать код ядра, а код ядр...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Мы отказываем клиентам, прячем коробки в стены и делаем 180 млн в год
Мы с партнёром Сергеем несколько лет искали нишу. Пробовали разное, ничего не прилипало. Сергей тогда работал в компании, которая торговала дверями, одной из первых в нише с инт...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
ИИ меняет роль студента: какие навыки нужны в новой реальности обучения
Привет, Хабр. На связи Костя, CEO Кэмпа. Я много общаюсь со студентами и преподавателями и параллельно с командой делаю ИИ-продукты для обеих сторон. По сути, каждый день пытаюс...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
До 1 сентября осталось 5 месяцев: почему ваша транспортная логистика к этому не готова
Через пять месяцев электронные перевозочные документы станут обязательными для всех участников грузоперевозок в России. Штрафы доходят до 3% годовой выручки. Но настоящая пробле...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Мой путь к качественному сну после перехода на удаленку: изучаю, тестирую, применяю
Всем привет. Меня зовут Ольга. Я работаю системным аналитиком в РТК ИТ. Почему я занялась улучшением своего сна? Три месяца карантина в 2020 году стали для меня своего рода тест...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Ни надежды, ни империи, ни джедаев: почему трилогия Диснея по-прежнему плоха (и лучше не станет)
Вы когда-нибудь думали о том, почему продолжения популярных произведений довольно часто получаются не такими хорошими, как оригинал? Оказывается, ответ был совсем на поверхности...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
[Перевод] USB для разработчиков ПО: введение в создание драйверов
Представьте: вам дали USB-устройство и попросили написать для него драйвер. Поначалу эта задача кажется пугающей, правда? Для создания драйверов нужно писать код ядра, а код ядр...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
До 1 сентября осталось 5 месяцев: почему ваша транспортная логистика к этому не готова
Через пять месяцев электронные перевозочные документы станут обязательными для всех участников грузоперевозок в России. Штрафы доходят до 3% годовой выручки. Но настоящая пробле...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Мой путь к качественному сну после перехода на удаленку: изучаю, тестирую, применяю
Всем привет. Меня зовут Ольга. Я работаю системным аналитиком в РТК ИТ. Почему я занялась улучшением своего сна? Три месяца карантина в 2020 году стали для меня своего рода тест...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Ни надежды, ни империи, ни джедаев: почему трилогия Диснея по-прежнему плоха (и лучше не станет)
Вы когда-нибудь думали о том, почему продолжения популярных произведений довольно часто получаются не такими хорошими, как оригинал? Оказывается, ответ был совсем на поверхности...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
[Перевод] USB для разработчиков ПО: введение в создание драйверов
Представьте: вам дали USB-устройство и попросили написать для него драйвер. Поначалу эта задача кажется пугающей, правда? Для создания драйверов нужно писать код ядра, а код ядр...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.