Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ видеопамяти, а модель упорно пытается "убить" выживших героев и переименовывает Пьера Безухова в Бездаровского?В этой статье я поделюсь опы...
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ видеопамяти, а модель упорно пытается "убить" выживших героев и переименовывает Пьера Безухова в Бездаровского?В этой статье я поделюсь опытом запуска Saiga Llama 3 8B на домашнем железе, расскажу, как бороться с галлюцинациями через промпт-инжиниринг, и почему 7500 символов текста Толстого иногда весят столько же, сколько одна строчка жесткого правила в системном промпте. Внутри - анализ вероятностей токенов, лог работы модели и готовый код для суммаризации длинных текстов. Узнать, как я спас Николая Ростова от LLM
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Асинхронное логирование в C++ — не серебряная пуля: что на самом деле ограничивает производительность
Асинхронное логирование давно считается “очевидной оптимизацией”: вынесли запись в отдельный поток — и всё стало быстрее.Но если копнуть глубже, оказывается, что это не совсем т...
Раньше я не писал на Хабр, а теперь у меня появился Телеграм-канал и я пишу об очень важной новости про OpenAI
Привет, Хабр! 👋 Долго думал, стоит ли писать этот пост, ведь раньше я вообще не писал на Хабр. Да что там — я даже не читал его особо. Но времена меняются, как и люди. Раньше я ...
Актуальная к 1-му апреля информация о паллиативной помощи
Актуальная к 1-му апреля информация о паллиативной помощиВсем привет! Я до этого писал статью про паллиативную помощь, настало время её немного дополнить актуальной на 1-е апрел...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...
Топ-6 нейросетей для генерации и редактирования изображений
Давайте начистоту. У каждого из нас бывали моменты, когда в голове рождается идеальная картинка - яркая, сочная, именно такая, какая нужна. А потом начинается: стоковые фотограф...
Как «несуществующие» фотоны влияют на сверхпроводимость
Сверхпроводники давно вышли за пределы лабораторий и стали частью техники — от мощных магнитов в ускорителях до чувствительных датчиков в медицине. Их главное свойство, пропуска...
Страницы сущностей
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Асинхронное логирование в C++ — не серебряная пуля: что на самом деле ограничивает производительность
Асинхронное логирование давно считается “очевидной оптимизацией”: вынесли запись в отдельный поток — и всё стало быстрее.Но если копнуть глубже, оказывается, что это не совсем т...
Раньше я не писал на Хабр, а теперь у меня появился Телеграм-канал и я пишу об очень важной новости про OpenAI
Привет, Хабр! 👋 Долго думал, стоит ли писать этот пост, ведь раньше я вообще не писал на Хабр. Да что там — я даже не читал его особо. Но времена меняются, как и люди. Раньше я ...
Актуальная к 1-му апреля информация о паллиативной помощи
Актуальная к 1-му апреля информация о паллиативной помощиВсем привет! Я до этого писал статью про паллиативную помощь, настало время её немного дополнить актуальной на 1-е апрел...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Асинхронное логирование в C++ — не серебряная пуля: что на самом деле ограничивает производительность
Асинхронное логирование давно считается “очевидной оптимизацией”: вынесли запись в отдельный поток — и всё стало быстрее.Но если копнуть глубже, оказывается, что это не совсем т...
Раньше я не писал на Хабр, а теперь у меня появился Телеграм-канал и я пишу об очень важной новости про OpenAI
Привет, Хабр! 👋 Долго думал, стоит ли писать этот пост, ведь раньше я вообще не писал на Хабр. Да что там — я даже не читал его особо. Но времена меняются, как и люди. Раньше я ...
Актуальная к 1-му апреля информация о паллиативной помощи
Актуальная к 1-му апреля информация о паллиативной помощиВсем привет! Я до этого писал статью про паллиативную помощь, настало время её немного дополнить актуальной на 1-е апрел...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...