Показываю, как я заменил JSON на TOON в LLM-промптах и сэкономил 40% токенов
Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru. Я работаю с LLM API каждый день. И каждый день отправляю в контекст структурированные данные: списки товаров, логи, пользователей, метрики. Все это — JSON. И все это — деньги.В какой-то момент я посчитал, сколько токенов из моего промпта уходит на фигурны...
Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru. Я работаю с LLM API каждый день. И каждый день отправляю в контекст структурированные данные: списки товаров, логи, пользователей, метрики. Все это — JSON. И все это — деньги.В какой-то момент я посчитал, сколько токенов из моего промпта уходит на фигурные скобки, кавычки и повторяющиеся ключи. Оказалось — много. Слишком много.Потом я попробовал TOON. Вот что из этого вышло.
Связанные теги
Компании и люди
Линия сюжета
Cloud
Последние материалы и связанный контекст по теме Cloud.
Cloud.ru
Последние материалы и связанный контекст по теме Cloud.ru.
Cloud.ru.&
Последние материалы и связанные ссылки по теме Cloud.ru.&.
Habr
Последние материалы и связанный контекст по теме Habr.
Habr
Последние материалы и связанные ссылки по теме Habr.
JSON
Последние материалы и связанные ссылки по теме JSON.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
![[Перевод] «Command Not Found» в MySQL. Исправляем ошибку](https://habrastorage.org/getpro/habr/upload_files/9bb/3dd/e78/9bb3dde78659f222dba8cc5ce53e85c5.png)
[Перевод] «Command Not Found» в MySQL. Исправляем ошибку
MySQL — это система управления базами данных с открытым исходным кодом, работающая на Windows, Linux и macOS. Ошибка «Command Not Found» возникает в тех случаях, когда система н...
Слепота комьюнити. Как мы проспали монополизацию ИИ под восторг от метрик
Ленты профильных ресурсов забиты восторгами. Митоз 5 уничтожил бенчмарки. Превосходство над 4.6 Opus достигает 50%. Программисты готовятся к тотальному вайбкодингу. Радуются тех...
Bitrix это легаси? Или где живёт архитектура
Часто слышу в IT:PHP устарелBitrix - монолит из 2000-хНа Bitrix невозможно писать нормальную архитектуруС Bitrix24 работаю больше шести лет и за это время поработал над проектам...
![[Перевод] Древняя ДНК позволила выяснить, что люди завели собак ещё до появления земледелия](https://habrastorage.org/getpro/habr/upload_files/303/86a/7e4/30386a7e421a9ad3bf9424e03f908de4.webp)
[Перевод] Древняя ДНК позволила выяснить, что люди завели собак ещё до появления земледелия
В последние дни последнего ледникового периода, когда люди всё ещё охотились с копьями и использовали стены пещер в качестве холстов, по палеолитическому ландшафту распространял...
Как малый бизнес экономит на сотрудниках с помощью ИИ — реальные цифры
Малый бизнес в России — это всегда математика на грани. Один лишний сотрудник может превратить прибыльный месяц в убыточный. Зарплата, НДФЛ, страховые взносы, больничные, отпуск...
Топ 11 нейросетей для генерации текста
В последнее время я часто делаю различные подборки. Уже рассмотрел инструменты для саммари, рерайта, генерации презентаций и кода. По сути, три из четырех этих тем так или иначе...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
[Перевод] «Command Not Found» в MySQL. Исправляем ошибку
MySQL — это система управления базами данных с открытым исходным кодом, работающая на Windows, Linux и macOS. Ошибка «Command Not Found» возникает в тех случаях, когда система н...
Слепота комьюнити. Как мы проспали монополизацию ИИ под восторг от метрик
Ленты профильных ресурсов забиты восторгами. Митоз 5 уничтожил бенчмарки. Превосходство над 4.6 Opus достигает 50%. Программисты готовятся к тотальному вайбкодингу. Радуются тех...
Bitrix это легаси? Или где живёт архитектура
Часто слышу в IT:PHP устарелBitrix - монолит из 2000-хНа Bitrix невозможно писать нормальную архитектуруС Bitrix24 работаю больше шести лет и за это время поработал над проектам...
[Перевод] Древняя ДНК позволила выяснить, что люди завели собак ещё до появления земледелия
В последние дни последнего ледникового периода, когда люди всё ещё охотились с копьями и использовали стены пещер в качестве холстов, по палеолитическому ландшафту распространял...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
[Перевод] «Command Not Found» в MySQL. Исправляем ошибку
MySQL — это система управления базами данных с открытым исходным кодом, работающая на Windows, Linux и macOS. Ошибка «Command Not Found» возникает в тех случаях, когда система н...
![[Перевод] Расширение поддержки IDE Swift](https://habrastorage.org/getpro/habr/upload_files/1fc/686/745/1fc686745d112a15d50278410b88082a.png)
[Перевод] Расширение поддержки IDE Swift
Теперь можно писать на Swift в более широком спектре популярных интегрированных сред разработки, включая Cursor, VSCodium, Kiro от AWS и Antigravity от Google. Благодаря совмест...
Слепота комьюнити. Как мы проспали монополизацию ИИ под восторг от метрик
Ленты профильных ресурсов забиты восторгами. Митоз 5 уничтожил бенчмарки. Превосходство над 4.6 Opus достигает 50%. Программисты готовятся к тотальному вайбкодингу. Радуются тех...
Bitrix это легаси? Или где живёт архитектура
Часто слышу в IT:PHP устарелBitrix - монолит из 2000-хНа Bitrix невозможно писать нормальную архитектуруС Bitrix24 работаю больше шести лет и за это время поработал над проектам...