Глухой телефон для ИИ: мы замерили физику LLM-графов и поняли, почему добавление агентов всё ломает
Индустрия ИИ переживает бум мультиагентных систем. Кажется, рецепт AGI найден: просто соедините 10 умных нейросетей в команду, дайте им роли, и они свернут горы.Но на практике мы часто сталкиваемся с магией «черного ящика». Иногда агенты действительно решают сложнейшие задачи. А иногда - скатываются в бесконечные га...
Индустрия ИИ переживает бум мультиагентных систем. Кажется, рецепт AGI найден: просто соедините 10 умных нейросетей в команду, дайте им роли, и они свернут горы.Но на практике мы часто сталкиваемся с магией «черного ящика». Иногда агенты действительно решают сложнейшие задачи. А иногда - скатываются в бесконечные галлюцинации, теряют контекст и выдают результат хуже, чем базовая модель соло. Индустрия решает эту проблему в стиле средневековых алхимиков: «просто добавьте еще агентов» или «дайте им больше токенов на болтовню». Никто не измеряет физику процесса.Мы решили, что с нас хватит алхимии. Нам понадобился измерительный прибор - эдакий МРТ-аппарат для мультиагентных сетей, который покажет механику общения LLM изнутри.Так появился опенсорсный проект llm-coordination-harness - строгий измерительный стенд (measurement rig), который доказывает, что у общения нейросетей есть своя физика, которую можно и нужно измерять.Под катом рассказываем и показываем на графиках. Никаких заявлений про AGI - только честный хардкорный ресёрч, физика графов и отрицательные результаты, которые оказались важнее положительных. Заглянуть в черный ящик
Краткая сводка
В статье представляют открытый измерительный стенд llm-coordination-harness, позволяющий исследовать физику взаимодействия больших языковых моделей в мультиагентных системах и показывающий, почему добавление большего числа агентов часто ухудшает их производительность; авторы подчёркивают, что без таких измерений процесс остаётся «чёрным ящиком», а полученные отрицательные результаты важны для дальнейшего понимания.
Связанные теги
Компании и люди
Линия сюжета
AGI
Последние материалы и связанный контекст по теме AGI.
AGI
Последние материалы и связанные ссылки по теме AGI.
Habr
Последние материалы и связанные ссылки по теме Habr.
Habr
Последние материалы и связанный контекст по теме Habr.
LLM-агентов
Последние материалы и связанные ссылки по теме LLM-агентов.
LLM-агентов
Последние материалы и связанный контекст по теме LLM-агентов.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
[Перевод] Десятилетняя вражда, формирующая будущее ИИ
Ещё до споров из-за применения Пентагоном искусственного интеллекта Дарио Амодеи всё активнее нападал на своего бывшего начальника Сэма Альтмана и на курс развития OpenAI — комп...
Как я перестал платить за мусорные лиды
Платный трафик на лендинг с формой захвата — это почти всегда мусорные заявки. Номер 123, номер 1111111, четыре цифры вместо телефона. Заявка засчитана, деньги за клик списаны, ...
Тысячеликий кошмар: как создавали спецэффекты в «Нечто» Джона Карпентера
Группа полярников отрезана от Большой земли суровой зимой. К ним на станцию пробирается пришелец, замерзший когда-то в антарктических льдах и разбуженный неосторожными исследова...
Как я обрабатываю 15 миллионов GPS-пингов в день для системы транспортной аналитики Ташкента
В Ташкенте курсируют около 1 800 активных автобусов на 170 маршрутах. Их GPS-координаты поступают каждые 10 секунд. В сутки это составляет порядка 15 миллионов координатных пинг...
[Перевод] OpenAI: сделка с Пентагоном, бойкот, иск на $134 млрд и война. Полная хронология краха
В феврале CEO Anthropic заявил, что не может «по совести» дать Министерству обороны неограниченный доступ к своим ИИ-системам. Через несколько часов администрация Трампа назвала...
[Перевод] Как распознавать контент, созданный нейросетями (рекомендации для репортеров)
В наши дни соотношение полезного сигнала и шума в информационном пространстве приближается к единице. Иными словами, дезинформации почти столько же, сколько реальных фактов — и ...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
[Перевод] Десятилетняя вражда, формирующая будущее ИИ
Ещё до споров из-за применения Пентагоном искусственного интеллекта Дарио Амодеи всё активнее нападал на своего бывшего начальника Сэма Альтмана и на курс развития OpenAI — комп...
Как я перестал платить за мусорные лиды
Платный трафик на лендинг с формой захвата — это почти всегда мусорные заявки. Номер 123, номер 1111111, четыре цифры вместо телефона. Заявка засчитана, деньги за клик списаны, ...
Тысячеликий кошмар: как создавали спецэффекты в «Нечто» Джона Карпентера
Группа полярников отрезана от Большой земли суровой зимой. К ним на станцию пробирается пришелец, замерзший когда-то в антарктических льдах и разбуженный неосторожными исследова...
Как я обрабатываю 15 миллионов GPS-пингов в день для системы транспортной аналитики Ташкента
В Ташкенте курсируют около 1 800 активных автобусов на 170 маршрутах. Их GPS-координаты поступают каждые 10 секунд. В сутки это составляет порядка 15 миллионов координатных пинг...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
[Перевод] Десятилетняя вражда, формирующая будущее ИИ
Ещё до споров из-за применения Пентагоном искусственного интеллекта Дарио Амодеи всё активнее нападал на своего бывшего начальника Сэма Альтмана и на курс развития OpenAI — комп...
Как я перестал платить за мусорные лиды
Платный трафик на лендинг с формой захвата — это почти всегда мусорные заявки. Номер 123, номер 1111111, четыре цифры вместо телефона. Заявка засчитана, деньги за клик списаны, ...
Тысячеликий кошмар: как создавали спецэффекты в «Нечто» Джона Карпентера
Группа полярников отрезана от Большой земли суровой зимой. К ним на станцию пробирается пришелец, замерзший когда-то в антарктических льдах и разбуженный неосторожными исследова...
Как я обрабатываю 15 миллионов GPS-пингов в день для системы транспортной аналитики Ташкента
В Ташкенте курсируют около 1 800 активных автобусов на 170 маршрутах. Их GPS-координаты поступают каждые 10 секунд. В сутки это составляет порядка 15 миллионов координатных пинг...