ИИ против ИИ (нападение и защита от киберугроз)

Юрий Подгорбунский, Security Vision Введение В новой эре кибербезопасности уже сложно справляться с большим ростом и скоростью проведения атак на инфраструктуру организации включая применяемых в ней чат-ботов или агентов на базе искусственного интеллекта (ИИ). Если сегодняшняя тема об атаках и защите с использованием ИИ, то тут можно рассматривать со следующих сторон: · Атаки на базе ИИ на инфраструктуру включая ИИ. · Защиту от атак на ИИ в организации. · Реагирование на атаки и инциденты. Но для начала не простой темы, хорошо бы разобраться что же такое ИИ, и как это хозяйство управляется на практике? Что есть ИИ? ИИ – это технология, позволяющая (частично) компьютерам и машинам имитировать человеческие когнитивные функции, такие как обучение, рассуждение, понимание естественного языка и принятие решений, т.е. выполнять задачи, свойственные человеку. Развитие ИИ В течении многих лет основное внимание уделялось моделям ИИ, которые преуспевали в пассивных дискретных задачах, таких как: · Ответы на вопросы · Перевод текста · Генерация изображения и голоса. Эта парадигма, требующая постоянного человеческого управления на каждом этапе. Сейчас наблюдается смена парадигмы, т.е. переход от ИИ, который просто предсказывает или создает контент, к новому развитию, способному автономно решать проблемы и выполнять задачи – агент на базе ИИ (агент). Это новое развитие построено вокруг агентов ИИ. Агент – это не просто модель ИИ в статическом рабочем процессе. Это полноценное приложение, которое может составлять планы и принимать действия для достижения целей. Оно сочетает в себе способность языковой модели (LLM) к рассуждению с практической способностью действовать, позволяя справляться со сложными многоэтапными задачами, которые языковая модель сама по себе не может выполнить. Важнейшая способность заключается в том, что агенты могут работать самостоятельно, определять следующие шаги, необходимые для достижения поставленной цели, без постоянного контроля и руководства со стороны человека.