Вернуться на главную

Технологии 2 августа 21:36

О главных ошибках ИИ-агентов рассказал Алексей Кузовкин

Общество начинает бояться всего, что связано с ИИ. Слишком стремительно он вошел во все сферы жизни, слишком агрессивно его навязывают, слишком много среди его сторонников людей, которых сложно назвать интеллектуалами.

И самое главное — чересчур много для такого короткого срока использования свидетельств, говорящих не в пользу AI. Инструмент страдает галлюцинациями, может ошибаться, его, в конце концов, можно взломать. При этом ИИ-агенты уже позиционируют как способ оптимизировать бизнес. То есть ту сферу деятельности, в которой цена ошибки буквально может быть высокой и исчисляться миллиардами долларов.

Если «белкового» агента компании-конкурента можно поймать и засудить вместе с конкурентом, если халатное отношение к работе сотрудника из вида приматов Homo sapiens может обернуться для него тюрьмой, то ошибки Artificial Intelligence пока юридических последствий не имеют.

AI-агенты и бизнес: юридическая суть проблемы

ИИ-агент отличается от привычной компьютерной программы наличием свободы в принятии решений. Если условно, то чат-бот за рамки прописанного кода не выходит. Если вышел — либо в код, либо в описание функционала программы закралась ошибка или вирус.

AI-агент, юридически и фактически оставаясь компьютерной программой, может «самостоятельно» принимать решения. Такие агенты изначально ориентированы именно на автономную работу.

Термин «самостоятельно» помещен в кавычки не случайно — на данный момент даже те, кто такие инструменты разрабатывает, утверждают, что не всегда понимают, как именно они принимают решения. Но одновременно с этим заявляют, что это такой же инструмент, как молоток. Поэтому если вы «ударите им себе по пальцам», то виноваты точно не разработчики.

В итоге коммерческие B2B-экосистемы повсеместно внедряются, речь идет уже о создании полноценных автономных экономических субъектов без участия человека, но никто ни за что отвечать не хочет. И даже о рисках все говорят нехотя: дескать, не надо стоять на пути прогресса. А риски есть.

Основные угрозы для бизнеса

Угрозы для бизнеса от использования ИИ-агентов можно разделить на 2 очевидные группы: ошибки, связанные с действиями недоброжелателей, и ошибки, связанные с архитектурой программы, механизмом принятия ей решений.

Действия недоброжелателей

AI-агент для бизнеса взломать сложно, но можно. В результате таких злонамеренных действий, как рассылка писем с зашифрованными командами, внедрение вредоносного кода в документы, ИИ может начать:

• совершать действия, ведущие к разорению компании;
• сливать закрытую информацию конкретным лицам;
• оставлять закрытые данные в публичном пространстве.

Минимизировать риски можно, если вовремя заметить подозрительное поведение. Для этого существуют программные решения, позволяющие отследить аномалии в работе ИИ-агента. Самая известная на данный момент, пожалуй, Exabeam. Это своего рода «электронный аудитор», который нон-стоп собирает информацию обо всех действиях всех сущностей в экосистеме, как «белковых», так и искусственных.

Замечая подозрительные решения и объединяя разрозненные логи в последовательную цепочку, такие программы помогают командам инфобезопасности действовать эффективнее. Недостаток решения очевиден: их тоже можно взломать.

Вечная битва «щита» и «меча»

Вообще, злоумышленники выдумали уже немало способов «отравить» ИИ-агента: бессмысленные запросы, истощающие ресурсы, подделка внешних данных для анализа, грамотное и абсолютно легальное составление запросов агенту, позволяющее выявить часть закрытой информации. Они совершенствуются. Но и системы безопасности развиваются.

Автономные ошибки ИИ

ИИ-агент может принимать «неверные» решения. Причем, по мнению очень многих специалистов отрасли, делает это чаще, чем компетентный специалист. Термин «неверные» поставлен в кавычки тоже не случайно.

На момент принятия решения AI действует максимально логично. Но его внутренняя логика противоречит здравому смыслу. Например, агент может начать удалять бэкапы (а то чего они место занимают) или «слить» закрытую информацию третьим лицам (ведь так они смогут оптимизировать процесс взаимодействия).

Именно стремление к оптимизации всего и вся часто называют «ахиллесовой пятой» таких B2B-экосистем. Ведь даже если в большинстве случаев такая оптимизация оправдана, одна ошибка может привести к катастрофе.

С галлюцинациями ИИ рано или поздно справятся, хотя вряд ли полностью. А вот как настроить искусственную логику так, чтобы она в стремлении оптимизировать процесс не совершала действий, имеющих критические негативные последствия, очевидные даже ребенку — вопрос нетривиальный. Пока решение одно — ограничивать ИИ-агенты в правах.

Очевидные решения для борьбы с галлюцинациями и ошибками ИИ-агента

Over-privileged access, или уровень доверенного сотрудника для ИИ-агента, — это большой риск. Если злоумышленник получает к такому агенту доступ, он «срывает джекпот», получая все данные вплоть до репозиториев кода.

Поэтому один помощник не должен иметь доступ ко всем системам. Это, к слову, и людей касается. Неслучайно же в мафиозных структурах каждый исполнитель должен знать только то, что нужно для выполнения поручения.

Изолируйте опасные возможности

Лучше и надежнее, если ИИ-агент, имеющий доступ к внутренней документации, вообще не имеет возможности отправить ее во внешний доступ. А тот, чей функционал подразумевает общение с клиентами, партнерами, не имеет доступа к внутренней информации.

Опять-таки, в чем-то «мафиозный» принцип. Если не знаешь, то не проговоришься. А если знаешь, то тебя надо изолировать. Все верят, что ты очень полезный, ИИ-агент. Но так всем спокойнее.

Human-in-the-Loop

Самый спорный и самый надежный способ избежать угрозы изнутри от ИИ-агента. Сделать так, чтобы передача или публикация критически важной информации, как, например, перевод денег или удаление файлов, требовала подтверждения администратора из плоти и крови.

Спорный потому, что какая же тут автономность, если все равно нужен ответственный сотрудник на зарплате? Но пока иначе никак. Возможно, в будущем ответственному сотруднику придется выполнять минимальное количество действий. Сейчас же за ИИ-агентами надо приглядывать. Когда-то говорили, что социализм — это учет. А ИИ-будущее в таком случае — это контроль.

Кузовкин Алексей Викторович — IT-предприниматель, экс-председатель совета директоров группы компаний «Армада». Алексей Викторович обладает колоссальным опытом управления инновационными и IT проектами.