Технологии 4 октября 22:34

Алексей Кузовкин рассуждает о риске массового обнаружения уязвимостей нейросетями

Пришла беда, откуда не ждали: ИИ-модели, которые разрабатывались для того, чтобы выявлять уязвимости и помогать их устранять, повышая тем самым безопасность в IT, теперь называют главной угрозой безопасности.

Ну как не ждали… Ждали, конечно же. И предупреждали даже. Вот только не то предупреждали недостаточно громко, не то пока жареный петух не клюнет, «безопасник» не пошевелится. А хакер пошевелится.

А в чем суть проблемы?

Такие ИИ-модели, как Claude Mythos, могут автономно, массово и быстро находить уязвимости, против которых еще не существует механизмов защиты. И вроде бы, чего тут такого? Пусть эти, а лучше более совершенные, чем доступные хакерам, модели все перепроверят перед релизом.

Проблема в том, что IT-инфраструктура появилась не сегодня. И даже не вчера. Этот постоянно дополняющийся, изменяющийся и исправляющийся инструмент в современном виде худо-бедно функционирует около четверти века.

Банки, государственные учреждения, аэропорты, поезда, платежные системы — все это невозможно довести до идеального состояния быстро. Некоторые сомневаются, что медленно тоже можно — многое создавалось уже давно.

Причем критически важная IT-инфраструктура — это только верхушка айсберга. Есть еще общественно значимая, которую злоумышленники также могут использовать для получения прибыли или в каких-то других целях. А также сугубо коммерческий софт для корпоративного или частного использования, который тоже надо защищать.

Проблему хотя бы пытаются решать?

Производители ИИ-моделей в целом свою ответственность понимают. В конце концов, если всерьез «упадет» что-то важное, то затронет абсолютно всех. Так, Anthropic отказалась от релиза Mythos Preview, решив сначала передать доступ организациям, производящим системно значимое программное обеспечение.

Среди компаний, участвовавших в программе — Amazon, Apple, Google, JPMorganChase, Microsoft, Nvidia. То есть компании, которые уделяют повышенное внимание безопасности. Но все равно AI умудрился выявить тысячи критических уязвимостей. И не исключено, что более современная модель выявит еще некоторое количество.

В теории решение, позволяющее избежать критических проблем с критической же инфраструктурой, выглядит так:

• государство тесно сотрудничает с компаниями, производящими ИИ-агенты для поиска уязвимостей;
• разработка осуществляется в режиме максимальной секретности;
• разработка внедряется в ключевые узлы IT-инфрастуктуры;
• все, что надо, исправляется и тестится;
• открытый релиз.

Даже в теории подобного рода концепция выглядит утопией. Государств больше одного, и, несмотря на подписанные договоренности о недопустимости атак на IT-инфраструктуру, всегда есть риск подобного рода диверсий. Компаний, работающих с ИИ, тоже больше одной, и они конкуренты. Промышленный шпионаж, в том числе и при помощи взлома, — обыденность наших дней.

И самое главное — ИИ настолько быстро развивается, что никто не будет ждать, пока государственная машина потестит и починит все уязвимости. Это занимает безумно много времени и, возможно, будет совершенно бесполезным, так как условное «копье» совершенствуется быстрее условной «брони».

Поэтому, собственно говоря, все чаще и раздаются голоса, что надо бы как-то замедлить ускорившийся прогресс. И дело тут не только и не столько в том, что умный суперинтеллект решит устроить ядерный армагеддон. И не в том, что экстремисты могут пробраться в лабораторию биологического оружия.

Мы живем в мире, в котором обществу может резко «поплохеть» даже из-за хаоса в таких банальных сферах деятельности, как общественный транспорт или онлайн-покупки. А еще есть биржевая торговля, внутренние ресурсы ведомств со специфическими задачами. Всегда где-то найдется уязвимость.

Человеческий фактор в киберпреступности становится менее важным

С конца 80-х в культуре создавался образ хакера как человека, близкого к гениальности. Его умения уникальны, и поэтому он всем нужен. Разумеется, образ утрирован и имеет очень отдаленное отношение к реальности.

Тем не менее раньше для того, чтобы заниматься такого рода преступной деятельностью, действительно надо было многое знать и уметь. Сейчас же, наряду с вайбкодингом, закономерно появляется такое явление, как вайбхакинг.

Вайбкодинг всегда будет иметь ограничения. Он ограничен как минимум временем, в течение которого проект может оканчиваться неудачами. То есть условно 115-я по счету неудача все равно «похоронит» подобного рода способ программирования.

Вайбхакинг такого недостатка лишен. Наоборот, можно даже увеличить количество попыток, давая больше заданий по взлому. Как с этим бороться, никто особо не понимает. И это при том, что ИИ принципиально никаких новых видов хакерских атак не создал. Хотя, конечно же, некоторые сделал принципиально лучше.

Например, вредоносные спам-рассылки становятся персонализированными, ИИ-агент соберет о каждой потенциальной жертве всю информацию в Глобальной паутине, а ее там предостаточно. Аудио- и видеодипфейки становятся нормой.

Вредоносные нейросети — миф или реальность?

Уже несколько лет общественность периодически будоражат слухи о появлении нейросетей, в которых «можно все». Дескать, группа специалистов создала аналог ChatGPT, только лучше, и ему можно ставить любые задачи.

На момент написания статьи о таких нейросетях в публичном доступе информации нет. Напротив, исследования показывают, что широко разрекламированные бренды являются примитивными, в буквальном смысле «поделкой, сделанной на коленке». В данном случае потенциальные обманщики сами становятся жертвой обмана.

Хотя, разумеется, создать такую нейросеть можно, это вопрос, скорее, целесообразности. Ведь зачем создавать что-то свое, если можно использовать чужое?

Рынок эффективных методов обхода ограничений официальных нейросетей (jailbreak-промптов) уже появился. И, к сожалению, эти методы обхода работают, позволяя:

• массово генерировать вредоносный код, используя лучшие коммерческие ИИ-модели;
• внедрять элементы искусственного интеллекта непосредственно во вредоносный код;
• создавать вредоносное ПО, связанное с облачным ИИ-сервисом, не имеющее прописанной логики поведения.

Киберпреступники занимаются ровно тем же, чем последние годы занимается и весь остальной глобус. Интегрируют ИИ во все сферы своей деятельности. Уже сейчас приходится признавать, что традиционные методы кибербезопасности работать не будут. Надо либо как-то отобрать у взломщиков этот инструмент, что очень сложно, если вообще реально. Либо доверить ИИ киберзащиту и исправление уязвимостей в автономном же режиме. Это создает новые дилеммы: а вдруг он «заглючит» и сам все поломает?

Кузовкин Алексей Викторович — IT-предприниматель, экс-председатель совета директоров группы компаний «Армада», обладает колоссальным опытом управления инновационными и IT-проектами.