Нейросети значительно упростили нашу рутину. От развлечений до работы: мы уже привыкли к электронным помощникам. Но как получается, что искусственный интеллект помогает злоумышленникам? И есть ли способ обезопасить себя, если нейросети — везде?
Некоторое время назад эксперты из Kaspersky Digital Footprint Intelligence провели исследование: выяснилось, что в и на хакерских форумах злоумышленники активно обсуждают варианты использования языковых моделей для своей деятельности и делятся своими впечатлениями о работе с ИИ.
Такое использование ИИ может показаться парадоксальным, ведь если попросить тот же ChatGPT помочь взломать что-нибудь, бот ответит, что взлом — деятельность незаконная, и откажется выполнять просьбу. Однако мошенники научились обходить «принципиальность» искусственного интеллекта.
Например, злоумышленник может обратиться к ИИ с просьбой написать очень убедительный текст мошеннического письма. Чат-бот, скорее всего, откажется от выполнения этого запроса. Это можно заметить, например, по артефактам, которые оставляют большие языковые модели на фальшивых страницах. Однако, если атакующий будет использовать определенные промпты, нейросеть может «ничего не заподозрить» и создать нужный злоумышленнику материал. Тем не менее таких «лазеек» становится все меньше — ИИ-разработчики активно развивают защитные механизмы LLM-решений.
Защищаться от и схем онлайн-мошенничества, для реализации которых злоумышленники использовали продвинутые технологии, можно и нужно. Достаточно соблюдать базовые правила : использовать защитные решения, полагаться на здравый смысл, не переходить по ссылкам и не скачивать файлы из сомнительных переписок, не вводить конфиденциальные данные на непроверенных веб-ресурсах. Все эти меры остаются настолько же эффективными, насколько они были до появления нейросетей в широком доступе.
Прочитать все тексты из интернета невозможно, поэтому там вполне может встречаться зловредный контент, который не удалось отфильтровать при обучении базовой модели, а потому наученная следовать просьбам пользователя языковая модель вполне может по их просьбе начать такой контент генерировать. Поэтому затем, как правило, применяется третий этап — так называемый элайнмент (alignment), в ходе которого модель генерирует ответы на потенциально зловредные запросы, специальные люди, асессоры, оценивают степень их недопустимости, и этот сигнал используется, чтобы научить модель отказываться давать подобные ответы в будущем.
В итоге модель, обученная быть знающей (после претрейна), полезной (после дообучения) и безопасной (после элайнмента), становится основой чат-бота, а то, что говорит ей человек, никак не влияют на нее за пределами конкретного диалога. Безусловно, компании могут использовать диалоги для дообучения модели, но эти данные проверяются лучше, чем используемые для обучения базовой модели.
Поэтому, если ваш знакомый внезапно пишет вам в соцсети, настойчиво и срочно просит перевести деньги — стоит перестраховаться и связаться с ним по другому каналу связи, например, в другом мессенджере, а желательно просто позвонив. Неважно, что именно вам прислали: текст, голосовое сообщение или видео.
Мы привыкли верить голосу и картинкам и еще не свыклись с тем, что аудиовизуальные материалы могут быть обманом. В любом случае, если соблюдать правила безопасности в интернете и быть внимательнее, риск стать жертвой мошенников становится значительно ниже.
Нейросети — интересный инструмент для злоумышленников
Злоумышленникам не чужд прогресс, и в некоторых ограниченных задачах они уже применяют . Например, они могут использовать искусственный интеллект для упрощения работы, расширения географии своей деятельности, повышения правдоподобности приманок (например, генерируя дипфейки) и для разработки инструментов своих злодеяний.Некоторое время назад эксперты из Kaspersky Digital Footprint Intelligence провели исследование: выяснилось, что в и на хакерских форумах злоумышленники активно обсуждают варианты использования языковых моделей для своей деятельности и делятся своими впечатлениями о работе с ИИ.
Такое использование ИИ может показаться парадоксальным, ведь если попросить тот же ChatGPT помочь взломать что-нибудь, бот ответит, что взлом — деятельность незаконная, и откажется выполнять просьбу. Однако мошенники научились обходить «принципиальность» искусственного интеллекта.
Например, злоумышленник может обратиться к ИИ с просьбой написать очень убедительный текст мошеннического письма. Чат-бот, скорее всего, откажется от выполнения этого запроса. Это можно заметить, например, по артефактам, которые оставляют большие языковые модели на фальшивых страницах. Однако, если атакующий будет использовать определенные промпты, нейросеть может «ничего не заподозрить» и создать нужный злоумышленнику материал. Тем не менее таких «лазеек» становится все меньше — ИИ-разработчики активно развивают защитные механизмы LLM-решений.
Влияние ИИ на характер киберугроз
Важно отметить, что на сегодняшний день появление нейросетей принципиально не изменило ландшафт киберугроз. В некоторых случаях злоумышленники могут использовать продвинутые технологии, например для написания фишинговых писем или вредоносного кода. Однако это не сильно упрощает им задачу: мы уже давно живем в мире, где есть вредоносный код и зловредные письма. Тем не менее, потенциально такое применение технологий может снизить «порог входа» для злоумышленников.Защищаться от и схем онлайн-мошенничества, для реализации которых злоумышленники использовали продвинутые технологии, можно и нужно. Достаточно соблюдать базовые правила : использовать защитные решения, полагаться на здравый смысл, не переходить по ссылкам и не скачивать файлы из сомнительных переписок, не вводить конфиденциальные данные на непроверенных веб-ресурсах. Все эти меры остаются настолько же эффективными, насколько они были до появления нейросетей в широком доступе.
Злоумышленники обучают искусственный интеллект плохому?
К счастью, запросы мошенников почти не влияют на работу нейросетей. Это связано с тем, что обучение чат-ботов происходит следующим образом. Компания-разработчик предлагает искусственному интеллекту огромное количество текстов из интернета и обучает некоторую базовую модель — этот этап называется претрейном (pre-train). Изначально эта система умеет только предсказывать следующее слово по предыдущим — почти как автодополнение в телефоне. То есть на этом этапе она еще не умеет выполнять команды и отвечать на вопросы. Затем модель учат отвечать на вопросы и выполнять задачи. Этот процесс называется «instruction fine-tuning», то есть «дообучение следованию инструкциям».Прочитать все тексты из интернета невозможно, поэтому там вполне может встречаться зловредный контент, который не удалось отфильтровать при обучении базовой модели, а потому наученная следовать просьбам пользователя языковая модель вполне может по их просьбе начать такой контент генерировать. Поэтому затем, как правило, применяется третий этап — так называемый элайнмент (alignment), в ходе которого модель генерирует ответы на потенциально зловредные запросы, специальные люди, асессоры, оценивают степень их недопустимости, и этот сигнал используется, чтобы научить модель отказываться давать подобные ответы в будущем.
В итоге модель, обученная быть знающей (после претрейна), полезной (после дообучения) и безопасной (после элайнмента), становится основой чат-бота, а то, что говорит ей человек, никак не влияют на нее за пределами конкретного диалога. Безусловно, компании могут использовать диалоги для дообучения модели, но эти данные проверяются лучше, чем используемые для обучения базовой модели.
Новая угроза: дипфейки. Стоит ли верить своим глазам?
Не секрет, что сегодня искусственный интеллект умеет генерировать и аудиовизуальные материалы. Этим инструментом мошенники активно пользуются: с помощью нейросетей они генерируют дипфейки — реалистичные фото-, аудио- и видеоматериалы, изображающие события, которых не происходило в реальности. Однако важно понимать, что сегодня такие материалы используются атакующими скорее как приманка — для реализации телефонного мошенничества, , скама.Поэтому, если ваш знакомый внезапно пишет вам в соцсети, настойчиво и срочно просит перевести деньги — стоит перестраховаться и связаться с ним по другому каналу связи, например, в другом мессенджере, а желательно просто позвонив. Неважно, что именно вам прислали: текст, голосовое сообщение или видео.
Мы привыкли верить голосу и картинкам и еще не свыклись с тем, что аудиовизуальные материалы могут быть обманом. В любом случае, если соблюдать правила безопасности в интернете и быть внимательнее, риск стать жертвой мошенников становится значительно ниже.
