]Центр изучения и сетевого мониторинга молодежной среды, созданный в 2018 году после расстрела в колледже в Керчи, может получить 1,6 млрд рублей на создание системы по выявлению учащихся, склонных к социально опасному и деструктивному поведению, на основе анализа их письменных работ
Автономная некоммерческая организация «Центр изучения и сетевого мониторинга молодежной среды» (АНО «ЦИСМ»), может получить из бюджета в ближайшие три года около 1,6 млрд рублей на разработку системы программного обеспечения для анализа письменных работ учащейся молодежи и выявления «склонности к социально опасному и деструктивному поведению». Об этом РБК со ссылкой на пояснительную записку к проекту трехлетнего бюджета.
Центр получит по 551,1 млн рублей в 2022-2023 годах и 555,7 млн рублей в 2024 году по федеральному проекту «Социальная активность», за исполнение отвечает Федеральное агентство по делам молодежи (Росмолодежь). В проекте пояснительной записки к трехлетнему бюджету уточняется, что эти средства пойдут на разработку софта для анализа письменных работ учащихся для выявления «склонности к социально опасному и деструктивному поведению». Из данных Федерального казначейства следует, что Центру в 2021 году выделялось на те же цели почти 245 млн руб. из резервного фонда президента, но они еще не перечислены ЦИСМ.
АНО ЦИСМ было создано в 2018 году по поручению Владимира Путина для предотвращения расстрелов в учебных заведениях, после нападения студента политехнического колледжа в Керчи Владислава Рослякова на сокурсников. В Керчи в 2018 году во время устроенной Росляковым стрельбы погиб 21 человек, пострадали более 50. В мае 2021 года Ильназ Галявиев устроил взрыв и открыл стрельбу в гимназии № 175 в Казани, убив 9 человек, еще 24 пострадали. СК возбудил дело по статье «убийство двух и более лиц». 20 сентября 2021 года Тимур Бекмансуров открыл огонь в кампусе Пермского государственного научного исследовательского университета (ПГНИУ). В результате погибли 6 человек, 24 пострадали. СК во всех трех случаях расследует преступления, квалифицированные как убийство двух и более человек (наказание — пожизненное лишение свободы).
Структура, учрежденная Росмолодежью, славится закрытостью и . В 2019 году Минобрнауки и Росмолодежь предлагали выделить ему более 600 млн рублей на три года на поиск угрожающей жизни и здоровью детей информации, распространяемой в интернете. Задача АНО — выявлять контент, связанный с суицидальными проявлениями, кибербуллингом, распространением криминальной субкультуры и другими деструктивными тенденциями, говорится на сайте организации.
В Forbes глава ЦИСМ Денис Заварзин оценил число аккаунтов в соцсетях, которые «хотя бы один раз касались» деструктивного контента, в 61 млн. Он уточнил, что за одним человеком может стоять сразу несколько таких аккаунтов. Заварзин описал работу системы центра таким образом: в базу нейросетевого комплекса попадают разные аккаунты с суицидальным, депрессивным и другим аналогичным контентом, в автоматическом режиме система наблюдает за активностью таких страниц. Если активность увеличивается, аккаунт попадает в «красную зону».
При таком развитии событий операторы более детально разбирают профили, анализируют их и передают информацию в профильные службы «для организации профилактической работы» с их владельцами, если речь идет о суицидальной активности, либо в правоохранительные органы, если центр обнаруживает признаки подготовки преступления. Заварзин сказал, что на постоянном мониторинге центра находится около 1,5 млн аккаунтов, которые именно системно потребляют или генерируют деструктивный контент.
Руководитель ЦИСМ в интервью Forbes отметил, что аккаунт пермского студента, устроившего расстрел, не находился на постоянном мониторинге. По его словам, страница была создана лишь за месяц до трагедии, аватар отсутствовал, сетевой профиль не проявлял аномальной активности. «Пользователь имел средний уровень сетевой активности, лайками отмечал публикации, связанные с международной военной повесткой. Характерных маркеров, указывающих на приготовление к совершению нападения, зафиксировано не было», — рассказал Заварзин.
В основе системы по анализу письменных работ может лежать нейросеть, обученная на большом количестве образов текстов, написанных людьми с психическими или социальными отклонениями, предположил в беседе с РБК руководитель Liquid Studio Accenture в России Арсений Кондратьев. Изучив такие тексты, программа сможет распознавать паттерны, анализируя образцы письменных работ. Работы с высоким процентом совпадения паттерна могут маркироваться соответствующим образом, отметил эксперт
Тексты, на которых нейросеть будет обучаться, могут различаться по тематике и быть написаны разными людьми, но они должны быть грамотно «размечены» специалистами, рассказал разработчик поисково-аналитической системы Avalanche Андрей Масалович. То есть специалисты-психологи должны указать разработчикам системы, какие именно слова и паттерны в тексте обычно указывают на девиантное поведение. Масалович отметил, что нужно провести масштабную работу, чтобы нейросеть стала грамотно распознавать поведенческие отклонения.
Разработчикам программного обеспечения для анализа работ учащихся на деструктивное поведение предстоит определиться, будут ли они переводить рукописный текст в машинописный или нет. «В рукописном тексте можно было бы проанализировать не только семантику, но и оценить почерк, понять индивидуальные особенности человека и таким образом распознать потенциальную склонность к тем или иным отклонениям», — добавил эксперт.
Доктор психологических наук, академик Российской академии образования (РАО) Сергей Малых отметил, что искусственный интеллект действительно способен реагировать на слова-маркеры, которым его обучат, но важно также и распознавание контекста. «Чтобы понять, как связано написанное ребенком с его состоянием, нужно проводить отдельное поведенческое исследование. Только на основании текста нельзя делать выводы о склонностях к преступлениям или суициду», — предупредил ученый-психолог. .
Опрошенные эксперты уточнили, что если речь пойдет об оценке текстов несовершеннолетних, сбор и обработка данных возможна только с согласия их законного представителя — родителя или опекуна. Тексты учащихся в таком случае должны быть обезличены, пояснил Масалович, а подростку должен присваиваться индивидуальный идентификатор, который может декодировать только доверенная служба разработчиков программного обеспечения, например, в системе правоохранительных органов. В случае утечки данных ответственность за это будет нести именно такая служба, сказал эксперт.
Сама программа и база данных должны быть созданы на основании государственной информационной системы, которая должна быть аттестована в ФСБ и ФСТЭК (Федеральная служба по техническому и экспортному контролю), отметил директор АНО «Инфокультура» Иван Бегтин. «Создание такой системы на базе некоммерческой организации, пусть и с госучастием, — сомнительное мероприятие, так как неясно, как будет обеспечиваться защита и сохранность данных несовершеннолетних», — сказал Бегтин. Он добавил, что принципиальную важность имеет настройка системы на ключевые слова. «Если ученик напишет не о своих суицидальных, а об оппозиционных настроениях его родителей, будет ли это трактоваться как отклонение от нормы?» — задается вопросом эксперт.
Финансирование всего федерального проекта «Социальная активность» в следующей бюджетной трехлетке предлагается значительно увеличить по сравнению с текущей. В 2022 году расходы на проект вырастут более чем в два раза (17,5 млрд рублей вместо плановых 6,5 млрд, в 2023 практически в три раза — 12,5 млрд рублей вместо 4,5 млрд, в 2024 году — снова более чем в два раза — 11,7 млрд рублей вместо 4,6 млрд.
Автономная некоммерческая организация «Центр изучения и сетевого мониторинга молодежной среды» (АНО «ЦИСМ»), может получить из бюджета в ближайшие три года около 1,6 млрд рублей на разработку системы программного обеспечения для анализа письменных работ учащейся молодежи и выявления «склонности к социально опасному и деструктивному поведению». Об этом РБК со ссылкой на пояснительную записку к проекту трехлетнего бюджета.
Центр получит по 551,1 млн рублей в 2022-2023 годах и 555,7 млн рублей в 2024 году по федеральному проекту «Социальная активность», за исполнение отвечает Федеральное агентство по делам молодежи (Росмолодежь). В проекте пояснительной записки к трехлетнему бюджету уточняется, что эти средства пойдут на разработку софта для анализа письменных работ учащихся для выявления «склонности к социально опасному и деструктивному поведению». Из данных Федерального казначейства следует, что Центру в 2021 году выделялось на те же цели почти 245 млн руб. из резервного фонда президента, но они еще не перечислены ЦИСМ.
АНО ЦИСМ было создано в 2018 году по поручению Владимира Путина для предотвращения расстрелов в учебных заведениях, после нападения студента политехнического колледжа в Керчи Владислава Рослякова на сокурсников. В Керчи в 2018 году во время устроенной Росляковым стрельбы погиб 21 человек, пострадали более 50. В мае 2021 года Ильназ Галявиев устроил взрыв и открыл стрельбу в гимназии № 175 в Казани, убив 9 человек, еще 24 пострадали. СК возбудил дело по статье «убийство двух и более лиц». 20 сентября 2021 года Тимур Бекмансуров открыл огонь в кампусе Пермского государственного научного исследовательского университета (ПГНИУ). В результате погибли 6 человек, 24 пострадали. СК во всех трех случаях расследует преступления, квалифицированные как убийство двух и более человек (наказание — пожизненное лишение свободы).
Структура, учрежденная Росмолодежью, славится закрытостью и . В 2019 году Минобрнауки и Росмолодежь предлагали выделить ему более 600 млн рублей на три года на поиск угрожающей жизни и здоровью детей информации, распространяемой в интернете. Задача АНО — выявлять контент, связанный с суицидальными проявлениями, кибербуллингом, распространением криминальной субкультуры и другими деструктивными тенденциями, говорится на сайте организации.
В Forbes глава ЦИСМ Денис Заварзин оценил число аккаунтов в соцсетях, которые «хотя бы один раз касались» деструктивного контента, в 61 млн. Он уточнил, что за одним человеком может стоять сразу несколько таких аккаунтов. Заварзин описал работу системы центра таким образом: в базу нейросетевого комплекса попадают разные аккаунты с суицидальным, депрессивным и другим аналогичным контентом, в автоматическом режиме система наблюдает за активностью таких страниц. Если активность увеличивается, аккаунт попадает в «красную зону».
При таком развитии событий операторы более детально разбирают профили, анализируют их и передают информацию в профильные службы «для организации профилактической работы» с их владельцами, если речь идет о суицидальной активности, либо в правоохранительные органы, если центр обнаруживает признаки подготовки преступления. Заварзин сказал, что на постоянном мониторинге центра находится около 1,5 млн аккаунтов, которые именно системно потребляют или генерируют деструктивный контент.
Руководитель ЦИСМ в интервью Forbes отметил, что аккаунт пермского студента, устроившего расстрел, не находился на постоянном мониторинге. По его словам, страница была создана лишь за месяц до трагедии, аватар отсутствовал, сетевой профиль не проявлял аномальной активности. «Пользователь имел средний уровень сетевой активности, лайками отмечал публикации, связанные с международной военной повесткой. Характерных маркеров, указывающих на приготовление к совершению нападения, зафиксировано не было», — рассказал Заварзин.
В основе системы по анализу письменных работ может лежать нейросеть, обученная на большом количестве образов текстов, написанных людьми с психическими или социальными отклонениями, предположил в беседе с РБК руководитель Liquid Studio Accenture в России Арсений Кондратьев. Изучив такие тексты, программа сможет распознавать паттерны, анализируя образцы письменных работ. Работы с высоким процентом совпадения паттерна могут маркироваться соответствующим образом, отметил эксперт
Тексты, на которых нейросеть будет обучаться, могут различаться по тематике и быть написаны разными людьми, но они должны быть грамотно «размечены» специалистами, рассказал разработчик поисково-аналитической системы Avalanche Андрей Масалович. То есть специалисты-психологи должны указать разработчикам системы, какие именно слова и паттерны в тексте обычно указывают на девиантное поведение. Масалович отметил, что нужно провести масштабную работу, чтобы нейросеть стала грамотно распознавать поведенческие отклонения.
Разработчикам программного обеспечения для анализа работ учащихся на деструктивное поведение предстоит определиться, будут ли они переводить рукописный текст в машинописный или нет. «В рукописном тексте можно было бы проанализировать не только семантику, но и оценить почерк, понять индивидуальные особенности человека и таким образом распознать потенциальную склонность к тем или иным отклонениям», — добавил эксперт.
Доктор психологических наук, академик Российской академии образования (РАО) Сергей Малых отметил, что искусственный интеллект действительно способен реагировать на слова-маркеры, которым его обучат, но важно также и распознавание контекста. «Чтобы понять, как связано написанное ребенком с его состоянием, нужно проводить отдельное поведенческое исследование. Только на основании текста нельзя делать выводы о склонностях к преступлениям или суициду», — предупредил ученый-психолог. .
Опрошенные эксперты уточнили, что если речь пойдет об оценке текстов несовершеннолетних, сбор и обработка данных возможна только с согласия их законного представителя — родителя или опекуна. Тексты учащихся в таком случае должны быть обезличены, пояснил Масалович, а подростку должен присваиваться индивидуальный идентификатор, который может декодировать только доверенная служба разработчиков программного обеспечения, например, в системе правоохранительных органов. В случае утечки данных ответственность за это будет нести именно такая служба, сказал эксперт.
Сама программа и база данных должны быть созданы на основании государственной информационной системы, которая должна быть аттестована в ФСБ и ФСТЭК (Федеральная служба по техническому и экспортному контролю), отметил директор АНО «Инфокультура» Иван Бегтин. «Создание такой системы на базе некоммерческой организации, пусть и с госучастием, — сомнительное мероприятие, так как неясно, как будет обеспечиваться защита и сохранность данных несовершеннолетних», — сказал Бегтин. Он добавил, что принципиальную важность имеет настройка системы на ключевые слова. «Если ученик напишет не о своих суицидальных, а об оппозиционных настроениях его родителей, будет ли это трактоваться как отклонение от нормы?» — задается вопросом эксперт.
Финансирование всего федерального проекта «Социальная активность» в следующей бюджетной трехлетке предлагается значительно увеличить по сравнению с текущей. В 2022 году расходы на проект вырастут более чем в два раза (17,5 млрд рублей вместо плановых 6,5 млрд, в 2023 практически в три раза — 12,5 млрд рублей вместо 4,5 млрд, в 2024 году — снова более чем в два раза — 11,7 млрд рублей вместо 4,6 млрд.
