vaspvort
Ночной дозор
Команда форума
Модератор
ПРОВЕРЕННЫЙ ПРОДАВЕЦ
Private Club
Старожил
Migalki Club
Меценат
![caf-np0pycfr5vvovmohah620lw.jpeg](https://habrastorage.org/r/w1560/webt/ca/f-/np/caf-np0pycfr5vvovmohah620lw.jpeg)
В начале июля 2024 года сетевая платформа Cloudflare (поставщик облачных услуг по предоставлению DNS и защиты от DDoS-атак)
Для просмотра ссылки необходимо нажать
Вход или Регистрация
своим клиентам к опции по бесплатной блокировке веб-сканеров поисковых ботов с ИИ. Новая система защиты позволяет запрещать таким ботам извлекать данные для обучения своих ИИ-моделей без согласия владельцев сайтов.![wezr7fy287r5uaciesx3te625si.png](https://habrastorage.org/r/w1560/webt/we/zr/7f/wezr7fy287r5uaciesx3te625si.png)
В Cloudflare пояснили, что крупные игроки в сфере ИИ, такие как Google, OpenAI и Apple, позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt. Оказалось, что не все владельцы подобных ботов и ИИ-агентов соблюдают эти правила. Cloudflare сообщила, что некоторые компании для обучения своих ИИ-моделей намеренно обходят ограничения доступа к контенту, постоянно адаптируясь и меняя свои алгоритмы, чтобы избежать обнаружения со стороны администраторов сайтов.
![p4foo1j6zxh8d8wsfhoajrmukcc.png](https://habrastorage.org/r/w1560/webt/p4/fo/o1/p4foo1j6zxh8d8wsfhoajrmukcc.png)
Cloudflare проанализировала трафик таких неправильных ботов и разработала автоматические модели их обнаружения, которые учитывают различные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.
![uhrnls7buxw6vf5s13xrq3te-7a.png](https://habrastorage.org/r/w1560/webt/uh/rn/ls/uhrnls7buxw6vf5s13xrq3te-7a.png)
В Cloudflare представили
Для просмотра ссылки необходимо нажать
Вход или Регистрация
для отправки отчёта, позволяющую сообщить о подозрительных ботах и сканерах. На основе полученных от пользователей данных специалисты Cloudflare будут вручную заносить таких ботов с ИИ в чёрный список или убирать оттуда тех ботов, которые попали по ошибке.![26bk88_dyntvbvwgedxfmv9cks4.png](https://habrastorage.org/r/w1560/webt/26/bk/88/26bk88_dyntvbvwgedxfmv9cks4.png)
Для просмотра ссылки необходимо нажать
Вход или Регистрация