Cloudflare обновляет robots.txt, чтобы сайты могли блокировать скребки ИИ, позволяя индексировать поиск и взимать плату за сканирование. Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

Cloudflare обновила протокол роботов.txt новым управлением AI, разрешив владельцам веб-сайтов блокировать расчленение AI для обучения, одновременно разрешая индексацию поиска и разрешая платные сборы. Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. Политика контент-сигналов вводит такие директивы, как "noai" и варианты монетизации, направленные на то, чтобы дать издателям больше контроля над тем, как используется их контент. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. Хотя эти инструменты бесплатны для клиентов Cloudflare и включают в себя усиленный мониторинг, скептицизм по-прежнему превыше добровольного соблюдения, поскольку многие боты AI игнорируют роботов.txt. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. Критики подчеркивают необходимость применения правовых стандартов, предупреждая о том, что саморегулирование само по себе не защищает создателей от несанкционированного использования данных. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.