Трафик на ведущие веб-сайты за последние пять лет упал более чем на 11%. При этом многие старые сайты не открываются или содержат битые ссылки, которые делают ИИ-поиск неточным. Об этом сообщает американский портал Axios со ссылкой на компанию Similarweb, предоставляющую услуги веб-аналитики.
Ключевые факты
- Люди всё больше и чаще используют интернет, но это не приносит выгод старым веб-сайтам. Новые возможности поиска, основанные на ИИ, начинают перехватывать внимание пользователей.
- Однако данные показывают, что старые сайты никуда не исчезают. Они продолжают годами «гнить» в интернете, «затуманивая» результаты поиска из-за неработающих или устаревших ссылок.
- Среди ресурсов, созданных в 2013 году, 38% теперь недоступны. Для веб-страниц, созданных в 2023 году, 8% не открываются. По данным Pew Research Center, четверть всех сайтов, существовавших с 2013 по 2023 год, больше недоступны. А 23% новостных и 21% правительственных сайтов содержат как минимум одну неработающую ссылку.
- Как пишет Axios, медленное исчезновение старых сайтов приводит к путанице в интернете и для пользователей, и для парсеров, пытающихся собрать данные для точного обучения больших языковых моделей.
Бэкграунд
Крупные медиа давно бьют тревогу, что ИИ-компании рано или поздно разорят их. Ведь для того чтобы давать людям ответы на их вопросы, чат-боты используют контент СМИ, лишая тех посещаемости. До сих пор трафик из ИИ чат-ботов на ведущие новостные сайты на 96% ниже, чем от традиционного поиска Google.
Эта проблема имеет и другую сторону. Умирающие сайты перестают обновляться и следить за сохранностью своих ссылок, а значит, лишают языковые модели архивного контента для обучения. В конечном итоге пользователи не получают точную информацию о событиях даже недавнего прошлого.
Некоторое ИИ-компании, например, OpenAI, пробуют заключать сделки с крупными новостными ресурсами, чтобы компенсировать их затраты на производство контента. Однако эти решения пока не масштабируются на веб-рынок в целом.
Источник: Axios.