Исследователи сравнили восемь поисковых систем на основе искусственного интеллекта. Проблемы с цитированием обнаружились у всех. При этом особое опасение вызывает уверенность, с которой ИИ выдаёт неправильный ответ.
Ключевые факты
- 6 марта исследователи из Центра цифровой журналистики имени Тоу при Колумбийском университете Клаудия Язвинска и Айшварья Чандрасекар опубликовали результаты своего о исследования «Проблемы с цитированием у ИИ-поиска».
- Они провели 200 тестов на восьми поисковых системах с ИИ: ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search и Copilot.
- В каждом тестовом запросе исследователи давали поисковику цитату из статьи, а затем просили определить её название, дату публикации и URL-адрес. В итоге из 1600 тестовых запросов поисковые системы в 60% случаев не смогли предоставить верную информацию. Например, Perplexity, известный как инструмент для исследований, ответил неправильно в 37% случаев.
- Кроме того, в тестах постоянно встречались неработающие URL-адреса. Худшие результаты тут показали Gemini и Grok 3: они дали больше сфабрикованных ссылок, чем правильных, в 200 случаях. А Grok 3, направлял пользователей на страницы с ошибкой 404 154 раза.
Суммируя итоги, исследователи обнаружили, что:
- Чат-боты часто не отказывались отвечать на вопросы, даже когда не могли найти точный ответ. Вместо этого они давали неверные или предположительные ответы.
- Платные чат-боты более уверенно дают неправильные ответы, чем их бесплатные аналоги.
- Судя по всему, некоторые чат-боты обходят протоколы по исключению роботов.
- Даже соглашения с новостными медиа не гарантируют точность цитат в ответах чат-бота.
Бэкграунд
Всё больше людей в мире выбирают поисковики с ИИ. Так, более четверти опрошенных (27%) в США сообщили об использовании инструментов искусственного интеллекта вместо традиционных поисковых систем. В Великобритании таких уже 13%.
Но если традиционные поисковики направляли пользователей на новостные сайты и другие качественные ресурсы, то генеративные поисковые системы анализируют и переупаковывают информацию сами, отсекая путь к первоисточникам. То, как они это делают и почему допускается так много системных ошибок, нуждается в отдельной оценке, считают исследователи.
Источники: niemanlab.org, cjr.org