The New York Times вместе с ИИ-стартапом Oumi изучили ИИ-сводки от Google. Для исследования они изучили ответы на четыре тысячи одинаковых поисковых запросов. Стартап протестировал систему в октябре, когда на вопросы отвечала модель ИИ Gemini 2, а затем в феврале, после обновления до более мощной Gemini 3.
Ключевые факты
- За время теста точность ответов выросла. В 2025-м правильные ответы в ИИ-сводках от Gemini 2 были в 86% случаев, а в следующем году модель Gemini 3 подняла этот показатель до 91%, отмечает NYT.
- Однако с переходом на Gemini 3 ИИ-сводки чаще были «необоснованными», чем при работе на прошлой модели. Это значит, что веб-сайты, на которые ссылается ИИ, не полностью подтверждают информацию. Число таких ответов выросло с 37% до 56%.
- Также журналисты NYT узнали, ИИ от Google может ошибаться, даже если ссылается на верные источники. Например, исследователи задали вопрос: «В каком году Йо-Йо Ма (знаменитый виолончелист – прим.) включили в американский Зал славы классической музыки?». ИИ нашёл сайт организации, но в ответе нейросеть написала, что «записей о включении Йо-Йо Ма в этот Зал славы не существует». При этом на странице организации в списке участников он есть.
- Обзоры ИИ сталкиваются с ещё одной проблемой – ими можно манипулировать. «Если кто-то хочет, чтобы его знали как мирового эксперта в какой-либо области, ему достаточно написать пост в блоге, в котором он сам заявляет о своем статусе», – рассказывает Лили Рэй, вице-президент в маркетинговом агентстве Amsive.
- При этом NYT пишет, что максимально точно изучить систему сложно. Google может выдавать разные ответы на одинаковые запросы, что отправили с разницей в несколько секунд.
Автор новости: Тимофей Петрищенко
Источник: The New York Times
Читайте больше новостей медиасферы здесь
Подпишитесь на соцсети «Соли», чтобы не пропустить другие тексты