23 октября 2026 года исследователи Нью-Йоркского университета рассказали о двух веб-инструментах для научной работы. Hallucination Nerd проверяет, подтверждает ли процитированная статья конкретное утверждение, а Protocol Nerd помогает подобрать экспериментальную методику. Университет опубликовал описание проектов и их проверки.

Ссылка проходит проверку по содержанию статьи

Hallucination Nerd разбирает документ на отдельные утверждения и связанные с ними ссылки, получает тексты источников и ищет в них подходящие фрагменты. Затем языковая модель-судья оценивает, подтверждает ли найденный отрывок исходное утверждение. Для каждой пары «утверждение и источник» система выдает один из шести результатов: «подтверждено», «подтверждено частично», «не подтверждено», «опровергнуто», «цитируемая статья не существует» или «текст статьи недоступен».

Система проверяет не сам факт наличия ссылки, а смысл, который автор в неё вкладывает. Представим, что в работе сказано: «Метод повысил урожайность», а процитированная статья описывает только лабораторное измерение роста растений. В таком случае инструмент может признать связь частичной: лабораторный результат сам по себе не доказывает, что урожайность выросла.

Protocol Nerd решает другую задачу. Сначала он задаёт уточняющие вопросы об эксперименте, после чего предлагает несколько протоколов и объясняет, чем каждый из них может быть полезен или почему не подойдёт. По данным университета, инструмент пока рассчитан на молекулярную биологию и химию. Для расширения на другие области потребуется эксперт, знакомый с соответствующей дисциплиной.

Protocol Nerd проверяли на научных статьях из PubMed и Europe PMC: системе предлагали найти протокол, использованный в статье, по её названию и аннотации. Hallucination Nerd испытали на полнотекстовых работах из открытого репозитория arXiv, а его выводы сопоставили с содержанием статей и результатами уже существующих систем. По словам руководителя проектов Денниса Шаши, исследователи выстроили проверку по образцу рандомизированных контролируемых испытаний, чтобы уменьшить смещение и оценить статистическую значимость. При этом опубликованное описание не содержит численных показателей: из него нельзя узнать, сколько материалов проверили и как часто инструменты находили правильный протокол или верно оценивали цитату.

В опубликованном описании нет численных показателей точности, объёма проверенных материалов или результатов сравнения. Поэтому по нему нельзя определить, насколько часто инструменты находили верный протокол или правильно оценивали цитату. Для работы с научными источниками также может пригодиться подбор литературы по теме исследования, но он не заменяет проверку того, подтверждает ли конкретная статья конкретное утверждение.

Схема показывает, как инструмент проверки цитат сопоставляет утверждение с источником, а помощник по протоколам уточняет задачу и предлагает экспериментальные методики.

Фото: Mikhail Nilov / Pexels