МастерскаяШкольникам

Нейросеть решила домашку. Найдите первый неверный шаг

Найдите ошибку в двух учебных решениях — про карандаши и среднюю скорость. Разбор покажет, как проверять рассуждение нейросети, даже когда вычисления выглядят верными.

Асадов Али7 мин чтения
Нейросеть решила домашку. Найдите первый неверный шаг

Нейросеть может написать подробное решение, в котором каждая строка выглядит знакомо, а ответ неверен. Проверять такой текст удобнее с первого сомнительного перехода. Если начать спорить только с последним числом, можно получить ещё одно убедительное объяснение той же ошибки.

Ниже — специально составленный пример с ошибкой. Это учебная демонстрация редакции, а не ответ определённой модели и не результат сравнительного теста AI-сервисов. Попробуйте сначала найти сбой самостоятельно.

Текст, которому легко поверить

Задача. В коробке 40 карандашей. Четверть раздали ученикам. Затем треть оставшихся положили в пенал. Сколько карандашей положили в пенал?

Намеренно неверное решение:

  1. Четверть от 40 — это 10 карандашей.
  2. После раздачи осталось 40 − 10 = 30 карандашей.
  3. Треть карандашей — это 40 ÷ 3 = 13⅓.
  4. Поскольку карандаши целые, округляем: в пенал положили 13 карандашей.

Первые две строки верны. В третьей слово «оставшихся» потерялось: вместо тридцати взяли сорок. Четвёртая строка уже пытается исправить последствие неверного выбора числа. Округление здесь не обосновано условием.

Правильный третий шаг: 30 ÷ 3 = 10. В пенал положили десять карандашей. После всех действий остались двадцать карандашей в коробке, десять в пенале и десять у учеников: вместе сорок.

Именно так стоит записать замечание к чужому решению: «Первый неверный переход — строка 3: долю считают от первоначального количества, хотя нужно от оставшегося». Это точнее, чем «AI опять ошибся».

Четыре проверки для одного ответа

Начните с условия. Совпадает ли задача в решении с исходной? Не исчезли ли слова «оставшихся», «не менее», «на», «в», «кроме»? Не появилось ли отсутствовавшее предположение? Например, равные расстояния нельзя подменять равным временем движения.

Потом проверьте переход между действиями. Для каждого нового числа ответьте, что оно означает и почему к нему применяют операцию. В нашем примере число 40 в третьей строке арифметически допустимо, но относится к другой группе карандашей.

Третья проверка — независимый способ. Подставьте найденное значение в исходное условие, нарисуйте схему, посчитайте отдельно на калькуляторе. Повторный запрос той же нейросети может быть полезен для поиска возражений, но сам по себе не становится независимым подтверждением.

Наконец, оцените форму результата. Нужны люди, минуты, квадратные сантиметры или процент? Ответил ли текст на вопрос? Целое число не гарантирует правильности, а дробь не всегда означает ошибку: полтора часа вполне возможны. Важно, что допускает конкретная ситуация.

Что проверяем Вопрос к ответу Что нашли в примере
Условие Сохранены ли все ограничения? Потерялось «оставшихся»
Ход решения Откуда взялось число на этом шаге? Снова взяли 40 вместо 30
Независимая проверка Можно ли подтвердить иначе? 10 + 10 + 20 = 40
Итог Подходит ли смысл и единица? Необоснованное округление количества карандашей

Попросите помощь в подходящий момент

Если сразу запросить полное решение, будет сложнее отделить собственную мысль от готового объяснения. Можно начать с более узкой просьбы:

Я решаю задачу сам. Проверь только, правильно ли я понял условие: после раздачи четверти остаётся 30 карандашей, и треть нужно считать от 30. Не продолжай вычисления. Укажи, какое слово в условии подтверждает или опровергает мою мысль.

Если застряли на операции, попросите разобрать похожую задачу с другими числами. Если нужен ответ для сверки, сначала сохраните свою попытку. Тогда будет видно, где именно ваши решения расходятся.

Полезен и обратный запрос: «Найди возможную ошибку в этом объяснении и покажи, как её проверить». Но оценивать предложенное возражение тоже придётся: модель может придумать ошибку в верном решении. Дополнительная уверенность в тоне ответа ничего не меняет.

В профиле рисков генеративного AI NIST, раздел 2.2, описаны уверенно сформулированные ошибочные ответы, включая выдуманные обоснования и ссылки. Документ не даёт процента ошибок для вашей модели или домашней работы. Поэтому мы используем проверку конкретных утверждений, а не рейтинг «насколько можно доверять AI вообще».

Попробуйте на другом типе ошибки

Для самостоятельной проверки возьмём ещё один составленный пример: велосипедист проехал 60 км. Первые 30 км — со скоростью 20 км/ч, вторые 30 км — со скоростью 30 км/ч. Чему равна средняя скорость на всём пути?

В намеренно неверном решении написано: «Складываем скорости и делим на два: 25 км/ч». Сами вычисления верны, но не объяснено, почему можно усреднять именно так.

Проверьте через время: первая часть заняла 30 ÷ 20 = 1,5 часа, вторая — 30 ÷ 30 = 1 час. Весь путь — 60 км за 2,5 часа, значит, средняя скорость равна 24 км/ч. Равные расстояния не означают равное время. Проверка смысла операции нашла ошибку, которую обычная перепроверка суммы не обнаружила бы.

В гуманитарном ответе ищите утверждения по одному

Допустим, вам предложили абзац о писателе. Разделите его на проверяемые части: год события, название произведения, цитата, объяснение причины. Для даты откройте надёжную биографическую справку; для цитаты — само произведение и указанное место. Фраза «это означает» может быть интерпретацией, и её нужно обосновать текстом, а не только ссылкой на сайт.

Существующая ссылка ещё не подтверждает соседнее предложение. Страница может описывать другого человека, содержать другое число или вообще не говорить об этом вопросе. Если оригинал не удалось прочитать, запишите «пока не подтверждено» и не переносите утверждение в работу как установленный факт.

Для доклада и курсовой есть отдельный разбор поиска первоисточников с AI: там прослеживается одна конкретная цепочка от вопроса до аккуратного вывода.

Когда проверять пока нечем

Бывает, что ответ звучит понятно, но вы не знаете правило, на которое он ссылается. В таком случае задача ещё не решена. Найдите соответствующий раздел учебника, попросите учителя объяснить переход или разберите более простой пример. Просьба «скажи точно, ты уверен?» не заменит недостающего основания.

В руководстве UNESCO о генеративном AI в образовании сохранение самостоятельности учащегося — один из ориентиров применения технологии. Для домашней работы это можно выразить практическим критерием: после помощи вы способны объяснить решение и проверить новую попытку.

Попробуйте короткую финальную проверку без переписки: закройте диалог, прочитайте исходное условие и объясните решение так, чтобы слушатель понял, что обозначает каждое число. Если смысл держится только на фразе «нейросеть сказала», вернитесь к первому непонятному шагу. Именно с него и стоит продолжить учёбу.

Источники

  1. 1.
  2. 2.

Инструменты по теме

Следующий шаг

Другие статьи по теме