Буквально несколько лет назад для получения качественного ответа от ИИ нужно было подробно описывать роль модели, пошагово расписывать алгоритм действий, добавлять уточнения и примеры. По мере развития языковых моделей они стали лучше учитывать контекст и справляться со сложными инструкциями, а вместе с этим изменился и подход к составлению запросов. В интервью RT эксперты рассказали, как правильно формулировать промпты, как нейросеть обрабатывает запросы и какие задачи можно делегировать ИИ сегодня.
- Сгенерировано с помощью ИИ
— Нейросети стали лучше распознавать разговорную речь. Как это изменило промпт-инжиниринг? Какие методы по-прежнему важны для улучшения качества ответов, а какие стали не нужны?
Шеф-редактор Edtech-компании «Лань» — разработчика нейросети ЛаньGPT Екатерина Позднякова
— Промпт-инжиниринг по-прежнему основан на умении чётко ставить задачу нейросети, формулировать корректные вопросы и предоставлять достаточно полный контекст, указывать ограничения и требования к ответу, источникам.
Сегодня промпт необязательно загромождать такими подробными эмоциональными описаниями роли, как раньше: «ты лучший в мире специалист с 10-летним опытом продаж».
— Если человек общается с нейросетью сам, он может несколько раз уточнить запрос. А если нейросеть встроена в сервис, пользователь обычно просто нажимает кнопку и ждёт результат. Что нужно учитывать разработчикам, чтобы модель сразу дала подходящий ответ?
— Речь идёт об узкоспециализированных сервисах на базе ИИ, где возможности промпт-инжиниринга ограничены для пользователя несколькими специальными функциями. Например, подобрать источники по теме.
Если режима чата в сервисе нет, и пользователь не может вести диалог с нейросетью, уточняя запрос, разработчику необходимо заранее предусмотреть, какую конкретную задачу должна решать нейросеть, какие данные ей нужно передать. Кроме того, на какие источники она может опираться, каким должен быть формат ответа и что делать в неоднозначной ситуации.
- Сгенерировано с помощью ИИ
— Как сегодня проверяют качество промпта, прежде чем встроить его в продукт или рабочий процесс?
— Задаются критерии качества: структура, соответствие определённому формату, отсутствие выдуманных фактов, полнота ответа. Затем на типовых запросах проверяется, даёт ли такой промпт релевантный результат.
При необходимости сравниваются несколько версий промпта. Это помогает понять, у какой формулировки самые точные и полные ответы.
Обязательно нужна экспертная оценка ответа человеком: логика изложения, источники представленных в ответе данных, корректность выводов и в целом соответствие поставленной задаче.
— Как сильно промпт зависит от конкретной модели? Например, если компания планирует заменить одну модель на другую, достаточно ли подключить новую модель к текущему промпту или его нужно адаптировать и заново тестировать?
— При смене модели промпт необходимо заново тестировать и, как правило, адаптировать под особенности конкретной нейросети.
— Какие задачи сегодня можно с уверенностью делегировать ИИ без постоянного контроля человека, а где ручная проверка всё ещё обязательна?
— ИИ можно спокойно делегировать то, что отнимает много времени, но при этом не требует самостоятельного решения. Студентам, например, нейросети помогают найти нужный фрагмент в книге, составить план ответа или черновик письменной работы, сократить текст, сравнить несколько вариантов формулировок. Особенно хорошо нейросети справляются с такими задачами, когда работают на основе заранее предоставленных данных, а не ищут информацию самостоятельно в интернете.
Но если мы говорим о фактах, выводах и оценке знаний, без человека здесь не обойтись. ИИ может перепутать дату, автора или термин, придумать ссылку на несуществующую работу и при этом ответить очень уверенно. Поэтому нужно проверять цитаты, цифры, научные данные, источники и формулировать собственные выводы.
Особенно внимательно это нужно делать, если результаты используются в дипломной или исследовательской работе и влияют на итоговую оценку.
Иными словами, рутину можно передавать ИИ. А там, где необходимы точность, смысл и ответственность за результат, последнее слово по-прежнему должно оставаться за человеком.
- Сгенерировано с помощью ИИ
— Что происходит внутри LLM, когда меняется формулировка промпта? Почему изменение одного слова или порядка слов может изменить ответ?
Заместитель директора института математики Университета ИТМО Антон Бойцев
— Языковая модель работает не со «смыслом» промпта напрямую, а с его численным представлением. Она воспринимает запрос как последовательность токенов — небольших фрагментов текста.
Меняя слово или порядок слов, мы меняем последовательность, а вслед за ней и контекст, на основании которого модель вычисляет вероятности при генерации возможного продолжения.
При этом не нужно думать, что перестановка любого слова обязательно радикально изменит ответ. Современные модели достаточно устойчивы к небольшим изменениям. Но если запрос допускает несколько трактовок или модель не вполне уверена в ответе, даже небольшая правка может повлиять на итоговый ответ.
— Почему иногда достаточно просто описать задачу модели, а порой нужно показать примеры желаемого результата? Зависит ли выбор техники промптинга (zero-shot, one-shot, few-shot) от модели и типа задачи?
— Да, выбор зависит и от конкретной модели, и от задачи. Если задача достаточно типичная, например, перевести текст, сделать краткое резюме или изменить стиль, современной модели часто достаточно обычной инструкции, то есть zero-shot.
Примеры полезны, когда нужно объяснить нестандартное правило или очень точно показать желаемый формат результата. В этом случае мы фактически говорим модели: «Вот несколько примеров того, что я считаю правильным, продолжай эту закономерность».
Исследования показывают, что даже один пример в некоторых задачах может сделать поведение модели устойчивее к изменениям формулировки промпта.
- Сгенерировано с помощью ИИ
Но универсального правила «чем больше примеров, тем лучше» нет. Иногда несколько хороших примеров улучшают результат, а иногда только увеличивают объём запроса. Поэтому для серьёзных задач разные варианты промпта имеет смысл проверять экспериментально.
— Есть ли задачи, где чересчур подробный промпт способен ухудшить результат? Например, если в инструкции слишком много правил, примеров и исключений, может ли модель хуже выделять главное?
— Да, но проблема скорее не в длине промпта как таковой. Модели вполне способны работать с очень большими текстами, а дополнительный полезный контекст часто, наоборот, улучшает результат. Проблема возникает, когда вместе с длиной растёт количество второстепенных, конкурирующих или противоречащих друг другу инструкций. Если мы задаём десятки правил, исключений и примеров, модели сложнее определить, какие требования главные.
Поэтому хороший промпт не обязательно должен быть коротким. Я бы сформулировал принцип так: важно не минимизировать объём запроса, а максимизировать долю полезной информации. Чем яснее поставлена задача, обозначены приоритеты и отделены исходные данные от инструкций, тем устойчивее результат.
— Надёжны ли негативные промпты («не делай…», «избегай…»)? Будет ли результат заметно отличаться, если вместо запрета использовать формулировку «сделай… вместо…»? И может ли перечисление нежелательных вариантов, наоборот, повысить вероятность их появления в ответе?
— Негативные инструкции работают, но у них есть естественный недостаток. Они хорошо говорят модели, чего мы не хотим, но гораздо хуже — чего хотим вместо этого. Например, инструкция «не используй сложные термины» оставляет огромное количество возможных вариантов действий. А фраза «объясни простым языком, понятным человеку без специальной подготовки» гораздо точнее задаёт направление генерации.
Поэтому надёжнее не просто запрещать, а предлагать альтернативу: «делай так, а не так».
- Сгенерировано с помощью ИИ
— Когда мы пишем нейросети «ты врач», «ты маркетолог», добавляем ли мы ей полезную информацию о задаче или лишь задаём определённую манеру ответа? Повышает такая инструкция качество результата?
— Фраза «ты врач» не превращает языковую модель в настоящего врача и, что особенно важно, не добавляет ей новых медицинских знаний. Фраза задаёт определённый контекст — может изменить лексику, стиль объяснения, степень подробности и т. д. Считать назначение роли универсальным способом сделать модель умнее или точнее нельзя. Экспериментальные исследования показывают, что добавление профессиональной «персоны» само по себе не даёт стабильного повышения точности на объективных задачах. Для одних запросов эффект может быть положительным, для других — отрицательным или вовсе отсутствовать.
Поэтому вместо абстрактной роли полезнее конкретно описать работу. То есть роль может быть полезной рамкой, но она не заменит хорошую постановку задачи. А фразы вроде «ты лучший эксперт в мире с двадцатилетним опытом» чаще меняют манеру ответа, чем реальные возможности модели.
