GPT Prompt Engineer - это инструмент искусственного интеллекта, разработанный для упрощения процесса создания эффективных подсказок для систем искусственного интеллекта. Используя мощь моделей GPT-4, GPT-3.5-Turbo и Claude 3 Opus, этот сервис упрощает сложную задачу создания подсказок, позволяя пользователям генерировать, тестировать и ранжировать множество подсказок, чтобы найти наиболее эффективные для своих конкретных случаев использования.
Основные особенности
Инструмент gpt-prompt-engineer предлагает ряд функций, которые делают его бесценным активом для всех, кто стремится оптимизировать производительность искусственного интеллекта:
-
Генерация подсказок: С помощью передовых моделей искусственного интеллекта инструмент может генерировать различные возможные подсказки на основе предоставленного случая использования и тестовых случаев, обеспечивая подсказки, настроенные на конкретную задачу.
-
Тестирование подсказок: Система тестирует каждую подсказку на всех тестовых случаях, сравнивая их производительность и ранжируя их с использованием системы рейтинга ELO. Это позволяет пользователям легко определить наиболее эффективные подсказки.
-
Система рейтинга ELO: Каждая подсказка начинает с рейтинга ELO 1200. По мере их соперничества друг с другом в генерации ответов на тестовые случаи их рейтинги ELO меняются в зависимости от их производительности, обеспечивая четкое указание наиболее эффективных подсказок.
-
Версия классификации: Инструмент включает версию классификации, предназначенную для выполнения классификационных задач, оценивающую правильность тестового случая путем сопоставления его с ожидаемым выводом (‘true’ или ‘false’) и предоставляющую таблицу с оценками для каждой подсказки.
-
Версия Claude 3: Тетрадь claude-prompt-engineer предназначена для работы с моделью Claude 3 Opus от Anthropic, автоматически генерируя тестовые случаи и позволяя использовать несколько входных переменных, что делает ее еще более мощной и гибкой.
-
Логирование весов и отклонений: Дополнительное логирование в Weights & Biases ваших конфигураций, таких как температура и максимальное количество токенов, системы и пользовательских подсказок для каждой части, используемых тестовых случаев и окончательного ранжированного рейтинга ELO для каждой кандидатской подсказки.
-
Portkey: Дополнительный инструмент для логирования и отслеживания всех цепочек подсказок и их ответов.
Установка и использование
Для использования gpt-prompt-engineer пользователи должны настроить инструмент в Jupyter или Google Colab. Они должны добавить свой ключ API OpenAI на строку openai.api_key = ""ADD YOUR KEY HERE"" и, если используют версию Claude 3, добавить свой ключ API Anthropic на строку ANTHROPIC_API_KEY = ""ADD YOUR KEY HERE"".
Как использовать
Инструмент разработан с учетом удобства использования, с простым процессом создания и тестирования подсказок:
-
Определите свой случай использования и тестовые случаи. Например, если вы хотите создать заголовок для страницы лендинга, ваше описание может быть ““При заданной подсказке сгенерировать заголовок для страницы лендинга””, а ваши тестовые случаи могут включать конкретные подсказки, такие как ““Продвижение инновационного нового фитнес-приложения Smartly”” или ““Почему вегетарианская диета полезна для вашего здоровья””.
-
Выберите количество подсказок для генерации. Имейте в виду, что это может стать дорогим, если вы генерируете много подсказок, поэтому 10 - хорошая отправная точка.
-
Вызовите
generate_optimal_prompt(description, test_cases, number_of_prompts)для генерации списка потенциальных подсказок и тестирования и оценки их производительности. -
Окончательные рейтинги ELO будут напечатаны в таблице, отсортированные по убыванию. Чем выше рейтинг, тем лучше подсказка.
Вклад и будущее развитие
Проект gpt-prompt-engineer открыт для вкладов и приветствует идеи по расширению своих возможностей. Некоторые потенциальные области развития включают:
-
Наличие нескольких различных системных генераторов подсказок, создающих различные стили подсказок для охвата большего количества задач (например, примеры, развернутые, краткие, markdown и т. д.).
-
Автоматическая генерация тестовых случаев.
-
Расширение версии классификации для поддержки более чем двух классов с использованием tiktoken
Блог