GPT Prompt Engineer

GPT Prompt Engineer - это инструмент искусственного интеллекта, разработанный для упрощения процесса создания эффективных подсказок для систем искусственного интеллекта. Используя мощь моделей GPT-4, GPT-3.5-Turbo и Claude 3 Opus, этот сервис упрощает сложную задачу создания подсказок, позволяя пользователям генерировать, тестировать и ранжировать множество подсказок, чтобы найти наиболее эффективные для своих конкретных случаев использования.

Основные особенности

Инструмент gpt-prompt-engineer предлагает ряд функций, которые делают его бесценным активом для всех, кто стремится оптимизировать производительность искусственного интеллекта:

1. Генерация подсказок: С помощью передовых моделей искусственного интеллекта инструмент может генерировать различные возможные подсказки на основе предоставленного случая использования и тестовых случаев, обеспечивая подсказки, настроенные на конкретную задачу.

2. Тестирование подсказок: Система тестирует каждую подсказку на всех тестовых случаях, сравнивая их производительность и ранжируя их с использованием системы рейтинга ELO. Это позволяет пользователям легко определить наиболее эффективные подсказки.

3. Система рейтинга ELO: Каждая подсказка начинает с рейтинга ELO 1200. По мере их соперничества друг с другом в генерации ответов на тестовые случаи их рейтинги ELO меняются в зависимости от их производительности, обеспечивая четкое указание наиболее эффективных подсказок.

4. Версия классификации: Инструмент включает версию классификации, предназначенную для выполнения классификационных задач, оценивающую правильность тестового случая путем сопоставления его с ожидаемым выводом (‘true’ или ‘false’) и предоставляющую таблицу с оценками для каждой подсказки.

5. Версия Claude 3: Тетрадь claude-prompt-engineer предназначена для работы с моделью Claude 3 Opus от Anthropic, автоматически генерируя тестовые случаи и позволяя использовать несколько входных переменных, что делает ее еще более мощной и гибкой.

6. Логирование весов и отклонений: Дополнительное логирование в Weights & Biases ваших конфигураций, таких как температура и максимальное количество токенов, системы и пользовательских подсказок для каждой части, используемых тестовых случаев и окончательного ранжированного рейтинга ELO для каждой кандидатской подсказки.

7. Portkey: Дополнительный инструмент для логирования и отслеживания всех цепочек подсказок и их ответов.
   
   

Установка и использование

Для использования gpt-prompt-engineer пользователи должны настроить инструмент в Jupyter или Google Colab. Они должны добавить свой ключ API OpenAI на строку openai.api_key = ""ADD YOUR KEY HERE"" и, если используют версию Claude 3, добавить свой ключ API Anthropic на строку ANTHROPIC_API_KEY = ""ADD YOUR KEY HERE"".

Как использовать

Инструмент разработан с учетом удобства использования, с простым процессом создания и тестирования подсказок:

1. Определите свой случай использования и тестовые случаи. Например, если вы хотите создать заголовок для страницы лендинга, ваше описание может быть ““При заданной подсказке сгенерировать заголовок для страницы лендинга””, а ваши тестовые случаи могут включать конкретные подсказки, такие как ““Продвижение инновационного нового фитнес-приложения Smartly”” или ““Почему вегетарианская диета полезна для вашего здоровья””.

2. Выберите количество подсказок для генерации. Имейте в виду, что это может стать дорогим, если вы генерируете много подсказок, поэтому 10 - хорошая отправная точка.

3. Вызовите generate_optimal_prompt(description, test_cases, number_of_prompts) для генерации списка потенциальных подсказок и тестирования и оценки их производительности.

4. Окончательные рейтинги ELO будут напечатаны в таблице, отсортированные по убыванию. Чем выше рейтинг, тем лучше подсказка.
   
   

Вклад и будущее развитие

Проект gpt-prompt-engineer открыт для вкладов и приветствует идеи по расширению своих возможностей. Некоторые потенциальные области развития включают:

• Наличие нескольких различных системных генераторов подсказок, создающих различные стили подсказок для охвата большего количества задач (например, примеры, развернутые, краткие, markdown и т. д.).

• Автоматическая генерация тестовых случаев.

• Расширение версии классификации для поддержки более чем двух классов с использованием tiktoken