Нейросеть PrivateGPT

PrivateGPT - это готовый к использованию в производстве проект искусственного интеллекта, который позволяет пользователям взаимодействовать с их документами с использованием возможностей больших языковых моделей (LLM), даже в ситуациях, когда отсутствует интернет-соединение. Этот инструмент искусственного интеллекта обеспечивает полную конфиденциальность, поскольку никакие данные не покидают среду выполнения пользователя во время взаимодействия. Проект предоставляет API, который предлагает все необходимые примитивы для создания частных, контекстно-ориентированных приложений искусственного интеллекта. Он следует и расширяет стандарт API OpenAI, поддерживая как обычные, так и потоковые ответы.

API разделено на две логические части: High-level API, которое абстрагирует сложность реализации конвейера Retrieval Augmented Generation (RAG), и Low-level API, которое позволяет опытным пользователям реализовывать свои собственные сложные конвейеры. High-level API включает функциональности, такие как загрузка документов, чат и завершение с использованием контекста из загруженных документов, а также абстрагирует извлечение контекста, создание запросов и генерацию ответов. Low-level API предоставляет функциональности, такие как генерация вложений и извлечение контекстуальных фрагментов.

PrivateGPT разработан для решения значительной проблемы конфиденциальности данных при использовании генеративного искусственного интеллекта компаниями всех размеров и в данных-чувствительных областях, таких как здравоохранение или юриспруденция. Он предлагает решение для обеспечения полного контроля организации над данными, устраняя риск утечки данных, связанный с сторонними инструментами искусственного интеллекта.

Архитектура проекта построена с использованием FastAPI и следует схеме API OpenAI. Она использует абстракции LlamaIndex, такие как LLM, BaseEmbedding и VectorStore, что позволяет легко изменять фактическую реализацию этих абстракций. Дизайн PrivateGPT позволяет легко расширять и адаптировать как API, так и реализацию RAG, обеспечивая простоту и гибкость.

PrivateGPT активно поддерживается командами Qdrant, Fern и LlamaIndex, а также получил влияние и поддержку от других значимых проектов, таких как LangChain, GPT4All, LlamaCpp, Chroma и SentenceTransformers.