Dragonfly: P2P-система для быстрой передачи файлов в облаке

  ·   чтения   ·     ·  
Проект Dragonfly успешно завершил инкубационный период в Cloud Native Computing Foundation и теперь помогает организациям эффективно распространять контейнеры и AI-модели по сети.
Dragonfly: P2P-система для быстрой передачи файлов в облаке

Проект Dragonfly, разработанный изначально для внутреннего использования в Alibaba Cloud, достиг важной вехи в своем развитии. После пяти лет в инкубаторе Cloud Native Computing Foundation (CNCF) система доказала свою эффективность в реальных условиях.

В чем же особенность Dragonfly? Это P2P-система, которая позволяет молниеносно копировать контейнеры и большие AI-модели по сети. Представьте, что вам нужно распространить один и тот же файл на тысячи серверов. Вместо того чтобы каждый сервер загружал копию с центрального сервера, создавая огромную нагрузку на сеть, серверы обмениваются файлами друг с другом. Это очень похоже на работу торрентов, только в корпоративной среде.

Технология особенно хорошо показала себя в работе с контейнерами, кэшем и логами. За время разработки в проект внесли свой вклад 271 разработчик из 130 компаний, создав более 26 000 коммитов.

Dragonfly уже активно используется в крупных компаниях. Например, в Alibaba он помогает справляться с нагрузками во время грандиозной распродажи в День холостяков. В Ant Group система обслуживает более 10 000 узлов Kubernetes. А в Datadog благодаря Dragonfly время запуска сервисов сократилось с пяти минут до нескольких секунд.

Важной частью экосистемы Dragonfly стал подпроект Nydus, который еще больше ускоряет распространение моделей. Система поддерживает все современные инструменты: устанавливается через Helm, мониторится через Prometheus и OpenTelemetry, работает по протоколу gRPC и интегрируется с открытым реестром Harbor.

Так P2P-технологии, которые когда-то прославились благодаря Napster, нашли новое применение в современных облачных системах, помогая компаниям эффективнее управлять своей инфраструктурой.

Смотрите также

Логотип Telegram

Будьте в курсе новых нейросетей — подпишитесь на наш Telegram-канал!

Ежедневные обзоры свежих AI-инструментов, лайфхаки и инструкции прямо в вашем мессенджере.

AILibri – главная страница
Ctrl / ⌘+K