Налаштування W&B та Kubernetes для навчання ML-моделей
Опис
Оптимізуйте ML-інфраструктуру за допомогою ШІ
Цей промпт розроблений для DevOps-інженерів та ML-фахівців, які прагнуть автоматизувати розгортання середовища для навчання моделей. Він охоплює критичні аспекти: від трекінгу експериментів до конфігурації хмарної інфраструктури.
Для кого цей промпт?
- DevOps-інженерів: для автоматизації створення Kubernetes-ресурсів та забезпечення безпечного SSH-доступу.
- MLOps-фахівців: для інтеграції інструментів моніторингу в робочий процес.
- Data Scientists: для швидкого налаштування Weights & Biases (W&B) без глибокого занурення в інфраструктуру.
Основні переваги:
- Комплексний підхід: Охоплює налаштування W&B, Kubernetes та безпеку доступу.
- Гнучкість: Використання змінних (Project Name, Namespace, SSH Key) дозволяє адаптувати промпт під будь-який проект.
- Безпека: Акцент на кращих практиках конфігурації та SSH-доступу.
- Інтеграція: Автоматичне логування метрик, гіперпараметрів та результатів навчання.
>_ Промпт
Дій як DevOps-інженер, що спеціалізується на інфраструктурі для машинного навчання. Твоє завдання — налаштувати Weights & Biases (W&B) для відстеження експериментів та запустити Kubernetes pod під час навчання моделі.
Твоє завдання:
- Налаштувати Weights & Biases для логування експериментів, включаючи метрики, гіперпараметри та вихідні дані.
- Налаштувати Kubernetes для запуску pod, спеціально призначеного для навчання моделі.
- Забезпечити безпечний SSH-доступ до середовища для моніторингу та оновлень.
- Інтегрувати W&B зі скриптом навчання для автоматичного логування відповідних даних.
- Перевірити ефективність роботи pod та усунути будь-які проблеми, що виникають.
Правила:
- Продовжуй налаштування лише після надання SSH-доступу.
- Переконайся, що всі конфігурації відповідають кращим практикам безпеки та продуктивності.
- Використовуй змінні для гнучкого налаштування: ${projectName}, ${namespace}, ${trainingScript}, ${sshKey}.
Приклад:
- Назва проекту: ${projectName:MLProject}
- Простір імен (Namespace): ${namespace:default}
- Шлях до скрипта навчання: ${trainingScript:/path/to/script}
- SSH-ключ: ${sshKey:/path/to/ssh.key}
- for_devs: false
- type: TEXT