← Справочные архитектуры / reference-architecture / diagrams / ai
Создание объектов на основе контента
Сочетание моделей генерации текста с моделями преобразования текста в изображение позволяет создавать мощные системы ИИ, способные генерировать визуальный контент на основе входных запросов. Такая интеграция реализуется через совместную схему работы, при которой модель генерации текста формирует запросы для модели преобразования текста в изображение на основе входного текста.
Вот как может работать этот процесс:
-
Обработка входного текста. Система получает входной текст, который может быть как простым предложением, так и несколькими абзацами. Этот текст служит основой для генерации визуального контента.
-
Генерация промптов: модель генерации текста создаёт промпты на основе входного текста. Эти промпты специально формируются, чтобы направлять модель преобразования текста в изображение на создание изображений, контекстно соответствующих входному тексту. Промпты могут включать описания, ключевые слова или другие подсказки, направляющие процесс генерации изображений.
-
Модерация контента: модели классификации текста можно использовать для проверки соответствия сгенерированных материалов политикам в отношении контента
-
Модель преобразования текста в изображение: она принимает на входе подсказки (prompts), сгенерированные моделью генерации текста, и создает соответствующие изображения. Модель учится преобразовывать текстовые описания в визуальные представления, стремясь передать суть и контекст исходного текста.
Такие комбинации моделей ИИ можно применять, например, для создания визуальных материалов для маркетинга, публикаций, презентаций и других целей.
Генерация ресурсов
- Загрузка от клиента: Отправка POST-запроса с контентом на конечную точку API.
- Генерация промптов: Генерация промпта для последующей модели text-to-image через вызов Workers AI модели для генерации текста с содержимым на входе.
- Проверка безопасности: Проверьте соответствие правилам безопасности, вызвав Workers AI модели классификации текста с ранее сгенерированным промптом на входе.
- Генерация изображений: Генерация изображения через вызов Workers AI модели генерации изображений по тексту ранее сгенерированный промпт.