El nuevo AI Framework Text2Poster genera automáticamente carteles basados ​​en texto

Los carteles se utilizan ampliamente en numerosos contextos comerciales y no comerciales para promover y difundir información como una forma de medio con elementos artísticos y prácticos. Por ejemplo, las empresas de comercio electrónico utilizan banners atractivos para anunciar sus productos. Los sitios web para eventos públicos, como conferencias, suelen estar decorados con carteles educativos.

Text2Poster es un sistema único, un generador automático de carteles que utiliza un extenso modelo visual y de texto previamente entrenado para generar imágenes de fondo relevantes a partir de textos de entrada, como se muestra en la siguiente figura.

Así es como los propios autores (Chuhao Jin, Hongteng Xu, Ruihua Song, Zhiwu Lu) explican el proceso: " Simulando el proceso de edición manual de carteles, nuestro sistema utiliza un modelo de texto visual previamente entrenado a gran escala para obtener imágenes de fondo de textos dados, construye textos sobre las imágenes de forma iterativa utilizando codificadores automáticos en cascada y, finalmente, estiliza los textos utilizando un método basado en coincidencias. Entrenamos módulos del sistema utilizando estrategias de aprendizaje débiles y autosupervisadas, lo que reduce la necesidad de datos etiquetados. Experimentos objetivos y subjetivos muestran que nuestro Text2Poster supera a los métodos actuales, incluida la investigación académica y el software comercial, en la calidad de los carteles producidos. "

Enlace a Github del proyecto Text2Poster: https://github.com/chuhaojin/Text2Poster-ICASSP-22 .

Para comprobar el funcionamiento del generador de carteles, simplemente ejecuta el archivo Python después de ingresar tus datos:

importar sistema operativo, hora, json, solicitudes de marca de tiempo = time.strftime('%Y%m%d%H%M%S',time.localtime(time.time())) input_text_elements = { "sentencias": [ [" DÍA DEL NIÑO", 90], # [texto, tamaño de fuente] ["Los niños son el futuro de la nación", 50] # [texto, tamaño de fuente] ], "background_query": "¡Día del Niño!" # oración utilizada para recuperar imágenes de fondo. } input_text_elements = json.dumps(input_text_elements) api_url = "http://bl.mmd.ac.cn:8889/text2poster" respuesta = request.get(api_url, params = {"input_text_elements": input_text_elements}) f = open( "póster-{}.jpg".format(marca de tiempo), "wb") f.write(response.content) f.close() print("Guardar póster en:", "póster-{}.jpg".format (marca de tiempo) 

A continuación se muestran los resultados que obtuvimos. Definitivamente podemos decir que Text2Poster aún no entiende bien el ruso, pero sí el chino. Tampoco está claro si la red neuronal se centra en las palabras indicadas en el título y el subtítulo.

mensaje: celebrando el año nuevo frente al televisor en un apartamento soviético en la mesa

rápido: urss 80s

mensaje: invierno en San Petersburgo

¿Te quedaron bien los carteles? - Definitivamente no muy bien. Pero la idea misma de que se pueda poner en marcha la creación de carteles pronto comenzará a excitar las mentes tanto de los desarrolladores como de las personas emprendedoras.

Y aquí están los carteles de los propios autores: