本文整理自趣丸科技资深研发工程师阮陈贵在【WOT2023·深圳站】大会上的主题分享，更多精彩内容及现场PPT，请关注51CTO技术栈公众号，发消息【WOT2023PPT深圳】即可直接领取。
嘉宾 | 阮陈贵
编辑 | 张诚
出品 | 51CTO技术栈（微信号：blog51cto）
2023年11月24日-25日，51CTO主办的“WOT全球技术创新大会2023·深圳站”成功召开。在《AIGC赋能业务》专题论坛中，趣丸科技资深研发工程师阮陈贵带来了《AIGC在趣丸科技广告素材场景下赋能业务的探索实践》主题分享，详细介绍了AIGC技术在多模态素材上发挥的作用，AIGC如何为广告投放业务赋能，以及趣丸科技的AIGC的实践应用。
1、AIGC赋能广告行业数据营销和创意场景
广告行业拥有巨大的市场份额。艾瑞公布的数据显示，广告市场占总体GDP的1%，并且还在持续地增长。AIGC的兴起，将会对数字营销内容和创意场景进行赋能，包括文生文、文生图、音频、视频、跨模态等。
阮陈贵在分享中表示，AIGC对应的文案、图片、视频、音频，能够非常好地与广告匹配，是天然为广告业务而生。对于多模态技术，则能够更好地匹配广告业务。为此，趣丸科技开展了AIGC在广告行业中的相关探索。
图片
据介绍，AIGC在广告业务的深层应用中，生成图片和内容理解是比较重要的两个方面。谈到内容理解，阮陈贵认为，把图片、文本、视频等内容提供给AI，AI不但能够帮助人们对图片进行解析，还能够理解文本中的情感信息、理解视频中音频所包含的信息等等，通过AI整理形成人们所需要的内容。
洞察生成内容，反向作用再去生成内容，这个过程便是趣丸科技对AIGC在内容理解更深层次的应用。
2、趣丸科技的程序化广告投放与素材特点
阮陈贵表示，产品投放包括准备期、测试期、拓量期、稳定期、衰减期五个阶段，涵盖广告投放的整个生命周期。素材与广告是一体化的，理解素材的业务特点就是了解广告投放生命周期的过程。由于广告投量越来越大，投放玩法越来越多样，这就需要大量的素材，包括文本、图片、视频等素材。因此，素材在广告投放生命周期中扮演着重要的作用。
基于此，趣丸科技开发了名为“起飞”的智能投放系统，从基础版本到智能化，再到素材智能化，该系统进行了五年时间的持续迭代。
图片
阮陈贵表示，我们希望能够把所有素材用智能化的方式搭建广告，并不断地观察数据是不是符合预期，并与媒体进行交互，进行转化管理。通过打造智能化生成素材——素材监测——媒体效果反馈，将信息与媒体资源进行打通与整合，并形成闭环，最终作用于素材本身。
趣丸科技将素材方向分为信息流广告和新媒体广告。所谓信息流广告，就是在朋友圈中看到的各种硬广和软广。大部分硬广会把视频、封面、文本组成一个创意包进行展示，并不会指定特定内容。新媒体广告是指那些小众或者更加垂直领域的内容，这类广告会通过推荐产品的形式来吸引用户。
随着产品体量越来越大，素材需求量也变得更大。而素材制作过程繁琐，也带来了人手不足和产能不足的问题。除此之外，还会出现大量历史素材无法高效利用的问题。如何利用AIGC解决这些问题，成为趣丸科技重点探讨的方向。
3、基于AIGC技术的广告素材生成产品方案
从素材数量上进行区分，趣丸科技将其分为常态化素材和探索素材。所谓常态化素材，就是能够用固定范式进行归纳的素材形式。探索素材是原生类型素材、是指新的产品和新的投放模式。
阮陈贵认为，AIGC的突破点在于素材的结构化。
为此，趣丸科技通过产品方案增强AIGC业务效果，并利用AIGC辅助生产，打通了内容制作需求、素材收集、创意化生产、流程化生产、使用反馈的数据闭环。一方面，对于相对固定范式的内容生产，实现了全自动化、多线程操作，大幅提升了效率；另一方面，通过引入AIGC辅助人工设计师创作，帮助设计师完成元素材创作，实现了AIGC优化拓展；最后，形成素材元素采拆解能力，实现了元素级别的数据洞察。
图片
据介绍，起飞系统在集合了AIGC能力的同时，拥有独立的原子能力。它支持基于LLM的文生文，包括短文案、长篇文。具备内容理解的AI混编能力和人脸融合优化效果，拥有预设风格与Prompt的绘画能力。目前，起飞系统已经提供AI脚本生成、AI换脸、AI视频混编、AI图片混编、AI绘图、短文案生成、长篇文生成等功能，并在持续更新中。
接下来，阮陈贵通过文生视频、AI图片混编、AI广告文案详细介绍了三大生成技术应用。
在文生视频生成技术上，从剧本创作到拍摄分镜，再到后期处理，整个流程中AIGC无处不在。不仅需要AI能够对素材元素进行理解和标注，并能够进行灵活的脚本结构设置，还要对语义识别进行打分推荐。最后，要具备强大的后期处理能力，以此帮助用户从繁复的工作解放出来。
图片
在分镜推荐技术方面，可以实现实现基于LLM&向量数据库的AI分镜推荐能力。并且，可以充分利用ASR、OCR等基础技术识别素材中的音频与文字内容，输入大语言模型进行标签生成，与人工标记的标签组合成视频内容摘要，通过向量化模型进行Embedding。最后，语义检索（Retrieval）输出目标分镜，加入视频混编流程。
图片
据介绍，起飞系统已经实现了1分钟50+视频产出、50%以上素材占比、ROI>2。阮陈贵表示，从研发到上线，我们就把所有成本都进行了核算。目前，在底层逻辑不变的情况下，一分钟能够生产50个视频。当然，这也要看资源投入量，如果堆加CPU或GPU，还能够生成更多视频。
在接下来的时间里，阮陈贵详细分享了AI图片混编、AI广告文案的生成技术应用，这里不再过多介绍。
谈及未来的挑战与规划，阮陈贵表示，目前趣丸科技已经做到了元数据的素材洞察。未来，趣丸科技将重点探索所有数据与投放平台整体数据之间的联动，希望在优化师提出需求时，让系统清晰地告诉他们这个需求应该用什么数据、用哪些片段、用哪几帧，甚至用哪几秒，让广告位投放达到最优标准。
嘉宾介绍
阮陈贵曾就职于腾讯音乐娱乐集团，从事音乐类社交软件后端服务研发。目前是趣丸科技广告平台技术负责人，负责程序化在线广告投放系统架构设计及AIGC在广告创意素材应用落地。2023年，阮陈贵主导项目“多模态AI数据应用一站式管理平台”，在中国信息通信研究院举办的关于“Data-centric AI以数据为中心的人工智能应用案例”征集活动中被评为“优秀案例”。此外，阮陈贵在音频处理、社交应用及广告策略系统方面拥有8项发明专利。