腾讯广告团队表示，以朋友圈pCVR为例，采用Multi-Embedding模型后，不同目标AUC都有较显著的提升，线上的模型目前均已采用该结构。
粗排、召回算法也升级
为了配合精排模型的创新与提升，召回算法、粗排算法都选择了排序学习（Learn to Rank, LTR），它们以精排结果为学习目标，希望能更好地对接最终的精排模型。
召回候选广告队列达百万级，需在全库广告中择优，因此存在较大的选择性偏差问题。为此，腾讯广告团队引入用户和广告自监督对比学习，并与原有监督学习任务联合训练，提升了模型泛化能力。其次，团队还对负采样进行了优化，并在广告对比学习中引入 Momentum Contrast机制，提升了全库感知。
粗排在业界长期以来采用类似精排、但更简单的LiteCXR模型。然而，考虑到粗排的定位是典型的集合选择问题，其核心优化目标应该是排序一致性。所以，研发团队转向排序学习LTR 模型。对比传统做法，LTR模型更加简洁高效，之前数据稀疏、样本选择偏差问题也得到大幅缓解。
物质基础：太极机器学习平台
与算法同等重要的是计算平台，尤其是对于广告系统，在线学习、高并发低延迟的推断，都离不开计算平台的支持，不然前文大模型的各种方案与创新，都只是空中阁楼。
从计算平台方面，首先需要它能支持千亿参数量模型的在线学习，也即广告大模型要能 7*24小时实时迭代优化自己的效果；其次在发布模型时，需要快速将300多GB的模型权重文件推送到全国上百个推理服务器，并启动、加载到计算设备中；最后，计算平台还要有能力支持快速推理，别看说的简单，但当模型达到千亿量级，优化推理速度可是难之又难。
混元AI大模型和广告大模型，其背后的物质基础，即腾讯「太极机器学习平台」。
太极机器学习平台由腾讯TEG云架构平台部的机智平台和数据平台部的Tesla平台协作共建而成，是该公司首个大规模云原生机器学习平台，更在中国信通院举办的2021云原生产业大会上获得了「云原生应用优秀案例」奖项。
先从技术上来看，通过整合与高效利用资源，太极机器学习平台旨在提供统一的机器学习框架和加速方案。该平台采用分布式参数服务器架构，具备业内领先的模型训练能力，提供GPU算力和训练加速框架，是业界第一梯队企业们公认的最佳选择。
太极机器学习平台在训练上的技术突破。除此之外，平台的大模型发布机制、推理机制都在技术上有本质的突破。
再从应用上来看，太极机器学习平台目前为多个公司级的业务提供训练平台与加速服务，其中针对广告应用场景及依附的大模型技术进行了性能优化，并得到了充分的工业应用检验。
太极机器学习平台在技术上具备独有优势，又能落地到实际应用场景中。那么，面对具有优化训练速度和推理需求的混元AI大模型和广告大模型技术，该平台是如何基于自身能力进行针对性优化和提升的呢？
首先是平台易用性提升大模型研发效率。
广告模型的开发通常涉及特征与样本生产、模型训练、模型服务等主要环节，在过去的系统中，这些环节的操作需要涉及多个子系统，算法开发者需要在多个系统之间切换，导致操作复杂，时间长成本高。为此，太极机器学习平台针对广告场景打造了一站式广告平台，将主要的模型开发流程进行集成，过去多个子系统收拢到一处入口，大幅提升平台的易用性，提高模型研发的效率。
其次是针对不同类别的大模型「具体问题具体分析」。
混元AI大模型属于CV/NLP类预训练模型，基于太极机器学习平台进行研发。借助GPU算力，实现快速算法迭代和模型训练。该平台的预训练大模型训练框架支持数据并行和模型并行等分布式训练策略，其中模型并行包含张量并行、流水并行和专家并行，以及多种组合优化策略。
腾讯广告大模型属于广告推荐类稀疏大模型，太极机器学习平台对它采用了分布式参数服务器（Parameter Server, PS）架构。这种架构的优势在于存储模型参数和执行模型计算在各自的服务器上运行，如此一来，增加更多服务器意味着可以支持更大、计算需求更高的模型。这就为赋能腾讯亿级用户、海量广告内容的大模型提供了架构支撑。
此外，腾讯基于这种架构自研了参数服务器系统AngelPS，现在可以支持10TB级模型的训练。
Angle参数服务器架构设计。
最后是模型训练硬件加速能力和超大模型在线推理服务能力。
一方面，太极机器学习平台的模型训练硬件加速能力非常突出。我们就以混元AI大模型的训练为例，太极的加速方案高于业界其他方案3.7倍，能够有效提升模型的训练效率。
另一方面，该平台具备超大模型在线推理服务的能力。推理计算方面支持常规 CPU 计算和复杂模型的GPU计算加速；存储上，根据在线推理模型大小，自适应选择小模型本地内存加载和大模型AngelPS远程查询的部署策略。
就效果而言，目前在太极机器学习平台上，千亿参数、TB规模训练、百GB规模预测的腾讯广告大模型能够短时间内完成计算，并提供可靠的广告匹配结果。
可以这样说，太极机器学习平台实现了对混元AI大模型和广告大模型的助力，并最终提升了腾讯广告自身的推荐效率以及面向受众的推荐效果。
18321220911