倍业科技:浅析广告点击率CTR预估方法
2021年09月18日

点击率(CTR)是开发者进行流量分发的核心依据之一。比如某知名APP,为了精细化权衡和保障用户、广告收益的利益,准确的CTR预估是不可或缺的。CTR预估技术从传统的逻辑回归,到深度学习,新的算法层出不穷:DeepFM, NFM, DIN, AFM, DCN,PBODL……那么CTR是如何做到高精度预估的呢?开发者为什么要准确预估CTR?

虽然用户使用APP时没有强意图,但是根据用户之前的浏览行为以及习惯,我们是可以提取出一些弱意图的。比如用户在什么广告位、什么广告内容等上停留的时间最长,点击什么样的内容的次数最多,多久重复关注高度类似广告等lookalike,还有类似协同过滤的把用户的行为抽象成特征向量的做法。这其中的核心是理解用户意图,通过设计网络结构进行组合特征的挖掘。

一、CTR对开发者的影响

CTR是从点击到曝光的链接枢纽,为流量智能分发排序提供基础。开发者关心自己的广告收益,即流量效益。开发者一般按广告点击转化向广告主/平台收费(这是被动的),然后根据广告主/平台点击出价计算出ECPM进行排序收费。比如某知名app有几千万次日曝光,它应该卖给出价5元每个点击的广告投放平台c,还是2.5元每个点击的广告投放平台t?盲目的将流量分发给平台c是严重的错误,因为忽视了点击率的影响。



如果平台c投放的广告点击率为1%,平台t投放的广告点击率为5%,将这些流量对半分发给两个平台,那么给c的收益A=曝光数*1%*5,而给t的收益B=曝光数*5%*2.5,平台t的收益是c的2.5倍,开发者收益直接增加150%。从这个案例可以看出,CTR直接影响着开发者收益,所以CTR预估的精度决定着流量分发顺序。

二、为什么不进行部分投放测试出 CTR,不比预估更省事?

假设c平台投放电子产品类广告和t平台投放奢侈品包类广告,同时在该广告位出价都是5元每个点击。两个平台均等随机少量投放测试1万个曝光,最后发现CTR一样5%,那流量分发的优先级应该是什么呢?随机?

由于用户意图不同,所表现的特征差异导致试投测试误差大,所以通过设计网络结构,进行组合特征的挖掘能高度个性化预估CTR。在随机之前,我们要先明白为什么CTR一样?我们剖析这2万个曝光,分为男性用户观看产生的1万个曝光,女性用户观看产生的1万个曝光。我们会发现男性用户对电子产品类广告点击10%,对奢侈品包类广告不点击;女性用户对奢侈品包类广告点击10%,对电子产品类广告不点击。当我们随机投放,两个广告受众男女均等时,也就出现了CTR相同。测试少投这个阶段依然存在,但我们会通过某个模型用交叉特征地看每一个个体的点击率,从而下一个拥有该特征的用户出现时,我们就能相对更加准确地预估了。正确预估CTR进行精准定向展现,同时可以将原来5%点击率提升到了10%,开发者的收益自然提升,这就是CTR预估的意义。

三、如何预估CTR?

预估CTR时将这些因素称之为特征,并从这些特征数据化找到特征向量。虽然上述举例中,我们只看到用户性别、广告内容两个特征,但实际上无数特征都决定了广告的点击率。大致可以分为开发者技术服务商侧、用户侧、广告主技术服务商侧。开发者技术服务商侧,比如频次控制策略、广告位、流量分发机制、历史CTR、时间等;用户侧,年龄、性别、地域、手机型号、WiFi环境、兴趣等;广告主技术服务商侧,广告主行业、广告图片、广告形式、广告文案等。然后把所有的特征变成0和1的二值化,把连续的特征离散化,把特征的值平滑化、把多个特征向量化…….

四、如何衡量CTR预估?

简而言之,预估CTR就是将高CTR的广告筛选出来然后展现。此外,开发者需要注意不要将预估点击率神化,从预估点击率单一角度进行排序。如开文上例,我们要计算的是 点击出价* CTR,排序应该以预估ECPM=预估CTR*点击出价 为核心标准之一,此外我们还需要关注用户体验,注意广告素材质量为排序另一核心标准。

开发者如何判断预估CTR的精度呢?直接把预估CTR和真实CTR直接进行对比,由于预估CTR针对每一次广告展示都会预估,比如这一次预估CTR为5%,但单次广告真实CTR只有两个结果1或0,即100%、0%,所以从单次观察判断是没有意义的,我们应该从一个足够大的样本观察判断精度。

将每一次广告曝光按照预测的CTR从小到大排序,然后按某个单位(比如每10万次曝光)分别统计平均预估CTR和实际CTR,就能知道预测CTR的精度了。

五、选择何种模型进行CTR预估?

通过设计网络结构进行组合特征的挖掘,其在各个模型的实现方式如下:

FM其实是对嵌入特征进行两两内积实现特征二阶组合;FNN在FM基础上引入了MLP;

DeepFM通过联合训练、嵌入特征共享来兼顾FM部分与MLP部分不同的特征组合机制;

NFM、PNN则是通过改造向量积的方式来延迟FM的实现过程,在其中添加非线性成分来提升模型表现力;

AFM更进一步,直接通过子网络来对嵌入向量的两两逐元素乘积进行加权求和,以实现不同组合的差异化,也是一种延迟FM实现的方式;

DCN则是将FM进行高阶特征组合的方向上进行推广,并结合MLP的全连接式的高阶特征组合机制;

Wide&Deep是兼容手工特征组合与MLP的特征组合方式,是许多模型的基础框架;

Deep Cross是引入残差网络机制的前馈神经网络,给高维的MLP特征组合增加了低维的特征组合形式,启发了DCN;

DIN则是对用户侧的某历史特征和广告侧的同领域特征进行组合,组合成的权重反过来重新影响用户侧的该领域各历史特征的求和过程;

多任务视角则是更加宏观的思路,结合不同任务(而不仅是同任务的不同模型)对特征的组合过程,以提高模型的泛化能力。

当然,广告点击率预估深度学习模型还有很多,深度学习的算法层出不穷,开发者可以选择有充分的广告商业化服务从业经验,积淀了一些特征数据、模型训练经验,同时有扎实算法理论基础,倍业科技此前与天津大学产学结合:让流量价值度量衡回归媒体

倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。

参考资料:

《点击率预估界的“神算子”是如何炼成的?》

《学界 | 腾讯提出并行贝叶斯在线深度学习框架PBODL:预测广告系统的点击率 》

《从FM推演各深度CTR预估模型(附代码)》

Card image cap
倍业科技告警服务,让APP流量变现安心更放心
2022年11月25日
在APP流量广告变现时,若流量交易至广告展现任一环节系统异常,又或者是运营人员操作配置不当,都会导致公司产生大笔收入亏损。因此,业务监控告警在APP广告商业化路径中至关重要,这不仅是一线运营开展业务的底层数据资源,更是媒体广告商业化完整闭环的关键所在,对于商业化团队来说,业务监控预警与其工作形态密切相关,而完备的故障监控和预警系统对于广告商业化业务的稳定运行,也起着基础保障作用。倍联Blink告警架构一、监控什么?日常监控主要包含两个层面:接口监控在很多情况下,流程异常都是接口先报错,进而影响到后续流量变现业务,所以接口一般会比业务数据更快的暴露问题。比如新的广告平台对接接口、新的广告位创建接口等。系统会监控接口报错次数,正常情况下接口会正常运行并返回结果。但当接口报错时,意味着无法正常返回结果,会导致流程阻塞,那么就会自动触发告警,通知技术研发人员实时修改。如果接口在某一段时间内,数据量陡增超过设置的正常阀值,那意味着该接口可能存在异常,则会触发业务数据实时监控。业务数据监控对于广告商业化运营人员来说,最需要关注的就是流量变现业务数据,比如当天的填充率、广告返回率、素材拦截数、曝光率、超时率等。因所有业务数据都在实时跑,且受限于每个APP广告商业化团队的资源和实力,大家普遍T+1查看并分析前一天的详细数据,这就造成很大的业务风险。对此,倍联Blink却针对以上核心业务数据进行实时监控。如果发现在某个时间段内,有核心业务数据指标突然急剧下滑或者上升,那么很可能是业务出现异常,倍联Blink则会自动触发告警,通知运营人员及时调整。针对业务数据监控,倍联Blink重点观察核心业务数据变化趋势和极端绝对值。综上所述,倍联Blink监控的内容包括:接口报错监控,实时监控接口的报错情况。业务报错监控,实时监控业务数据核心指标的变化趋势。二、如何告警?如何监控告警,实际上蕴含了三个问题:针对什么进行告警?、什么情况下进行告警?、怎么告警通知?针对什么进行告警?针对什么进行告警,其实在上文需要监控什么中已经有所交代,我们一般需要对研发接口的报错情况和业务数据进行监控并告警。什么情况下进行告警?我们还要知道什么情况下进行告警,此处可以理解为设置告警规则,命中规则的情况下,就启动告警。举个例子,我们对30分钟内填充率、广告返回率等进行监控,如果其绝对值小于x,或者同比昨日30分钟内广告返回率低20%,则启动告警。怎么告警通知?当倍联Blink针对某个指标设置的告警规则生效后,需要如何通知接受人呢?这个问题的实质是倍联Blink对告警级别的处理,不同级别的告警有不同的运行频率和通知机制。我们大致可以分为以下二种:普通告警普通告警一般为数据变化存在异常,需要运营或者研发进行确认是否存在问题,此时不一定有业务风险,可能是活动等原因造成的波动。通知方式是通过绑定的企业微信或者钉钉发送告警信息。致命告警致命告警为数据绝对值出现明显异常,需要马上解决问题。例如广告填充率、曝光率等任一指标突然降为0,素材拦截数等任一指标突然变为100%,一般为每10分钟或每30分钟运行一次。当这类重大业务风险出现时,除了通过绑定的企业微信或者钉钉发送告警信息,还会人工电话联系APP合作伙伴。此外,倍联Blink告警除了能洞察媒体流量商业化业务服务异常,自动执行告警规则。在获得多方授权的前提下,能够依托深度学习技术自动采集,并训练策略模型,提升流量变现防范效率,守护媒体广告商业化业务持续性安全发展。更多详情可前往倍业科技官网了解咨询倍业科技 - app自己的商业化平台​www.bayescom.com/倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。
Card image cap
聚焦APP流量变现场景痛点,将推出颗粒化系列解决方案
2022年11月04日
全域融合实时Bidding厂商倍业科技,基于旗下Blink(倍联)流量管理、A/B Test、AI素材审核、智能告警、诊断分析、全方位数据报表、投放管理、资产管理等功能,聚焦APP流量变现日常工作场景中的高频痛点难点,向移动开发者有针对性地推出颗粒化系列解决方案,让使用者有情感共鸣,让客户有价值认同。倍业科技为合作伙伴免费开放各项产品功能,以及全流程技术和运营支持,并提供API和SDK两种对接方式,为APP提供全生命周期流量变现服务。灵活成熟的功能模块,助力APP长期良性变现APP增加广告变现后,一般会对用户体验产生影响,比如广告展示过多往往会影响用户留存。倍业科技流量分组可以针对不同的用户群体多维度设置分层请求排序,实施不同的流量变现策略、控制广告展示频次;比如A/B Test可以对比同一流量分组下倍业Bidding、传统Waterfall等不同变现策略广告变现效果,从中选取效益最优的广告变现策略。要想在广告变现和用户体验中取得平衡,实现长期良性流量变现,移动开发者需要针对大量的数据进行分析,持续优化流量变现策略。为此,倍业科技提供全方位数据报表有效帮助移动开发者全面分析广告变现收益,分析上游广告渠道采买填充行为和用户观看点击广告素材意愿,优化广告展示频次,实时调整流量变现策略。多元化的广告类型和丰富的广告渠道储备,节省研发集成时间APP类型往往决定其功能比较垂直,好效果的广告位选择空间也相对较少。为了在用户有限的停留时长内尽量多的展示广告,移动开发者需要在不同的广告场景下增加不同样式的广告。针对APP广告场景特点,倍业科技提供穿山甲、腾讯优量汇、百度百青藤、快手联盟等300+市面主流广告平台,以及各自对应的开屏、激励视频、信息流、横幅、全屏视频等广告类型一站式快捷适配。同时支持自定义更多广告API/SDK配置,满足移动开发者在不同的场景下使用不同素材和不同广告类型的诉求,进一步提高了移动开发者的集成效率。SDK代码透明化和私有化部署SaaS并举,最大化保障APP安全面对移动开发者特别是中腰部APP,不断增加的数据安全自主需求。一方面,倍业科技将SDK代码透明化开源,确保数据从采集、传输、使用全链条实现技术可视化。另一方面,倍业科技研发的私有化部署SaaS,可以直接克隆Blink(倍联)平台功能和后台,一站式迁移至移动开发者自有服务器,从源头实现数据安全自主可控。此外,私有化部署SaaS还满足移动开发者专项定制研发、品牌logo展示等个性化需求。截止目前,倍业科技已服务过韩剧TV、人人视频、快对、soul、爱尚天气、驾考宝典、动漫之家等APP,处理过亿级请求量、实现了日千万级曝光量,并保持APP高填充率。当然上述介绍只是提炼的部分APP流量变现场景痛点,以及对应的颗粒化解决方案。后续倍业科技将着重介绍已推出的更多颗粒化解决方案,帮助移动开发者更好实现成本优化或效益提升,为大家提供新的价值创造动能。更多详情可前往倍业科技官网了解咨询倍业科技 - app自己的商业化平台​www.bayescom.com/倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。