AB test 助力开发者提升APP广告商业化时的用户体验
2021年06月11日

一、AB test简介


AB test是互联网产品运营中寻求更优策略的一种方式,其本质是一种准确归因,在互联网行业中被常用作:为确定某种更有效的流量策略,选定两个或多种路径方案实施,在同一时间维度,让样本属性近似的两个或多个群体按照不同路径访问,通过收集相关数据综合分析,从而评估出更有效的方案并加以利用。


APP流量智能分发成为AB test最常见的应用场景,这是因为广告AB test不仅能高效的分析出哪个版本的广告素材更受用户青睐,以及怎么设置广告才能吸引到更多用户点击,还能充分挖掘APP的流量价值实现效益最大化,更多能助力开发者提升APP广告商业化时的用户体验。


二、AB test的应用场景和形式


首先我们来了解一些AB test在APP广告化的现实应用,通过举一些常见的例子,有利于开发者们或者运营人员快速了解。从广告展现来看,包括广告形式优化、广告素材(文案、图片、视频)、广告布局以及展现频次优化等场景都可以采用AB test

  • 广告形式:一款APP不可能只有一种广告形式,每一个广告位下,静态图、动态图或者视频形式对用户体验的影响不同,带来的商业收益也不一致,此时开发者就可以圈定类似的用户群体,在相同时间投放相同的内容在不同形式下进行展现,反复 test可确定哪一种形式效率更好;
  • 广告素材:同一个广告位,同一种素材下,广告内容优化也可以借助AB test来实现,静态图片下,文案是“立即进入”还是“现在打开”更好,画面色彩如何选择,涉及到素材优化不能有效达成一致时,统统交给 test的数据说话。
  • 广告布局:广告内容中文案在左还是产品在左,同一个广告页面里不同元素的组合排列也常用在AB test
  • 展现频次:广告点击率和人均广告展示次数事关广告收入,广告的展现频次把握需要不断的调整优化磨合,在商业利益最大化和用户体验平衡天秤中,深深考验着开发者的操作功底,这也是广告变现AB test的重要应用场景,在广告上线前通过不断的 test直到确定更优效果。


以上可了解一些基础的应用场景,那么在实际操作中如何安排广告流量分配形式呢,主要有两种方案:同层互斥分配和分层流量正交。


  • 同层互斥分配:是为了防止 test实验相互之间的数据干扰,可以在同一个流量层中创建实验,各个实验公用100%流量,单个用户或者设备只能被分配到流量层的一个实验中去;
  • 分层流量正交:是为了充分利用流量提高实验效率,逐层设置实验结构,上一层的实验样本还可以在下一层实验中全量使用。


三、AB test的核心功能架构


AB test正成为广告商业化增长和用户运营留存的秘密武器,更快更高效的试错迭代,正帮助开发者持续优化流程,来源于客观数据的驱动和结论,避免了人为主观判断,不再使商业化人员面临决策时左右为难。


那么AB test框架要怎么搭建呢?需要知晓 test系统的各个模块和环节配合, test系统的主体有四个模块:配置管理模块、分流模块、数据分析模块、预警对接模块。


  • 配置管理模块:该模块可以理解为主要面向系统使用者的前端模块,包含 test实验的名称、时长、样本、群体等实验属性的选择配置,是整个实验活动的管理后台,开发者可以选择实验指标、配置参数,管理和查看实验数据,比如Google的Optimize架构,就为产品提供了相应的五层实验管理平台。
  • 分流模块:产品有若干用户流量,如何判定每个用户进到哪一个 test实验就涉及到分流算法,国内主要是采取Cookie分流法,通过抓取的用户数据匹配相应的实验,从而前端向客户展示对应的实验版本。
  • 数据分析模块:通过对埋点数据的整理、清洗和分析,观察实验数据的波动情况,从而判断实验的有效性;
  • 预警对接模块:首选的当然是商用的AB testSDK,成熟高效必然有埋点,毕竟不可能每次与业务进行对接,当然自建也是可以的。


如果从用户视野理解AB test的整体架构,那么整个流程是这样的:


  • 用户进入APP, test分流模块依据提前圈定的属性规则,按照分流算法开始进行受众、规则、分层管理,为此用户开始分流,一部分去向原始版本,另一部门去向实验版本;
  • 原始版本和实验版本的的用户各有50%的可能,当然这个流量分配原则和比例,管理后台是可以配置的,在用户进入不同模块的时段,埋点数据进行记录;
  • 对埋点数据进行清洗、整理和分析,可以得出具体 test数据;
  • 数据整合并在管理后台展示,返回实验报告。



AB test的单个模块和整体配合便是如此,相关的产品、技术和运营人员需要用到的环节不同,但是都应当对底层逻辑有所了解,方能实现流量的精细化分发,达到充分挖掘每个流量价值的目标


、AB test产品化:广告商业化决策的重要工具


最早风靡于硅谷互联网的AB test技术,在进入国内后逐渐呈现产品化的趋势,成为企业商业化决策的重要工具之一,在各个互联网各个领域大放异彩。越来越多的知名APP正在尝试体验广告AB test,通过对实验流程进行科学test和小范围试错,有效的提升了广告曝光和有效点击,这一环节值得持续和长期跟踪,直到实现商业收入最大化和用户体验的极致平衡。

为了解决APP的的广告流量精细化缺失难题,倍业科技通过专业级SDK管理帮助开发者收益提升,全流程的商业化托管和专业运维服务,帮助产品解决广告商业化困境。

Card image cap
倍业科技告警服务,让APP流量变现安心更放心
2022年11月25日
在APP流量广告变现时,若流量交易至广告展现任一环节系统异常,又或者是运营人员操作配置不当,都会导致公司产生大笔收入亏损。因此,业务监控告警在APP广告商业化路径中至关重要,这不仅是一线运营开展业务的底层数据资源,更是媒体广告商业化完整闭环的关键所在,对于商业化团队来说,业务监控预警与其工作形态密切相关,而完备的故障监控和预警系统对于广告商业化业务的稳定运行,也起着基础保障作用。倍联Blink告警架构一、监控什么?日常监控主要包含两个层面:接口监控在很多情况下,流程异常都是接口先报错,进而影响到后续流量变现业务,所以接口一般会比业务数据更快的暴露问题。比如新的广告平台对接接口、新的广告位创建接口等。系统会监控接口报错次数,正常情况下接口会正常运行并返回结果。但当接口报错时,意味着无法正常返回结果,会导致流程阻塞,那么就会自动触发告警,通知技术研发人员实时修改。如果接口在某一段时间内,数据量陡增超过设置的正常阀值,那意味着该接口可能存在异常,则会触发业务数据实时监控。业务数据监控对于广告商业化运营人员来说,最需要关注的就是流量变现业务数据,比如当天的填充率、广告返回率、素材拦截数、曝光率、超时率等。因所有业务数据都在实时跑,且受限于每个APP广告商业化团队的资源和实力,大家普遍T+1查看并分析前一天的详细数据,这就造成很大的业务风险。对此,倍联Blink却针对以上核心业务数据进行实时监控。如果发现在某个时间段内,有核心业务数据指标突然急剧下滑或者上升,那么很可能是业务出现异常,倍联Blink则会自动触发告警,通知运营人员及时调整。针对业务数据监控,倍联Blink重点观察核心业务数据变化趋势和极端绝对值。综上所述,倍联Blink监控的内容包括:接口报错监控,实时监控接口的报错情况。业务报错监控,实时监控业务数据核心指标的变化趋势。二、如何告警?如何监控告警,实际上蕴含了三个问题:针对什么进行告警?、什么情况下进行告警?、怎么告警通知?针对什么进行告警?针对什么进行告警,其实在上文需要监控什么中已经有所交代,我们一般需要对研发接口的报错情况和业务数据进行监控并告警。什么情况下进行告警?我们还要知道什么情况下进行告警,此处可以理解为设置告警规则,命中规则的情况下,就启动告警。举个例子,我们对30分钟内填充率、广告返回率等进行监控,如果其绝对值小于x,或者同比昨日30分钟内广告返回率低20%,则启动告警。怎么告警通知?当倍联Blink针对某个指标设置的告警规则生效后,需要如何通知接受人呢?这个问题的实质是倍联Blink对告警级别的处理,不同级别的告警有不同的运行频率和通知机制。我们大致可以分为以下二种:普通告警普通告警一般为数据变化存在异常,需要运营或者研发进行确认是否存在问题,此时不一定有业务风险,可能是活动等原因造成的波动。通知方式是通过绑定的企业微信或者钉钉发送告警信息。致命告警致命告警为数据绝对值出现明显异常,需要马上解决问题。例如广告填充率、曝光率等任一指标突然降为0,素材拦截数等任一指标突然变为100%,一般为每10分钟或每30分钟运行一次。当这类重大业务风险出现时,除了通过绑定的企业微信或者钉钉发送告警信息,还会人工电话联系APP合作伙伴。此外,倍联Blink告警除了能洞察媒体流量商业化业务服务异常,自动执行告警规则。在获得多方授权的前提下,能够依托深度学习技术自动采集,并训练策略模型,提升流量变现防范效率,守护媒体广告商业化业务持续性安全发展。更多详情可前往倍业科技官网了解咨询倍业科技 - app自己的商业化平台​www.bayescom.com/倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。
Card image cap
聚焦APP流量变现场景痛点,将推出颗粒化系列解决方案
2022年11月04日
全域融合实时Bidding厂商倍业科技,基于旗下Blink(倍联)流量管理、A/B Test、AI素材审核、智能告警、诊断分析、全方位数据报表、投放管理、资产管理等功能,聚焦APP流量变现日常工作场景中的高频痛点难点,向移动开发者有针对性地推出颗粒化系列解决方案,让使用者有情感共鸣,让客户有价值认同。倍业科技为合作伙伴免费开放各项产品功能,以及全流程技术和运营支持,并提供API和SDK两种对接方式,为APP提供全生命周期流量变现服务。灵活成熟的功能模块,助力APP长期良性变现APP增加广告变现后,一般会对用户体验产生影响,比如广告展示过多往往会影响用户留存。倍业科技流量分组可以针对不同的用户群体多维度设置分层请求排序,实施不同的流量变现策略、控制广告展示频次;比如A/B Test可以对比同一流量分组下倍业Bidding、传统Waterfall等不同变现策略广告变现效果,从中选取效益最优的广告变现策略。要想在广告变现和用户体验中取得平衡,实现长期良性流量变现,移动开发者需要针对大量的数据进行分析,持续优化流量变现策略。为此,倍业科技提供全方位数据报表有效帮助移动开发者全面分析广告变现收益,分析上游广告渠道采买填充行为和用户观看点击广告素材意愿,优化广告展示频次,实时调整流量变现策略。多元化的广告类型和丰富的广告渠道储备,节省研发集成时间APP类型往往决定其功能比较垂直,好效果的广告位选择空间也相对较少。为了在用户有限的停留时长内尽量多的展示广告,移动开发者需要在不同的广告场景下增加不同样式的广告。针对APP广告场景特点,倍业科技提供穿山甲、腾讯优量汇、百度百青藤、快手联盟等300+市面主流广告平台,以及各自对应的开屏、激励视频、信息流、横幅、全屏视频等广告类型一站式快捷适配。同时支持自定义更多广告API/SDK配置,满足移动开发者在不同的场景下使用不同素材和不同广告类型的诉求,进一步提高了移动开发者的集成效率。SDK代码透明化和私有化部署SaaS并举,最大化保障APP安全面对移动开发者特别是中腰部APP,不断增加的数据安全自主需求。一方面,倍业科技将SDK代码透明化开源,确保数据从采集、传输、使用全链条实现技术可视化。另一方面,倍业科技研发的私有化部署SaaS,可以直接克隆Blink(倍联)平台功能和后台,一站式迁移至移动开发者自有服务器,从源头实现数据安全自主可控。此外,私有化部署SaaS还满足移动开发者专项定制研发、品牌logo展示等个性化需求。截止目前,倍业科技已服务过韩剧TV、人人视频、快对、soul、爱尚天气、驾考宝典、动漫之家等APP,处理过亿级请求量、实现了日千万级曝光量,并保持APP高填充率。当然上述介绍只是提炼的部分APP流量变现场景痛点,以及对应的颗粒化解决方案。后续倍业科技将着重介绍已推出的更多颗粒化解决方案,帮助移动开发者更好实现成本优化或效益提升,为大家提供新的价值创造动能。更多详情可前往倍业科技官网了解咨询倍业科技 - app自己的商业化平台​www.bayescom.com/倍业科技成立于2015年,以“赋能媒体商业化”为使命和愿景。自主研发推出APP自己的商业化管理和运营产品Blink,先后获得了险峰华兴、竑观投资、颐成投资等机构的投资。业务涵盖视频、社交、金融、教育、交通出行、汽车、母婴、动漫、工具等多个领域媒体商业化。已与国内100多款知名媒体建立长期合作伙伴关系。倍业科技整合了API和SDK解决方案,结合了全栈式广告技术,通过流量管理和运营优化工具,为媒体充分挖掘每个流量的价值。