【顾客数据管理实例:街口】街口用Kafka自建资料流程,打造即时数据管理大平台

街口支付作为交易第三方,数据管理需求特殊。他们需要经营的利益关系方,不只600万支付App用户,还有20万特约商家*。这两方,街口都会投入预算,来增加人数、商家数及交易频率,因此用户数据与商家数据,街口都必须深度分析,来优化。

一开始,街口需要分析数据时,都得请各资料库管理师协助捞取。当数据分析需求增加,这个资料取得模式便显得效率低下,因此他们认为必须导入新数据管理模式。由於管理需求特殊,加上金融业法遵需求严格,街口没有采购CDP等外部工具,而是选择自行建立专责团队,打造一个数据平台,让分析团队能一站式取用多个资料库的数据。

自行打造资料平台,强调高即时性、易取用的数据取用机制

街口2022年成立数据工程(DE,Data Engineering)团队,利用开源工具来自行打造数据管理平台,输送数据给数据分析(DA,Data Analytics)团队。街口支付技术长张佑杰说明,街口内部资料库很多,DA团队所需数据量庞大,维度又多元。因此,街口以确保数据高即时性、正确性以及易取用性为目标,来设计平台的资料流程(Data Pipeline)。

在资料流程中,先利用Kafka Connect,将众多资料库串连到Kafka。接着利用建立於Kafka上的开源CDC(Change Data Capture)机制Debezium,来撷取异动资料,并以易取用的格式即时呈现资料变动。接着,Kafka会扮演资料整合层,将更新的资料存入Kafka的不同主题分类(Topic)中,再发布到OLAP资料库,并用Airflow来管理整个ETL资料处理过程。

张佑杰说,街口没有采购商用CDP,而由自家DA、DE团队处理数据,是希望能建立一套完全符合自家数据需求的管理机制。不过,距离这个理想管理机制,街口仍面临两个挑战。

第一是人才问题。张佑杰坦言,街口和整体台湾环境中,商业分析人才都远多数据工程人才,如何找到具备巨量资料处理经验的工程师是一大挑战。街口目前做法是,寻找平台开发人才,确保资料流程的稳定性、可扩充性及可用性,同时增强工程师数据应用的观念,来提供更好支援DA团队的需求。

另一个是法规的上云限制。张佑杰说,电子支付有多少资料能上云,金融业现行法规没有明确指导原则。因此,街口目前所有资料处理都在地端进行。「这会造成算力跟空间不够,难以快速扩充,难以快速反应与日俱增的资料分析需求。」

为了在法规明确开放电支资料上云时做好准备,街口所有分析用资料都先去识别化,只有广告投放阶段,才会再将分析结果与个资配对。配对过程须经过严格授权和监督,在受保护环境中运行,以降低隐私风险。

街口支付技术长张佑杰说,他们决定自行组成数据工程团队,是因为街口数据应用需求特殊,且受到严格金融法规监管。不过,就连身为科技公司的街口,也困於数据工程人才不足。摄影_洪政伟

利用数据洞察制定用户分级、商家收益管理及整体扩张策略

街口DA团队会分析用户的交易数据及使用数据。交易数据包括交易时间、商家种类、交易单价、交易地点、使用功能种类等维度。根据这些维度来贴标会员,投放分众行销讯息时,便能设计不同的标签组合来决定推播对象。

举例来说,街口今年推出的会员分级制度,将用户依照交易频次、金额等因素分为5个等级,交易频次愈多、金额愈高,等级也愈高。负责DA团队的街口策略营运经理徐广岳说,这个机制的升级门槛,正是根据用户交易数据分析结果而制定。例如,会员流失特徵是一个月交易次数小於3次,因此,第1级升级门槛就订为交易频率大於3次,来吸引可能流失的会员。下一阶段的升级门槛订成月交易笔数大於10笔,则是因为用户平均交易次数,就是10笔左右。

另一个用户数据的用法,街口於App操作介面多处埋点,来蒐集常用功能、App操作情况的使用数据。有了这些数据,不只可以用来优化App设计,也可作为对用户行销特定主打功能的参考。徐广岳解释,不同App功能,各有不同成本和收益,他们会格外优化高收益的功能,还会视使用情况来增减高收益功能的优惠幅度。

商家经营方面,街口为了吸引商家加入生态圈,签约初期会提供手续费减免等优惠。为了回收这个初期成本,以及监控商家为街口带来的收益,街口会分析商家交易量、交易金额,以及影响这些数值的因素。

街口还会综合商家与用户数据的洞察,来制定营业扩张及大型行销活动政策。徐广岳透露街口扩张城市营业规模的策略是,先提升合作店家数量和密度,形成商圈来吸引用户。像他们近期在新竹的发展就围绕着自家赞助的职篮队球赛,发起了一个大型周末行销活动。一方面,街口从过往商家业绩数据,来制定活动内容,并尝试吸引高业绩商家附近的新合作商家,另一方面,则分析用户数据,来决定此活动的行销用户。例如,街口新竹交易时间多发生在平日上班时间,可以推测新竹用户大多不是本地人,而是通勤上班族。在新竹推播行销讯息时,便能锁定更愿意周末移动到其他县市的外地用户。

近期,街口开始尝试半自动化行销,当用户符合特定条件,就会触发对应行销活动。张佑杰表示,未来还考虑使用更多自动化行销,甚至AI技术来做智慧分众。不过,他没有透露具体规画。

*注:20万特约商家系指成立工程团队之时,现街口支付已超过30万间特约商家。

负责数据分析团队的街口策略营运经理徐广岳表示,街口许多行销策略细节都是根据数据分析来决定,例如会员制度的升级门槛,就是依照潜在流失客和一般用户的交易笔数来订定。摄影_洪政伟

 相关报导 

0
希望看到您的想法,请您发表评论x