画像笔记6- (标签总原则)非实时标签-统计类标签-近30日行为标签

续昨天。

标签数据的开发，主要包括 离线标签开发、实时类标签开发、用户特征库开发、人群计算、打通数据服务层等开发内容。

离线标签

主要包含：统计类标签、规则类标签、挖掘类标签。

实时类标签

针对给用户展现实时性较强的场景：首页新人弹窗、新人红包

用户特征库

围绕用户每次行为明细记录相关数据，如用户浏览、搜索、收藏、下单等行为明细。一般该特征库按日做时间分区。

人群计算

应用在数据服务层之前，业务方需要组合用户的标签来筛选出对应的人群，通过人群计算功能组合标签划分出对应的人群。

打通数据服务区层，

将业务规则圈出来的用户人群推送到不同的业务系统上去。

统计类标签开发：

统计类标签指的统计用户相关数值、客观描述用户状态的标签,如用户的年龄、体重、累计购买金额、累计购买次数、近30日登陆次数等。

userid维度的用户标签表可按日分区，设计为如下结构：

案例1，离线标签

近30日购买行为这个二级类目进行拆解，可将其拆解为：付款订单量（ACTION_U_01_001)、总付款金额(ACTION_U_01_002)、加入购物车次数(ACTION_U_01_003)

将需要计算的标签从目标表中抽取出来：

union all 表示把各个结果集的数据按照列名进行合并，而且不会消除重复的数据。

比如第一个查询有100条两列，第二个查询结果也为160条两列，故使用union all之后，可以将这两个结果合并成一个，变成260行两列。

可参考
csdn::https://blog.csdn.net/helloxiaozhe/article/details/88598003

保证每天作业将近30日的标签打在每个有相应行为的用户身上，单要做到增量获取用户最新状态，还需要做一层全连接关联。

举个常见的例子，某个用户前天购买了3单商品，如果昨天又购买了2单，则今天最新的状态是3+2=5单，替换掉前天3单的权重值，

如果昨天没有购买行为，则权重值仍为3.

关注下NVL（）函数，

NVL( string1, replace_with)：给值为NULL的数据赋值：如果string1为NULL，则NVL函数返回replace_with的值，否则返回string1的值；如果两个参数都为NULL ，则返回NULL。

给labelweight 赋值，如果最新的有数据t2.labelweight,则用最新的，否则用老的(t1.labelweight)。

上面脚本old_date_partition 为设置的一个日期变量，每日传入的数值都不同：

这段代码中对第二段代码做了一层Spark 封装，

另外，上面的代码做了一层Spark封装，可将第二段的HiveSQL语句提交到Spark集群上执行。提交Spark任务计算该标签

“spark-submit --master yarn --deploy-mode client --driver-memroy 1g --executor-memory 2g --executor-cores 2 --num-executors 50 userprfile_latest_30days_label.py start-date”

其中spark-submit的参数设置如下：

• deploy-mode:在本地（Client）启动Driver 还是在集群上（Cluster）启动Driver;
• driver-memory:Driver 端内存大小；
• executor-memory:Executor端内存大小；
• executor-cores:每个Executor 核数
• num-executors:启动Executor的数量。

class:如果是JAR或Scala程序的jar包，该参数对应应用程序的主类，对于提交的Python脚本，不用提交该参数。

解释下strptime:

解释下datetime. timedelta

old_date_partition = strftime(strptime(start_date_str，format) - datetime.timedelta(1),format) // 获取1天前的日期，按照format 输出（%Y%M%D)

month_day_ago = strftime(strptime(start_date_str，format) - datetime.timedelta(1),format) //获取一个月钱的日期，按照format输出（%Y%M%D)

第一个用户 “44463729”

付款订单量（ACTION_U_01_001)： 付款订单量为3 ，一天就下三单，不错嘛。

第六个用户“32101029”

总付款金额(ACTION_U_01_002) ： 157元 ， 还可以啊，一天买了157块

第七个用户“23551034”

加入购物车次数(ACTION_U_01_003) ：16次，没买东西，看来转化不行啊。