因果推断之Uplift Model｜CausalML实战篇

Methodology

 / 原理篇 

S-Learner & T-Learner：对应我们在入门篇中提到的一段式（Single-Model）和两段式（Two-Model）差分响应模型，即不直接对uplift建模，而是用响应模型预测客户在营销/不营销下的响应率，相减得到ITE。

这样处理的原因是，如果 g(x) 很小（客户被营销的可能性低），则 τ^1 的权重更大，即更倾向于control组数据训练的模型。

一个形象的说法是，X-Learner就像它的名字一样，是个交叉的X：用treatment组模型去计算control组的增益，用control组模型去计算treatment组的增益，加入“倾向性得分”参数，解决了组间数量差异大时T-Learner表现不佳的问题。

R-Learner是通过将问题转化为定义损失函数的形式进行学习训练，利用了学习残差的思想。具体原理文档中写的比较复杂，我没看明白就不多解释了:-) 感兴趣的朋友可以去看看文档，后面会做用法的演示。

由于我们无法获得每个样本实际的uplift值，无法形成以uplift值为标准的类内相似而类间不同的模型输出，因此决策树的特征选择与分裂过程无法复用传统的熵增益、基尼系数等评价指标。以下是几种改造后的分裂标准：

DDP：非常简单易懂的一种分裂标准：衡量分裂后两个叶子结点的CATE的差值。第一步先计算叶子结点内实验组和控制组的响应率差值，第二步计算左右结点响应率差值的差值。因此非常形象称作DDP，delta-delta-p (ΔΔP)。

Divergence Gain：我们可以将实验组和控制组看作两个关于outcome的概率分布，用D表示这两个概率分布的差异，如果分裂后D增大，说明此次分裂能体现出treatment对于outcome的影响，所以每一次分裂都会选择使分裂前后D的增益最大的特征与阈值，D的增益写成公式如下：

度量两个概率分布的差异主要有以下三种方式（p为实验组，q为控制组）：

基于KL散度

基于欧几里德距离

基于卡方检验

CTS：全称Contextual Treatment Selection，从名字可以看出，这种方法可用于多treatment的问题。

我们知道在二分类中，模型输出一个类别的置信度得分即可反映分类结果，但在多分类问题中则需要输出所有类别的置信度分数；类比到uplift问题中，两种treatment问题中利用treatment与control组的输出期望差值反应增益效果，而多treatment场景下每两个treatment的输出期望之间可求差值得到相应的uplift score。

因此CTS在进行树的分裂时将按照如下公式计算分裂增益：

其中φ代表树结点，t代表treatment类型。CTS计算分裂后子结点中不同treatment下输出期望的最大值加权和与父结点对应指的差值，并以此作为分裂标准，希望分裂所得的两个结点中都存在对某种treatment较为敏感的人群。

CTS的测试阶段将根据测试样本落在的叶子结点，返回该结点上各treatment下的输出期望，以提供treatmet选择的依据，若存在多棵树组合的结构(如随机森林、gbdt等)，则将多棵树的结果取均值得到最终结果。

 Installation

/ 安装篇

官方文档上列举的安装方式有以下三种：

✔使用pip安装：pip安装依赖git工具获取源码，以获得前置依赖库列表，随后再安装causalml本体。

git clone https://github.com/uber/causalml.git
cd causalml
pip install -r requirements.txt
pip install causalml

git clone https://github.com/uber/causalml.git
cd causalml/envs/
conda env create -f environment-py38.yml  # for the virtual environment with Python 3.8 and CausalML
conda activate causalml-py38

✔源码安装：源码安装方式必须通过git拉取源代码，并利用setup文件进行本地安装。

git clone https://github.com/uber/causalml.git
cd causalml
pip install -r requirements.txt
python setup.py build_ext --inplace
python setup.py install

Modeling

/ 建模篇

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
from sklearn.model_selection import train_test_split
from xgboost import XGBRegressor


from causalml.inference.meta import XGBTRegressor
from causalml.inference.meta import BaseSLearner, BaseTLearner, BaseRLearner, BaseXLearner
from causalml.inference.tree import UpliftRandomForestClassifier
from causalml.dataset import *
from causalml.metrics import *

# 使用synthetic_data生成数据
# 默认Treatment是0/1
y, X, treatment,_,_,e = synthetic_data(mode=1, n=10000, p=8, sigma=1.0)
y, X, treatment,e

# 使用make_uplift_classification生成数据
# 默认treatment是'control','treatment1','treatment2','treatment3'
df, x_names = make_uplift_classification(n_samples=100000, treatment_name=[0,1], n_classification_features=10)
df

STEP2 模型训练

CausalML的数据准备与模型训练过程基本继承自sklearn架构，在得到带有label的原始数据后通过train_test_split进行训练集与验证集划分，其模型架构也与sklearn类似。下面将分别使用Meta-Learner中的S、T、R、X Learner和uplift tree在训练集上进行训练，并在测试集上预测。

2.1 Train with Meta-Learner

CausalML提供两种调用方式：

一是通过调用一个基础学习器Base-Learner，并提供一个sklearn/xgboost回归器类作为输入；

二是直接使用包里一些集成好的学习器，例如直接调用LRSRegressor，等于调用BaseSLearner，并使Learner = LinearRegressor，如下所示：

# S Learner
learner_s = BaseSLearner(learner=XGBRegressor())
learner_s.fit(X=df_train[x_names].values, 
              treatment=df_train['treatment_group_key'].values, 
              y=df_train['conversion'].values)
cate_s = learner_s.predict(df_test[x_names].values)


# T Learner
learner_t = BaseTLearner(learner=XGBRegressor())
learner_t.fit(X=df_train[x_names].values, 
                       treatment=df_train['treatment_group_key'].values, 
                       y=df_train['conversion'].values)
cate_t = learner_t.predict(df_test[x_names].values)




# X Learner 
learner_x = BaseXLearner(learner=XGBRegressor())
cate_x = learner_x.fit(X=df_train[x_names].values, 
                       treatment=df_train['treatment_group_key'].values, 
                       y=df_train['conversion'].values)
cate_x = learner_x.predict(df_test[x_names].values)


# R Learner 
learner_r = BaseRLearner(learner=XGBRegressor())
cate_r = learner_r.fit(X=df_train[x_names].values, 
                       treatment=df_train['treatment_group_key'].values, 
                       y=df_train['conversion'].values)
cate_r = learner_r.predict(df_test[x_names].values)

2.2 Train with Tree-Based Method

Causal ML里有 DescisionTree、UpliftTreeClassifier、UpliftRandomForest-Classifier、UpliftTreeRegressor、UpliftRandomForestRegressor等接口可以使用，n_estimators, max_depth, normalization等参数的设定方式与sklearn中树模型类似，evaluationFunction参数可以设置成上文提到的KL、ED、Chi、CTS、DDP等。

# Random Forest Classifier
uplift_model = UpliftRandomForestClassifier(control_name='control', n_estimators=69, max_depth=5, evaluationFunction='KL')
uplift_model.fit(X=df_train[x_names].values, 
                 treatment=df_train['treatment_group_key'].map({0:"control", 1:"treatment"}).values, 
                 y=df_train['conversion'].values)
cate_rf = uplift_model.predict(df_test[x_names].values, full_output=False)

2.3 Visualize Predictions

可以对不同预测结果进行可视化，便于观察数据分布差异。

alpha=0.2
bins=30
plt.figure(figsize=(12,8))
# plt.hist(cate_s, alpha=alpha, bins=bins, label='S Learner')
plt.hist(cate_t, alpha=alpha, bins=bins, label='T Learner')
plt.hist(cate_x, alpha=alpha, bins=bins, label='X Learner')
plt.hist(cate_r, alpha=alpha, bins=bins, label='R Learner')
plt.hist(cate_rf, alpha=alpha, bins=bins, label='Tree-based_RF')
plt.vlines(cate_s[0], 0, 1950, label='S Learner', linestyles='dotted', colors='green', linewidth=2)
plt.title('Distribution of CATE Predictions')
plt.xlabel('Individual Treatment Effect (ITE/CATE)')
plt.ylabel('# of Samples')
_=plt.legend()

将样本按照模型评分降序排序后分成n组，可以计算每一组的增益和前n组的累积增益，描绘出累计增益曲线，即uplift curve。该曲线表现出模型的预测能力，通常来说曲线下面积越大，模型效果越好。除此以外，还可以通过累积增益提升度、基尼系数、基尼曲线下面积等指标评估模型效果。以下为上述各类评估指标的计算及可视化实现方式。

# 计算前t个样本的累计增益
get_cumgain(df, outcome_col='y', treatment_col='treatment',normalize=False, random_seed=42)
# 可视化前t个样本的累计增益，即 Uplift Curve
plot_gain(df, outcome_col='y', treatment_col='treatment', normalize=False, random_seed=10, n=100, figsize=(8, 8))
# 计算AUUC，即Uplift Curve下面积
auuc_score(df, outcome_col='y', treatment_col='treatment', normalize=True, tmle=False)
# cate_rf_pred    0.317780
# cate_s_pred     0.470058
# cate_r_pred     0.811364
# cate_x_pred     0.812155
# cate_t_pred     0.622380
# Random          0.494298


# 计算前t个样本的累计增益提升度、可视化
get_cumlift(df, outcome_col='y', treatment_col='treatment',random_seed=42)
plot_lift(df, outcome_col='y', treatment_col='treatment', random_seed=42, n=100, figsize=(8, 8))


# 计算前t个样本的基尼系数、可视化
causalml.metrics.get_qini(df, outcome_col='y', treatment_col='treatment', normalize=False, random_seed=42)
causalml.metrics.plot_qini(df, outcome_col='y', treatment_col='treatment', normalize=False, random_seed=42, n=100, figsize=(8, 8))

累积增益曲线, Uplift Curve

上方的每条曲线表示按照该模型预测的uplift score降序排序后，前t组的累积增量效果。random表示随机排序时的累积增益效果。每条曲线最终相交的位置表示全量营销时的平均增量效果。

这组模型的uplift curve普通波动比较大，尤其在前1/3的排序能力不是非常理想（理想情况是一个先增后降的拱形曲线）。其中，Xlearner的AUUC为0.81，预测效果最好。若基于Xlearner的预测结果做筛选，可以取累积增益最高点，即前32000人进行营销。

# Using the feature_importances_ method in the base learner 
# method = auto (calculates importance based on estimator’s default implementation of feature importance;
learner_x.plot_importance(X=df_test[x_names].values, tau=cate_x, normalize=True, method='auto')


# Using the feature_importances_ method in the base learner 
# method = permutation (calculates importance based on mean decrease in accuracy when a feature column is permuted;
learner_x.plot_importance(X=df_test[x_names].values, tau=cate_x, normalize=True, method='permutation')


# Using SHAP
learner_x.plot_shap_values(X=df_test[x_names].values, tau=cate_x)