【原】woebin，一個(gè)很可觀的 python 庫(kù)！

Python集中營(yíng) 2024-12-12 發(fā)布于甘肅

展開全文

在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的領(lǐng)域，特征工程是一個(gè)至關(guān)重要的步驟。特征工程的目的是通過對(duì)原始數(shù)據(jù)的處理和轉(zhuǎn)換，提取出對(duì)模型訓(xùn)練有用的信息。

在眾多特征工程技術(shù)中，WOE（Weight of Evidence）和IV（Information Value）是用于分類問題的重要工具。

本文將介紹Python中的woebin模塊，并通過案例分析展示如何使用該模塊進(jìn)行特征工程。

WOE（Weight of Evidence）

WOE是一種將分類變量轉(zhuǎn)換為數(shù)值變量的方法。它通過計(jì)算每個(gè)類別相對(duì)于目標(biāo)變量的“證據(jù)權(quán)重”來實(shí)現(xiàn)。

WOE的計(jì)算公式如下：

[ WOE = \ln\left(\frac{P(\text{Good})}{P(\text{Bad})}\right) ]

其中，P(Good)是某一類別中好樣本的比例，P(Bad)是該類別中壞樣本的比例。

IV（Information Value）

IV是用來衡量一個(gè)特征對(duì)目標(biāo)變量預(yù)測(cè)能力的指標(biāo)。IV的計(jì)算公式為：

[ IV = \sum (P(\text{Good}) - P(\text{Bad})) \times WOE ]

IV的值可以用來判斷特征的重要性：

· IV < 0.02：無預(yù)測(cè)能力
· 0.02 ≤ IV < 0.1：弱預(yù)測(cè)能力
· 0.1 ≤ IV < 0.3：中等預(yù)測(cè)能力
· IV ≥ 0.3：強(qiáng)預(yù)測(cè)能力

woebin模塊簡(jiǎn)介

woebin是一個(gè)Python庫(kù)，專門用于計(jì)算WOE和IV。它可以處理分類特征，并將其轉(zhuǎn)換為WOE值，方便后續(xù)的模型訓(xùn)練。

woebin模塊的主要功能包括：

· 計(jì)算WOE和IV
· 自動(dòng)處理缺失值
· 可視化WOE分布

安裝woebin模塊

在使用woebin模塊之前，我們需要先安裝它?？梢酝ㄟ^以下命令進(jìn)行安裝：

pip install woebin

數(shù)據(jù)準(zhǔn)備

我們將使用一個(gè)簡(jiǎn)單的信用卡違約數(shù)據(jù)集進(jìn)行分析。數(shù)據(jù)集包含以下字段：

· ID: 客戶ID
· LIMIT_BAL: 信用額度
· SEX: 性別（1=男，2=女）
· EDUCATION: 教育程度（1=大學(xué)，2=研究生，3=高中，4=其他）
· MARRIAGE: 婚姻狀況（1=已婚，2=未婚，3=其他）
· AGE: 年齡
· DEFAULT: 是否違約（1=違約，0=未違約）

我們將使用pandas庫(kù)來加載和處理數(shù)據(jù)。

import pandas as pd

# 加載數(shù)據(jù)
data = pd.read_csv('credit_default.csv')

# 查看數(shù)據(jù)基本信息
print(data.info())
print(data.head())

數(shù)據(jù)預(yù)處理

在進(jìn)行WOE轉(zhuǎn)換之前，我們需要對(duì)數(shù)據(jù)進(jìn)行一些預(yù)處理，包括處理缺失值和轉(zhuǎn)換數(shù)據(jù)類型。

# 檢查缺失值
print(data.isnull().sum())

# 填充缺失值（這里以中位數(shù)填充為例）
data['LIMIT_BAL'].fillna(data['LIMIT_BAL'].median(), inplace=True)

# 將性別、教育程度和婚姻狀況轉(zhuǎn)換為分類變量
data['SEX'] = data['SEX'].astype('category')
data['EDUCATION'] = data['EDUCATION'].astype('category')
data['MARRIAGE'] = data['MARRIAGE'].astype('category')

計(jì)算WOE和IV

使用woebin模塊計(jì)算WOE和IV非常簡(jiǎn)單。我們可以使用woebin函數(shù)來實(shí)現(xiàn)。

from woebin import woebin

# 定義特征和目標(biāo)變量
features = ['SEX', 'EDUCATION', 'MARRIAGE', 'AGE']
target = 'DEFAULT'

# 計(jì)算WOE和IV
binning_result = woebin(data, y=target, x=features)

# 查看WOE和IV結(jié)果
print(binning_result)

可視化WOE分布

woebin模塊還提供了可視化功能，可以幫助我們更好地理解WOE的分布情況。

import matplotlib.pyplot as plt
from woebin import woebin_plot

# 可視化WOE分布
woebin_plot(binning_result)
plt.show()

應(yīng)用WOE值

計(jì)算出WOE值后，我們可以將其應(yīng)用于模型訓(xùn)練。我們需要將原始特征替換為WOE值。

# 將WOE值應(yīng)用于數(shù)據(jù)集
data_woe = woebin_ply(data, binning_result)

# 查看WOE轉(zhuǎn)換后的數(shù)據(jù)
print(data_woe.head())

模型訓(xùn)練

現(xiàn)在我們可以使用WOE轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行模型訓(xùn)練。這里我們使用邏輯回歸模型作為示例。

from sklearn.model_selection import train_test_split
from sklearn.linear_model importLogisticRegression
from sklearn.metrics import classification_report

# 劃分訓(xùn)練集和測(cè)試集
X = data_woe.drop(columns=[target])
y = data_woe[target]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 訓(xùn)練邏輯回歸模型
model =LogisticRegression()
model.fit(X_train, y_train)

# 預(yù)測(cè)
y_pred = model.predict(X_test)

# 輸出分類報(bào)告
print(classification_report(y_test, y_pred))