快捷搜索:

机器学习中需要了解的 5 种基础采样方法

关键词:

机械人

根基采样

择要:数据科学家必要懂得的5种根基采样措施,包括简单随机抽样、分层采样、水塘采样、随机欠采样和过采样等。采样是数据科学中常见问题,工业机械人数据采样中也会用到。

以下是关于Rahul Agarwal 分享的内容,编译收拾如下。

数据科学实际上是便是钻研算法。

我天天都在努力进修许多算法,以是我想列出一些最常见和最常用的算法。

本文先容了在处置惩罚数据时可以应用的一些最常见的采样技巧。

简单随机抽样

假设您要选择一个群体的子集,此中该子集的每个成员当选择的概率都相等。

下面我们从一个数据集中选择 100 个采样点。

sample_df = df.sample(100)

分层采样

假设我们必要预计选举中每个候选人的匀称票数。现假设该国有 3 个城镇:

A 镇有 100 万工人,

B 镇有 200 万工人,以及

C 镇有 300 万退休职员。

我们可以选择在整小我口中随机抽取一个 60 大年夜小的样本,但在这些城镇中,随机样本可能不宁靖衡,是以会孕育发生误差,导致预计偏差很大年夜。

相反,假如我们选择从 A、B 和 C 镇分手抽取 10、20 和 30 个随机样本,那么我们可以在总样今大年夜小相同的环境下,孕育发生较小的预计偏差。

应用 python 可以很轻易地做到这一点:

from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,test_size=0.25)

水塘采样

我爱好这个问题述说:

假设您有一个项目流,它长度较大年夜且未知以至于我们只能迭代一次。

创建一个算法,从这个流中随机选择一个项目,这样每个项目都有相同的可能当选中。

我们怎么能做到这一点?

假设我们必须从无限大年夜的流中抽取 5 个工具,且每个元素当选中的概率都相等。

import randomdef generator(max):

number = 1

while number ems already selected

reservoir[random.choice(range(0,k))] = elementprint(reservoir)

------------------------------------

[1369, 4108, 9986, 828, 5589]

从数学上可以证实,在样本中,流中每个元素当选中的概率相同。这是为什么呢?

当涉及到数学问题时,从一个小问题开始思虑老是有赞助的。

以是,让我们斟酌一个只有 3 个项目的流,我们必须保留此中 2 个。

当我们看到第一个项目,我们把它放在清单上,由于我们的水塘有空间。在我们看到第二个项目时,我们把它放在列表中,由于我们的水塘照样有空间。

现在我们看到第三个项目。这里是工作开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中,

现在让我们看看第一个项目当选中的概率:

移除第一个项目的概率是项目 3 当选中的概率乘以项目 1 被随机选为水塘中 2 个要素的替代候选的概率。这个概率是:

2/3*1/2 = 1/3

是以,选择项目 1 的概率为:

1–1/3=2/3

我们可以对第二个项目应用完全相同的参数,并且可以将其扩展到多个项目。

是以,每个项目当选中的概率相同:2/3 或者用一样平常的公式表示为 K/N

随机欠采样和过采样

我们常常会碰到不平衡的数据集。

一种广泛采纳的处置惩罚高度不平衡数据集的技巧称为重采样。它包括从多半类(欠采样)中删除样本或向少数类(过采样)中添加更多示例。

让我们先创建一些不平衡数据示例,

from sklearn.datasets import make_classificationX, y = make_classification( n_classes=2, class_sep=1.5, weights=[0.9, 0.1], n_informative=3, n_redundant=1, flip_y=0, n_features=20, n_clusters_per_class=1, n_samples=100, random_state=10)X = pd.DataFrame(X)X[ target ] = y

我们现在可以应用以下措施进行随机过采样和欠采样:

num_0 = len(X[X[ target ]==0])num_1 = len(X[X[ target ]==1])print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X[ target ]==0].sample(num_1) , X[X[ target ]==1] ])print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X[ target ]==0] , X[X[ target ]==1].sample(num_0, replace=True) ])print(len(oversampled_data))------------------------------------------------------------OUTPUT:90 1020180

应用 imbalanced-learn 进行欠采样和过采样

imbalanced-learn(imblearn)是一个用于办理不平衡数据集问题的 python 包,它供给了多种措施来进行欠采样和过采样。

a. 应用 Tomek Links 进行欠采样:

imbalanced-learn 供给的一种措施叫做 Tomek Links。Tomek Links 是左近的两个相反类的例子。

在这个算法中,我们终极从 Tomek Links 中删除了大年夜多半元素,这为分类器供给了一个更好的决策界限.

from imblearn.under_sampling import TomekLinks

tl = TomekLinks(return_indices=True, ratio= majority )

X_tl, y_tl, id_tl = tl.fit_sample(X, y)

b. 应用 SMOTE 进行过采样:

在 SMOE(Synthetic Minority Oversampling Technique)中,我们在现有元素相近合并少数类的元素。

from imblearn.over_sampling import SMOTE

smote = SMOTE(ratio= minority )

X_sm, y_sm = smote.fit_sample(X, y)

imbLearn 包中还有许多其他措施,可以用于欠采样(Cluster Centroids, NearMiss 等)和过采样(ADASYN 和 bSMOTE)。

结论

算法是数据科学的生命线。

抽样是数据科学中的一个紧张课题,但我们实际上并没有评论争论得足够多。

无意偶尔,一个好的抽样策略会大年夜大年夜推进项目的进展。差错的抽样策略可能会给我们带来差错的结果。是以,在选择抽样策略时应理小心。

您可能还会对下面的文章感兴趣: