python pipeline的用法及避坑点_Python

python pipeline的用法及避坑点

2021-12-14 00:17小妮浅浅 Python

在本篇文章里小编给大家分享的是一篇关于python pipeline的用法及避坑点，有需要的朋友们可以跟着学习下。

说明

1、在使用之前需要在settings中打开。

2、pipeline在settings中键表示位置(即pipeline在项目中的位置可以自定义)，值表示离引擎的距离，越近数据越先通过：权重值小的优先执行。

3、当pipeline较多时，process_item的方法必须是returnitem，否则后一个pipeline获得的数据就是None值。

pipeline中必须有process_item方法，否则item无法接收和处理。

实例

				?

									from sklearn.pipeline import Pipeline

									from sklearn.svm import SVC

									from sklearn.decomposition import PCA

									estimators = [('reduce_dim', PCA()), ('clf', SVC())]

									pipe = Pipeline(estimators)

									pipe

内容扩展：

Python的sklearn.pipeline.Pipeline()函数可以把多个“处理数据的节点”按顺序打包在一起，数据在前一个节点处理之后的结果，转到下一个节点处理。除了最后一个节点外，其他节点都必须实现'fit()'和'transform()'方法，最后一个节点需要实现fit()方法即可。当训练样本数据送进Pipeline进行处理时，它会逐个调用节点的fit()和transform()方法，然后点用最后一个节点的fit()方法来拟合数据。

				?

									from sklearn.linear_model import LinearRegression

									from sklearn.preprocessing import PolynomialFeatures

									from sklearn.pipeline import Pipeline

									def polynomial_model(degree = 1):

									    polynomial_features = PolynomialFeatures(degree = degree, include_bias = False)

									    linear_regression = LinearRegression()

									    pipeline = Pipeline([('polynomial_features', polynomial_features),

									 ('linear_regression', linear_regression)])

									    return pipeline