Pandas 计算相关性系数corr()
相关：数据之间有关联，相互有影响
如：A和B 存在一定的相关性，A对B存在一定程度的影响，A变化，B也会有一定的变化
- 如果A和B相等 或者 B可以由A经过计算得到---->完全相关
- 如果B是由 A和C计算得到 ---->并且 A可以计算出B的大部分 -----> A和B 强度相关
- 如果B是由 A和C计算得到 ---->并且 A可以计算出B的小部分 -----> A和B 弱度相关
- 如果 A和B 毫无关系 ----> 不相关
如果B和 A相关：
- A的增大导致B的减小 —> 负相关
- A的增大导致B的增大 —> 正相关
相关性系数：衡量相关性强弱的
其范围是[-1,1]，绝对值越靠近0，表示不相关，绝对值越靠近1，表示相关性越强
小于 0 表示负相关；大于 0 表示正相关。
构造如下数据
|
1
2
3
4
5
6
7
8
9
|
import pandas as pddata = pd.DataFrame( data={ 'age': [2,7,10,16,20], 'height': [70,90,143,166,178], 'score': [98,37,103,76,53] }) |
使用corr()方法计算相关性系数：
|
1
2
3
4
5
6
7
8
9
|
# 计算相关性系数的列 必须都是数值型的数据！corr = data.loc[:, ["age","height"]].corr() # 会计算两两列之间的相关性系数print("corr\n", corr)"""corr age heightage 1.00000 0.96043height 0.96043 1.00000""" |
自身与自身的相关性系数为 1
计算多列相关性系数：
|
1
2
3
4
5
6
7
8
9
|
corr = data.loc[:, ["age","height","score"]].corr()print("corr\n", corr)"""corr age height scoreage 1.000000 0.960430 -0.340053height 0.960430 1.000000 -0.096782score -0.340053 -0.096782 1.000000""" |
pandas相关系数-DataFrame.corr()参数
|
1
|
DataFrame.corr(method='pearson', min_periods=1) |
参数说明
-
method：可选值为{‘pearson’, ‘kendall’, ‘spearman’} -
pearson：Pearson相关系数来衡量两个数据集合是否在一条线上面，即针对线性数据的相关系数计算，针对非线性数据便会有误差。 -
kendall：用于反映分类变量相关性的指标，即针对无序序列的相关系数，非正太分布的数据 -
spearman：非线性的，非正太分布的数据的相关系数 -
min_periods：样本最少的数据量 - 返回值：各类型之间的相关系数DataFrame表格。
为区分不同参数之间的区别，我们实验如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
from pandas import DataFrameimport pandas as pdx=[a for a in range(100)]#构造一元二次方程，非线性关系def y_x(x): return 2*x**2+4y=[y_x(i) for i in x] data=DataFrame({'x':x,'y':y}) #查看下data的数据结构data.head()Out[34]: x y0 0 41 1 62 2 123 3 224 4 36 data.corr()Out[35]: x yx 1.000000 0.967736y 0.967736 1.000000 data.corr(method='spearman')Out[36]: x yx 1.0 1.0y 1.0 1.0 data.corr(method='kendall')Out[37]: x yx 1.0 1.0y 1.0 1.0 |
因为y经由函数构造出来，x和y的相关系数为1，但从实验结构可知pearson系数，针对非线性数据有一定的误差。
需要说明，数据之间的相关关系，并不代表其之间的因果关系，相关系数为1，只能说明二者之间具备完全相关性，但不能说y是x的果。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/weixin_45760274/article/details/123655196
