来源：kaggle竞赛宝典

转自：Python大数据分析

虽然目前dask,cudf等包的出现，使得我们的数据处理大大得到了加速，但是并不是每个人都有比较好的gpu，非常多的朋友仍然还在使用Pandas工具包，但有时候真的很无奈，pandas的许多问题我们都需要使用apply函数来进行处理，而apply函数是非常慢的，本文我们就介绍如何加速apply函数600倍的技巧。

实验对比

01 Apply(Baseline)

我们以Apply为例，原始的Apply函数处理下面这个问题，需要18.4s的时间。

import pandas as pdimport Numpy as npdf=pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))def func(a,b,c,d,e): if e==10: return c*d elif (e < 10) and (e>=5): return c+d elif e < 5: return a+b%%timedf['new']=df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)CPU times: user 17.9 s, sys: 301 ms, total: 18.2 sWall time: 18.4 s



02 Swift加速
因为处理是并行的，所以我们可以使用Swift进行加速，在使用Swift之后，相同的操作在我的机器上可以提升到7.67s。
%%time# !pip install swifterimport swifterdf['new']=df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 msWall time: 7.67 s



03 向量化
使用Pandas和Numpy的最快方法是将函数向量化。如果我们的操作是可以直接向量化的话，那么我们就尽可能的避免使用：


for循环；


列表处理；


apply等操作


在将上面的问题转化为下面的处理之后，我们的时间缩短为：421 ms。
%%timedf['new']=df['c'] * df['d'] #default case e==10mask=df['e'] < 10df.loc[mask,'new']=df['c'] + df['d']mask=df['e'] < 5df.loc[mask,'new']=df['a'] + df['b']CPU times: user 134 ms, sys: 149 ms, total: 283 msWall time: 421 ms



04 类别转化+向量化
我们先将上面的类别转化为int16型，再进行相同的向量化操作，发现时间缩短为：116 ms。
for col in ('a','b','c','d'): df[col]=df[col].astype(np.int16) %%timedf['new']=df['c'] * df['d'] #default case e==10mask=df['e'] < 10df.loc[mask,'new']=df['c'] + df['d']mask=df['e'] < 5df.loc[mask,'new']=df['a'] + df['b']CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 msWall time: 116 ms


05 转化为values处理
在能转化为.values的地方尽可能转化为.values，再进行操作。


此处先转化为.values等价于转化为numpy，这样我们的向量化操作会更加快捷。


于是，上面的操作时间又被缩短为：74.9ms。
%%timedf['new']=df['c'].values * df['d'].values #default case e==10mask=df['e'].values < 10df.loc[mask,'new']=df['c'] + df['d']mask=df['e'].values < 5df.loc[mask,'new']=df['a'] + df['b']CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 msWall time: 74.9 ms



实验汇总
通过上面的一些小的技巧，我们将简单的Apply函数加速了几百倍，具体的：


Apply: 18.4 s


Apply + Swifter: 7.67 s


Pandas vectorizatoin: 421 ms


Pandas vectorization + data types: 116 ms


Pandas vectorization + values + data types: 74.9ms


作者：杰少，本文大部分内容参考引文
参考文献：Do You Use Apply in Pandas? There is a 600x Faster Way
							
                                                        本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 sumchina520@foxmail.com 举报，一经查实，本站将立刻删除。

如若转载，请注明出处：https://www.yiheng8.com/97162.html

sap 函数对接函数（sap 函数read textSD）

来源：kaggle竞赛宝典