怎么提高Pandas的运行速度-创新互联
这篇文章给大家分享的是有关怎么提高Pandas的运行速度的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
1、数据读取的优化
读取数据是进行数据分析前的一个必经环节，pandas中也内置了许多数据读取的函数，最常见的就是用pd.read_csv()函数从csv文件读取数据。pkl格式的数据的读取速度最快，所以对于日常的数据集（大多为csv格式），可以先用pandas读入，然后将数据转存为pkl或者hdf格式，之后每次读取数据时候，便可以节省一些时间。代码如下：
import pandas as pd
#读取csv
df = pd.read_csv('xxx.csv')
#pkl格式
df.to_pickle('xxx.pkl') #格式另存
df = pd.read_pickle('xxx.pkl') #读取
#hdf格式
df.to_hdf('xxx.hdf','df') #格式另存
df = pd.read_hdf('xxx.pkl','df') #读取
2、进行聚合操作时的优化
在使用 agg 和 transform 进行操作时，尽量使用Python的内置函数，能够提高运行效率。（数据用的还是上面的测试用例）
（1）agg+Python内置函数
（2）agg+非内置函数
可以看到对 agg 方法，使用内置函数时运行效率提升了60%。
（3）transform+Python内置函数
（4）transform+非内置函数
对 transform 方法而言，使用内置函数时运行效率提升了两倍。
3、对数据进行逐行操作时的优化
假设我们现在有这样一个电力消耗数据集，以及对应时段的电费价格。数据集记录着每小时的电力消耗，如第一行代表2001年1月13日零点消耗了0.586kwh的电。不同使用时段的电费价格不一样，我们现在的目的是求出总的电费，那么就需要将对应时段的单位电费×消耗电量。下面给出了三种写法，我们分别测试这三种处理方式，对比一下这三种写法有什么不同，代码效率上有什么差异。
#编写求得相应结果的函数
def get_cost(kwh, hour):
if 0 <= hour < 7:
rate = 0.6
elif 7 <= hour < 17:
rate = 0.68
elif 17 <= hour < 24:
rate = 0.75
else:
raise ValueError(f'Invalid hour: {hour}')
return rate * kwh
#方法一：简单循环
def loop(df):
cost_list = []
for i in range(len(df)):
energy_used = df.iloc[i]['energy_kwh']
hour = df.iloc[i]['date_time'].hour
energy_cost = get_cost(energy_used, hour)
cost_list.append(energy_cost)
df['cost'] = cost_list
#方法二：apply方法
def apply_method(df):
df['cost'] = df.apply(
lambda row: get_cost(
kwh=row['energy_kwh'],
hour=row['date_time'].hour),
axis=1)
#方法三：采用isin筛选出各时段，分段处理
df.set_index('date_time', inplace=True)
def isin_method(df):
peak_hours = df.index.hour.isin(range(17, 24))
simple_hours = df.index.hour.isin(range(7, 17))
off_peak_hours = df.index.hour.isin(range(0, 7))
df.loc[peak_hours, 'cost'] = df.loc[peak_hours, 'energy_kwh'] * 0.75
df.loc[simple_hours,'cost'] = df.loc[simple_hours, 'energy_kwh'] * 0.68
df.loc[off_peak_hours,'cost'] = df.loc[off_peak_hours, 'energy_kwh'] * 0.6
测试结果：
可以看到，采用 isin() 筛选出对应数据后分开计算的速度是简单循环的近606倍，这并不是说 isin() 有多厉害，方法三速度快是因为它采用了向量化的数据处理方式（这里的isin() 是其中一种方式，还有其他方式，大家可以尝试一下） ，这才是重点。
4、使用numba进行加速
如果在你的数据处理过程涉及到了大量的数值计算，那么使用numba可以大大加快代码的运行效率，numba使用起来也很简单，下面给大家演示一下。（代码处理不具有实际意义，只是展示一下效果）
首先需要安装numba模块
>>>pip install numba
我们用一个简单的例子测试一下numba的提速效果
import numba
@numba.vectorize
def f_with_numba(x):
return x * 2
def f_without_numba(x):
return x * 2
#方法一：apply逐行操作
df["double_energy"] = df.energy_kwh.apply(f_without_numba)
#方法二：向量化运行
df["double_energy"] = df.energy_kwh*2
#方法三：运用numba加速
#需要以numpy数组的形式传入
#否则会报错
df["double_energy"] = f_with_numba(df.energy_kwh.to_numpy())
从测试结果来看，再次凸显出向量化处理的优势，同时numba对原本速度已经很快的向量化处理也能提高一倍多的效率。
感谢各位的阅读！关于“怎么提高Pandas的运行速度”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网页名称：怎么提高Pandas的运行速度-创新互联
网页网址：http://6mz.cn/article/ddsdhj.html