学习使我幸福
分类
Linux
2
Golang
0
Python
4
标签
OpenSSL
1
Git
1
数据结构
1
Matplotlib
1
Numpy
1
Pandas
1
平台
关于
Python模块 - pandas
Python
Pandas
2025-08-30
258
## 1. pandas 简介 pandas是一个强大的python数据分析的工具包，是基于numpy构建的。 pandas的主要功能： - 具备对齐功能的数据结构DataFrame、Series - 集成时间序列功能 - 提供丰富的数学运算和操作 - 灵活处理缺失数据 安装方法：`pip install pandas` 引用方法：`import pandas as pd` ## 2. Series 一维数组对象 Series是一种类似于一维数组的对象，有一组数据和一组与之相关的数据标签（索引）组成。 创建方式： - `pd.Series([4, 7, -5, 3])` - `pd.Series([4, 7, -5, 3], index=[['a', 'b', 'c', 'd'])` - `pd.Series({'a': 1, 'b': 2})` - `pd.Series(0, index=['a', 'b', 'c', 'd'])` 获取值数组和索引数组：values属性和index属性 Series比较像列表（数组）和字典结合体。 ## 3. Series 使用特性 Series支持array的特性（下标）： - 从ndarray创建Series：`Series(arr)` - 与标量运算：`sr * 2` - 两个Series运算：`sr1 + sr2` - 索引：`sr[0], sr[[1, 2, 4]]` - 切片：`sr[0: 2]` - 通用函数：`np.abs(sr)` - 布尔值过滤：`sr[sr > 0]` Series支持字典的特性（标签）： - 从字典创建Series：`Series(dict)` - in运算：`'a' in sr` - 键索引：`sr['a'], sr[['a', 'b', 'c']]` ## 4. Series 整数索引 整数索引的pandas对象会有歧义，要特别注意。 例如：`sr = pd.Series(np.arange(4.)), sr[-1]` 如果索引是整数类型，则根据整数进行下标获取值时总是面向标签的。 解决方法： - loc 属性：将索引解释为标签索引 - iloc 属性：将索引解释为下标索引 ## 5. Series 数据对齐 例如： ```python sr1 = pd.Series([12, 23, 34], index=['c', 'a', 'd']) sr2 = pd.Series([11, 20, 10], index=['d', 'c', 'a']) sr1 + sr2 ``` - pandas在进行两个Series对象的运算时，会按索引进行对齐然后计算 例如： ```python sr1 = pd.Series([12, 23, 34], index=['c', 'a', 'd']) sr2 = pd.Series([11, 20, 10], index=['b', 'c', 'a']) sr1 + sr2 ``` - 如果两个Series对象的索引不完全相同，则结果的索引是两个操作索引的并集。 - 如果只有一个对象在某索引下有值，则结果中该索引的值为nan（缺失值） 例如： ```python sr1 = pd.Series([12, 23, 34], index=['c', 'a', 'd']) sr2 = pd.Series([11, 20, 10 ], index=['b', 'c', 'a']) ``` 如何使结果在索引 'b' 处的值为11， 在索引 'd' 处的值为34？ - 灵活的算数方法：add, sub, div, mul - `sr1.add(sr2, fill_value=0)` -- 先把nan改为0再进行运算 ## 6. Series 数据缺失 缺失数据：使用NaN（Not a Number）来表示缺失数据。其值等于np.nan。内置的None值也会被当做NaN处理。 处理缺失数据的相关方法： - dropna()：过滤掉值为NaN的行 - fillna()：填充缺失数据 - isnull()：返回布尔数组，缺失值对应为True - notnull()：返回布尔数组，缺失值对应为False 过滤缺失数据：`sr.dropna()`或`sr[data.notnull()]` 填充缺失数据：`fillna(0)` ## 7. DataFrame 二维数组对象 DataFrame是一个表格型的数据结构，含有一组有序的列。DataFrame可以被看做是由Series组成的字典，并且共用一个索引。 创建方式： - `pd.DataFrame({'one': [1, 2, 3, 4], 'two': [4, 3, 2, 1]})` - `pd.DataFrame({'one': pd.Series([1, 2, 3], index=['a', 'b', 'c']), 'two': pd.Series([1, 2, 3, 4], index=['b', 'a', 'c', 'd'])})` - ...... csv文件读取与写入： - df.read_csv('filename.csv') - df.to_csv('filename.csv') ## 8. DataFrame 常用属性 |属性名|属性说明| |----|----| |index|获取索引| |T|转置| |columns|获取列索引| |values|获取值数组| |describe()|获取快速统计| ## 9. DataFrame 索引和切片 - DataFrame是一个二维数组类型，所以有行索引和列索引 - DataFrame同样可以通过标签和位置两种方式进行索引和切片 - loc属性和iloc属性 - 使用方式：逗号隔开，前面是行索引， 后面是列索引 - 行、列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配 ## 10. DataFrame 数据对齐与缺失数据 DataFrame对象在运算时， 同样会进行数据对齐， 其行索引和列索引分别对齐。 DataFrame处理缺失数据的相关方法： - `dropna(axis=0, where='any', ...)` - `fillna()` - `isnull()` - `notnull()` ## 11. pandas 其他常用方法 |方法名|说明| |----|----| |mean(axis=0, skipna=False)|对列（行）求平均值| |sum(axis=1)|对列（行）求和| |sort_index(axis, ..., ascending)|对列（行）索引排序| |sort_values(by, axis, ascending)|对某一列（行）的值排序| numpy的通用函数同样适用于pandas |方法名|说明| |----|----| |apply(func, axis=0)|将自定义函数应用在各行或各列上，func可返回标量或Series| |applymap(func)|将函数应用在DataFrame各个元素上| |map(func)|将函数应用在Series各个元素上| ## 12. pandas 时间对象处理 时间序列类型： - 时间戳：特定时刻 - 固定时期：如2017年7月 - 时间间隔：起始时间~结束时间 python标准库处理时间对象：datetime 灵活处理时间对象：dateutil，`deteutil.parser.parse()` 成组处理时间对象：pandas， `pd.todatetime()` 产生时间对象数组：date_range - start：开始时间 - end：结束时间 - periods：时间长度 - freq：时间频率，默认为'D'，可选H(our)，W(eek)，B(usiness)，S(emi-)M(onth)，(min)T(es)，S(econd)，A(year)，... ## 13. pandas 时间序列 时间序列就是以时间对象为索引的Series或DataFrame。 datetime对象作为索引时是存储在DataFrameIndex对象中的。 时间序列特殊功能： - 传入"年"或"年月"作为切片方式 - 传入日期范围作为切片方式 - 丰富的函数支持：`resample(), strftime(), ...` ## 14. pandas 文件处理 ### 14.1 数据文件常用格式：csv（以某间隔符分割数据） ### 14.2 pandas读取文件：从文件名、URL、文件对象中加载数据 - read_csv：默认分隔符为逗号 - read_table：默认分隔符为制表符 ### 14.3 read_csv、read_table函数主要参数： - sep：指定分隔符，可用正则表达式如'\s+' - header=None：指定文件无列名 - name：指定列名 - index_col：指定某列作为索引 - skip_row：指定跳过某些行 - na_values：指定某些字符串表示缺失值 - parse_dates：指定某些列是否备解析为日期，类型为布尔值或列表 ### 14.4 写入到csv文件：to_csv函数 ### 14.5 写入文件函数的主要参数： - sep：指定文件分隔符 - na_rep：指定缺失值转换的字符串， 默认为空字符串 - header=False：不输出列名一行 - index=False：不输出行名一列 - cols：指定输出的列， 传入列表 ### 14.6 pandas支持的其他文件类型： - json - XML - HTML - 数据库（sql） - pickle - excel - ...