上一篇
pandas数据清洗、排序、索引设置、数据选取怎么操作？
在数据分析和处理过程中，pandas作为Python的核心库，提供了强大的数据清洗、排序、索引设置和数据选取功能，这些操作是数据预处理的基础步骤，直接影响后续分析的质量和效率，数据清洗是处理原始数据的第一步，主要目标是识别并处理缺失值、异常值、重复数据以及数据格式不一致等问题，使用df.isnull().sum()可以快速查看每列的缺失值数量，而df.dropna()或df.fillna()则分别用于删除或填充缺失值；对于异常值，可通过描述性统计（如df.describe()）结合箱线图或Zscore方法进行识别，再通过df.loc[]进行过滤或修正；重复数据则可通过df.duplicated()检测，并用df.drop_duplicates()删除，数据类型转换也是常见需求，例如使用df['column'].astype('datetime')将字符串转换为日期格式，或pd.to_numeric()将文本型数字转为数值型,确保数据格式统一。
排序功能在数据整理和初步分析中至关重要，pandas提供了sort_values()和sort_index()两种主要排序方式。sort_values()用于按列值排序，可通过by参数指定列名，ascending参数控制升序或降序（默认为True），例如df.sort_values(by='age', ascending=False)表示按年龄降序排列；若需多列排序，可传入列表如by=['column1', 'column2']，此时会按第一列排序，若第一列值相同则按第二列排序。sort_index()则用于按索引排序，适用于索引无序的情况，例如df.sort_index(ascending=True)将索引按升序排列，排序时需注意，若数据量较大，可添加inplace=True参数直接修改原数据，避免内存消耗；对字符串排序时，若需区分大小写，可设置na_position='first'将缺失值置于顶部。
索引设置是pandas数据操作的核心，合理的索引能显著提升数据查询和计算效率，默认情况下，pandas使用 RangeIndex（0到n1的整数索引），但实际应用中常需将业务列（如ID、日期等）设为索引，通过set_index()实现，例如df.set_index('user_id', inplace=True)将’user_id’列设为索引，索引的优势在于支持快速定位，如df.loc['A100']可直接获取索引为’A100’的行数据；索引还能加速分组、聚合等操作，如df.groupby('category').mean()会按索引或指定列分组，若需重置索引，可使用reset_index()，其中drop=True参数表示丢弃原索引，避免新增列，对于时间序列数据，将日期列设为索引后，可直接按时间范围选取数据，如df['202501':'202503']选取2025年第一季度的数据。
数据选取是数据分析中最频繁的操作，pandas提供了多种灵活的选取方式，基于位置的选取可通过iloc[]实现，例如df.iloc[0:5, 1:3]选取前5行和第2至第3列（索引从0开始）；基于标签的选取则使用loc[]，如df.loc['row1', 'column1']选取指定行和列的值，对于条件选取，可通过布尔索引实现，例如df[df['age'] > 30]选取年龄大于30的行，或组合多个条件如df[(df['age'] > 30) & (df['city'] == 'Beijing')]，若需选取特定列，可直接传入列名列表，如df[['name', 'age']]；使用df.filter(items=['col1', 'col2'])可达到同样效果。query()方法提供了一种更直观的条件选取语法，例如df.query('age > 30 & city == "Beijing"')，可读性更强，对于大数据集，还可使用sample()随机选取部分数据，如df.sample(n=100)随机抽取100行。
以下通过一个示例表格展示数据清洗、排序、索引设置和数据选取的综合应用：
| 操作类型 | 函数/方法 | 示例代码 | 说明 |
|---|---|---|---|
| 数据清洗 | 删除缺失值 | df.dropna(subset=[‘column1’], inplace=True) | 删除’column1’列中缺失值所在的行 |
| 数据清洗 | 填充缺失值 | df[‘column2’].fillna(df[‘column2’].mean(), inplace=True) | 用’column2’列的均值填充缺失值 |
| 排序 | 按列值降序排列 | df.sort_values(by=’sales’, ascending=False) | 按’sales’列降序排列 |
| 索引设置 | 设置列为索引 | df.set_index(‘date’, inplace=True) | 将’date’列设为索引 |
| 数据选取 | 按标签选取行和列 | df.loc[‘20250101’, [‘temperature’, ‘humidity’]] | 选取指定日期的’temperature’和’humidity’列 |
| 数据选取 | 条件选取 | df[df[‘temperature’] > 25] | 选取温度大于25的行 |
相关问答FAQs：
-
问：如何处理数据中的重复值，同时保留第一次出现的记录？
答：使用df.drop_duplicates(subset=['column'], keep='first')，其中subset参数指定去重的列，keep='first'表示保留重复值中第一次出现的记录，默认值即为’first’，对整个DataFrame去重并保留首次记录，可直接使用df.drop_duplicates(keep='first')。
-
问：在设置索引后，如何恢复默认的整数索引？
答：使用reset_index()方法，例如df.reset_index(inplace=True)，这将原索引转换为普通列，并生成新的RangeIndex，若不希望保留原索引列，可添加drop=True参数，即df.reset_index(drop=True, inplace=True),直接生成新的整数索引而不保留原索引列。
