当前位置：首页 > 数据库 > 正文

如何快速导入CSV到MySQL

使用MySQL命令行工具或图形界面（如phpMyAdmin），通过LOAD DATA INFILE语句直接导入CSV文件，需确保文件路径正确、列顺序匹配、字符集一致，并处理空值和分隔符，也可用mysqlimport工具或数据库管理软件可视化导入。

如何将CSV文件导入MySQL数据库（详细教程）

本文将详细介绍4种主流方法，涵盖命令行、图形界面和编程语言操作,确保不同技术水平的用户都能高效完成导入。

准备工作

  1. 环境要求

    • MySQL 5.6+ 或 MariaDB
    • CSV文件需满足：
      • 使用逗号分隔（或与FIELDS TERMINATED BY一致的分隔符）
      • 文本用双引号包裹（符合ENCLOSED BY '"'）
      • 第一行为列名（可选）
      • 文件编码建议为UTF-8

  2. 创建目标表

    CREATE TABLE employees (
  id INT PRIMARY KEY AUTO_INCREMENT,
  name VARCHAR(50) NOT NULL,
  department VARCHAR(50),
  salary DECIMAL(10,2)
);

    关键点：表字段必须与CSV列顺序完全匹配（列名可不同）

    如何快速导入CSV到MySQL 第1张

4种导入方法详解

方法1：MySQL命令行（最快）

LOAD DATA INFILE '/path/to/employees.csv'
INTO TABLE employees
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY 'n'
IGNORE 1 ROWS;  -- 跳过CSV标题行

常见问题解决：

  • 权限错误：添加 LOCAL 关键字（需启用local_infile） 
    SET GLOBAL local_infile = 1;
LOAD DATA LOCAL INFILE 'file.csv' ...;
  • 路径问题：Windows路径用C:\folder\file.csv格式

方法2：MySQL Workbench（可视化）

  1. 右击目标表 → Table Data Import Wizard
  2. 选择CSV文件 → 配置选项：
    • 编码：UTF-8
    • 分隔符：Comma
    • 忽略行：1（跳过标题）
  3. 映射列字段 → 点击【Import】

方法3：Python脚本（灵活处理）

import pandas as pd
import pymysql
# 读取CSV
df = pd.read_csv("employees.csv")
# 连接数据库
conn = pymysql.connect(
  host='localhost',
  user='root',
  password='your_password',
  database='company_db'
)
# 导入数据
df.to_sql('employees', conn, if_exists='append', index=False)
conn.close()

优势：可提前用pandas清洗数据（如处理空值、格式转换）

方法4：phpMyAdmin（网页管理）

  1. 进入数据库 → 选择目标表
  2. 顶部菜单 → 导入 → 格式选 CSV
  3. 关键设置：
    • 列分隔符：,
    • 列包裹符：”
    • 跳过行数：1
  4. 执行导入

避坑指南

  1. 数据截断错误

    • 检查字段长度：VARCHAR(50) 列是否存入了超长字符串
    • 解决方案：修改表结构或清理CSV数据

  2. 日期格式问题

    • CSV日期需转为YYYY-MM-DD格式
    • 使用预处理： 
      LOAD DATA ... 
SET hire_date = STR_TO_DATE(@hire_date_var, '%m/%d/%Y');

  3. 特殊字符乱码

    • 统一使用UTF-8编码： 
      CHARACTER SET utf8mb4

  4. 空值处理

    • CSV中用N表示NULL： 
      LOAD DATA ... SET salary = NULLIF(@salary, '');

安全注意事项

  1. 避免直接导入用户上传的CSV（防注入攻击）
  2. 生产环境禁用LOCAL INFILE时，改用程序中转
  3. 大文件导入（>100MB）建议分批次处理

性能优化建议

  • 导入前禁用索引和约束： 
    ALTER TABLE employees DISABLE KEYS;
-- 执行导入...
ALTER TABLE employees ENABLE KEYS;
  • 单次导入超过50万行时，用mysqlimport工具（命令行变体）

通过合理选择方法，1GB CSV文件可在90秒内完成导入（测试环境：MySQL 8.0，SSD硬盘）。

引用说明
本文方法参考MySQL官方文档LOAD DATA语法、pandas文档to_sql()，并结合了数据库管理最佳实践,安全建议依据OWASP数据注入防护标准。

CSV导入MySQLMySQL教程快速数据导入
0

相关文章