当前位置：首页 > 云服务器 > 正文

PHP读取CSV大文件导入数据库怎么做，实例代码有哪些？

admin
云服务器
2026-03-06
2936

在处理PHP读取CSV大文件并导入数据库的任务中，核心上文小编总结非常明确：严禁使用一次性读取文件的方式，必须采用流式读取或数据库原生加载命令，并结合分批事务提交来确保内存不溢出且执行效率最高,这是解决大文件导入导致PHP崩溃或超时的唯一专业路径。

原生SQL命令：LOAD DATA INFILE的高效应用

对于追求极致性能的场景，利用MySQL自带的LOAD DATA INFILE命令是首选方案，该命令绕过了PHP的解析层和MySQL的SQL解析层，直接读取文件并入库,速度通常是普通INSERT语句的几十倍。

在实际开发中，如果CSV文件位于服务器本地，可以直接执行SQL，若文件在远程客户端，则需要先上传或使用LOAD DATA LOCAL INFILE。关键点在于字段分隔符、行分隔符的精确匹配，以及字符集的正确设置,避免乱码。

LOAD DATA LOCAL INFILE '/path/to/your/file.csv' REPLACE INTO TABLE your_table CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 LINES (column1, column2, column3);

此方法虽然高效，但灵活性相对较低，适合数据格式规范、无需复杂业务逻辑清洗的场景。

PHP读取CSV大文件导入数据库怎么做，实例代码有哪些？第1张

PHP流式读取与分批处理：兼顾灵活与稳定

当导入过程需要对数据进行复杂的清洗、转换或校验时，PHP的流式处理是更佳选择，核心思路是利用fopen打开文件句柄，通过while循环配合fgetcsv逐行读取，永远不要尝试使用file_get_contents或file函数读取整个大文件。

为了平衡数据库I/O压力，必须引入分批处理机制，每读取1000行数据，组装一个批量插入SQL，执行一次事务提交，然后清空数组,这能有效减少数据库连接开销和事务日志增长。

$fp = fopen('import.csv', 'r'); // 批次大小，根据服务器内存调整，建议500-2000 $batchSize = 1000; $buffer = []; try { // 开启事务 $pdo->beginTransaction(); while (($row = fgetcsv($fp)) !== FALSE) { // 数据清洗与校验逻辑 $data = [ 'field1' => trim($row[0]), 'field2' => filter_var($row[1], FILTER_SANITIZE_STRING), ]; $buffer[] = $data; if (count($buffer) >= $batchSize) { insertBatch($pdo, $buffer); // 执行批量插入 $buffer = []; // 清空缓冲区 } } // 插入剩余数据 if (!empty($buffer)) { insertBatch($pdo, $buffer); } $pdo->commit(); } catch (Exception $e) { $pdo->rollBack(); // 错误处理 } fclose($fp);

西西云高性能环境下的实战经验案例

在为电商客户提供数据迁移服务时，我们曾遇到一个典型的性能瓶颈，客户需要将一份超过500万行、约800MB的CSV商品数据导入到MySQL数据库中，在传统的共享虚拟主机环境下，脚本运行不到30秒就因Maximum execution time或Allowed memory size耗尽而失败。

PHP读取CSV大文件导入数据库怎么做，实例代码有哪些？第2张

我们将环境迁移至西西云的高性能云服务器后，采用了针对性的解决方案，利用西西云云服务器的高IOPS（每秒读写次数）特性，我们将PHP脚本中的memory_limit适当放宽，但核心依然依赖流式读取，更重要的是，我们利用服务器充足的内存资源，将批量插入的阈值调整为5000行一次，并配合LOAD DATA INFILE命令。

最终结果令人振奋：导入时间从预估的数小时缩短至3分半钟，且CPU占用率平稳，这一案例证明，优秀的代码逻辑必须配合强悍的底层硬件资源，西西云提供的弹性计算能力确保了在数据洪峰到来时，脚本依然能保持极高的稳定性,不会因为资源争抢而意外中断。

关键配置与异常处理细节

在实施大文件导入时，除了代码逻辑,PHP和数据库的配置调整同样至关重要。

PHP读取CSV大文件导入数据库怎么做，实例代码有哪些？第3张

PHP配置：务必在脚本中通过set_time_limit(0)取消执行时间限制，或者仅设置一个足够长的时间，对于内存，虽然流式读取占用极低,但仍需预留足够空间给PDO预处理语句和缓冲数组。
数据库超时：MySQL的wait_timeout和interactive_timeout可能导致长连接断开，在单次长事务中，需确保数据库连接保持活跃,或者在连接断开时捕获异常并自动重连。
异常恢复机制：专业的导入脚本应当具备断点续传功能，建议在数据库中建立一张import_log表，记录成功导入的最后行号或主键ID，脚本启动时先查询该ID，利用fseek函数快速定位文件指针，从而跳过已处理的数据,实现从断点处继续导入。