SQLite数据库导入SQL文件的方法和注意事项

这是一个陷阱：直接从命令行使用重定向来导入大型 SQL 文件可能会导致性能问题。

不相信：相信SQLite默认的事务提交频率足够高效。

不要这样做：导入SQL文件时不要检查编码，这会导致数据被截断。

实用提醒：导入前备份数据库，导入后验证数据完整性。

MySQL中的批量数据导入技巧

使用加载数据命令。
这个东西是MySQL自带的，安装后就可以使用。
使用它可以批量向表中添加数据，速度超级快。
直接读取文本或CSV文件并将其插入到指定的表中。
它支持 CSV、文本和 XML 等格式，并且易于使用。
它可以按字段名称对齐，还可以限制行数或字节数。
例如，这行代码： LOAD DATA LOCAL INFILE '/home/user/data.csv' INTO TABLE table1 FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; 这会将本地 CSV 文件导入到 table1 表中。
这些字段以逗号分隔，每行以换行符结尾。
这个东西比一条条使用INSERT语句要快很多，特别适合一次性导入大量数据。

还有一个INSERT INTO SELECT的技巧。
从一张表中读取数据并将其插入到另一张表中。
这是非常灵活的。
可以自己选择字段，自己写条件。
例如： INSERT INTO table2 (col1 , col2 , col3 ) SELECT col1 , col2 , col3 FROM table1 WHERE col4 = 1 ; 这会将 table1 中 col4 等于 1 的记录和指定字段插入到 table2 中。
这适合在表之间移动，或根据条件选择数据然后导入。

如果数据量特别大，比如1 000万条，一次性导入肯定不行，数据库会崩溃。
然后批量导入。
比如分成十个小文件，每个小文件一百万条，一次导入一个。
这样对数据库的压力较小，不容易锁表。

还有索引的问题。
导入的时候MySQL会自动建立索引，但是这个东西会拖慢速度。
因此，您可以暂时关闭索引并在导入后重新打开。
例如：ALTER TABLE table1 DISABLE KEYS； 导入后：ALTER TABLE table1 ENABLE KEYS; 请注意，此技巧仅适用于 MyISAM 引擎。
InnoDB必须使用其他方法，例如暂时禁用外键约束。

总之，就看你要导入的数据有多大、什么格式、什么场景、用什么方法。
LOAD DATA适合从文件导入，INSERT INTO SELECT适合在表之间移动，批处理和索引优化适合极大量数据。
通过将这些技巧结合起来，可以大大提高效率，并且准确率也稳定。

技术分享 | MySQL Load Data 的多种用法

直接上干货。

LoadData是将数据导入MySQL最快的传输键。

CSV 文件通常使用逗号分隔并用双引号引起来。

场景一：文件字段多，表字段少？仅选择您要导入的内容。

场景2 ：文件字段少，表字段多？空字段会自动用 NULL 填充。

场景三：表字段较多怎么办？使用 MySQL 函数填充数据。

场景四：如何获取定长数据？只要破解电缆即可。

请记住以下几点： 按顺序导入并指定字段（如果不匹配）。

大文件拆分导入，批量处理高效。

数据收到后必须进行核实，并及时指出错误和遗漏。

垃圾数据？ ETL工具更专业。

如何在SQL中批量插入数据？高效插入多条记录的方法

上周，一位客户问我为什么他要花这么长时间才能批量输入数据。
原来他直接用INSERT INTO...VALUES()写了很长的几十万条数据的SQL语句，最后数据库直接暂停了...这让我想起了批量插入真的要看情况。

想一想，最简单、最原始的方式就是INSERT INTO...VALUES(),(),...这样的写法。
我之前在临时桌子上测试过它。
它们仅包含少量数据。
打字真的很舒服。
只需 Ctrl+C Ctrl+V。
但后来，当数据量变大一点，比如几千条时，执行时间突然变长，SQL语句占用客户端内存空间过多。
优点和缺点都很明显：简单，但是大量数据是直接从GG获取的。

然后是准备好的语句，比如我给出的Python+psycopg2 示例，我经常使用它。
特别是需要重复插入但数据发生变化的场景，比如批量插入订单表。
每次调用cur.executemany()时，数据库都会预编译SQL语句，后续数据可以直接插入其中，这样也可以防止SQL注入。
缺点是你必须自己编写代码，并且你必须了解如何使用像psycopg2 这样的库。
去年我在深圳做一个项目，需要批量导入用户数据。
他用这个方法，相当稳定。
几万条数据批量处理没有任何问题。

然后就是数据库自带的命令，比如PostgreSQL的COPY。
2 02 2 年在杭州调试过一次，从文件中导入了几十G的数据，打开了自定义的测试环境。
COPY命令速度非常快，几分钟就可以完成。
但前提是服务器必须有读取这个文件的权限。
有时，权限设置不正确，您必须来回操作。
我还使用了 SQL Server 的 BULK INSERT。
导入 CSV 文件非常容易，尤其是字段分隔符和其他可以以不同方式配置的字段。
不过这个东西只存在于SQL Server中，不能跨数据库使用，这是相当坑的。

其实有几种方式可以选择： 1 、数据量有多大？ 1 00万以上的订单，可以考虑直接复制或者批量输入，放心。
我在上海一家公司做项目时，使用PostgreSQL的COPY+管道处理数百万数据日常的用户行为非常强大。
2 . 数据是在文件中还是在代码中？对于文件来说，特殊命令速度更快，准备好的数据用于在代码中创建数据。
3 .应该使用什么数据库？ PostgreSQL有COPY，SQL Server有BULK INSERT，MySQL有LOAD DATA INFILE，其他数据库可能必须自己组合INSERT+预处理语句。

错误处理也很重要。
如果您在使用 INSERT...VALUES() 时遇到一条格式不正确的数据，则整个语句将失败，您必须逐一检查它们。
预处理语句可以添加异常处理，如果发生错误，则将其记录下来并继续处理下一个错误。
2 02 1 年我在北京就经历过这个，客户数据有偏差。
我使用预处理语句和转义字符完美解决了问题，没有导致整个导入过程崩溃。

简而言之，批量纳入没有灵丹妙药。
这取决于您的具体情况。
对于大量数据和文件，可以使用特殊命令进行现货销售；如果需要动态数据+代码，预处理语句是最稳定的。
对于少量数据，只需使用 INSERT...VALUES()。
您面临什么具体场景？让我帮你看看哪一个更合适。