用MySQL替代Excel存储数据，效率提升杠杠滴

让我告诉你这一点。
之前在杭州做过一个项目，但是数据量太大，Excel直接关闭，很头疼。
后来，当我改用MySQL时，性能确实有所不同。

看，我使用Python和pymysql来完成这个。
首先，在MySQL中创建一个表。
仔细考虑字段，否则以后会遇到麻烦。
例如，如果您有一个处理用户评论的项目；我为id、username创建了评论内容、时间等字段。

之后，使用Python循环遍历文件夹中的txt文件并逐行读取。
使用 pymysql 读取每一行并将其插入到 MySQL 表中。
不要忘记处理它，例如空行和无效的格式。
否则，数据将是脏的。
那一年我花了两天时间编译了数百个txt文件。
我估计保存Excel需要一个月左右的时间。

复制也是一个令人头疼的问题。
这就是我所做的：默认在 MySQL 中创建一个新表。
然后使用SQL语句；插入新表并从旧表中识别以移动非重复数据。
一个项目有数十万条原始数据和超过3 0,000条重复数据。
通过删除重复项即时提高数据质量改善了。

导出数据也是如此。
使用pymysql连接MySQL并执行查询语句。
例如，如果要导出上个月的用户评论，请编写 SQL 查询。
然后使用 fetchall() 获取结果并将其写入新的 txt 文件。
发货时，如果数据量较大，必须分批发货；否则内存无法处理它。
我有一个导出数据的项目，数据一次导出1 0次，一次几千条。
不要忘记使用flush()，否则文件中的数据将不完整。

总之，MySQL并没有真正构建起来。
让我告诉你我们仍然依赖它进行大数据处理。
Excel？几百条数据就可以了；但是当有一千个数据时，它就会关闭。
真的很可怕。

用python怎样把xml的数据导入到mysql数据库里

嗯...这个方法...很简单...只是为了找字符串...2 02 2 年...我也用过这个方法...更直接...直接在字符串中搜索...没有那些复杂的模块...
例子...假设你有XML内容...像这样...我给你一个例子...Jim1 2 ...像这样...
你调用getValue函数...传入这个字符串...以及你要找的标签名称...例如， 'name'...它将返回'Jim'...然后查找'age'...它将返回'1 2 '...简单...
然后...获取这些数据后...写入数据库...也许是一条INSERT语句...只需插入'Jim'和'1 2 '...像这样...INSERT INTO table (name,age) VALUES ('Jim', 1 2 );...所以有...
但是...这个方法...可能有点...对于比如...如果XML结构很复杂...或者标签名特别长...有点麻烦...也可能不安全...注入什么的...但是...当时...2 02 2 年...可能人们不太关注这些东西...主要是为了方便...毕竟...比XML模块轻量...写起来更快...
当时我很困惑...后来意识到...可能我有偏见...我只知道这个简单的方法...也许我忽略了其他问题......叹息......