C#导入csv文件,数据中有逗号怎么处理

    在小批量数据导入的时候，最常用的就是使用excel工具，将数据保存为xls或csv文件，然后上传到服务器，然后读取出来通过数据库访问类的相关方法更新到数据库中。对于如何读取xls文件的方法，网上太多了，使用excel对象或ole db/odbc连接都行。对于csv文件，其中有一种方式就是通过文件流，将它作为文本读取出来，这其中会遇到一点小意外。

我们知道，使用excel工具保存成csv文件时有几个规则：

1、每一行的单元格内容之间用逗号分隔。

2、如果单元格的内容本身有逗号，这个单元格的内容将会用引号包含。

3、如果单元格的内容本身有引号，引号不在首或尾，这个单元格内容不会被引号包含。引号在首或尾，这个单元格内容会被引号包含且原来首尾的引号会被转义。

所以对于这样的内容，直接按逗号或引号使用split方法明显不合适，需要预先处理一下。办法很多，最容易想到的就是用正则过滤掉本身带逗号或引号的内容，剩下的再按逗号split就方便了，我将csv文件中的每一行获取出来存放到一个键值对的集合中，为了保证前后顺序一致，使用SortedList。

通过命令行导入（要求列与列之间以 英文逗号 分割，若字段中含有 , 则以 " 包裹）

load data infile 'D:/mysql-5.7.29-winx64/files/ratings_5.csv' into table ratings fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'

踩坑一：文件路径用 \ 分割会报错，用 / 可（用 \\ 应该也可）

踩坑二：load data 命令报错

ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

在 my.ini 中加入（空字符串代表允许从一切目录导入）

[mysqld]

secure-file-priv=''

然后再 Windows 的服务中重新启动 mysql

踩坑三：csv 文件中第一行是诸如 userId 这样的列名

如果你的 csv 文件不大，直接使用 notepad++ 打开后删除第一行即可

但在我们这里，千万级别的文件 notepad++ 无法打开，这时可以考虑两种方法

1. 将 csv 文件传入 Linux 服务器删去第一行

由于不知道如何在 Win 10 中做这个 *** 作，只能通过 Linux 中转执行

sed -i '1d' ratings.csv

检验是否成功，可以打印出第一行观察

cat ratings.csv | head -n 1

2. 通过工具把大的 csv 分成多个 notepad 能够打开的较小文件，对第一个文件删除第一行并依次导入

工具：splitcsv

亲测 5000000 条数据的 csv 文件可以在 notepad++ 中打开（只能同时打开 3 个）

这个工具还有个小坑：ratings_0.csv 的最后一行和 ratings_1.csv 的第一行是重复的，请手动删除

---