关于SparkSQL中withColumn生成自增序列的一个坑

首先我们创建一个RDD并设置分区数为2，然后转换成DataFrame，生成一列新的ID

然后我们看下生成的ID，可见同分区连续

我们使用coalesce方法将分区设置为1

spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件： 1.数据输入需要可靠的sources和可靠的receivers 2.应用metadata必须通过应用driver checkpoint 3.WAL（write ahead log）

DataSource是受保护只读的！

你们是读取不到的！

只能新建一个datatable，然后创建列！然后在往里面添加数据！

DataTable dt = new DataTable("tablename")

DataRow dr

dt.Columns.Add("客户名", System.Type.GetType("System.String"))

dt.Columns.Add("客户电话", System.Type.GetType("System.String"))

dt.Columns.Add("客户邮编", System.Type.GetType("System.String"))

dt.Columns.Add("客户地址", System.Type.GetType("System.String"))

dt.Columns.Add("备注", System.Type.GetType("System.String"))

for (int i = 0i <this.dataGridView1.Rows.Counti++)

{

dr = dt.NewRow()

for (int j = 0j <= 5j++)

{

dr[j] = this.dataGridView1.Rows[i].Cells[j].alue.ToString()

}

dt.Rows.Add(dr)

}

DataSet selectds = new DataSet()

数据集.Tables.Add(dt)

//这样就好勒！

---