如何使用C#根据表创建SQL索引脚本？

这里的distinct表示去重，也可以用group by实现， 两者的区别在于distinct会读取所有的记录，而group by是在分组之后每组只返回一条记录，也就是说后者读取的条数要少很多，效率会更高一些，因此可以将上述代码改为：

create table validate_set as

select

user_id,

wm_concat(',',brand_id) as brand

from(

select user_id,brand_id

from t_alibaba_bigdata_user_brand_total_1

where type = '1' and visit_datetime >'07-15'

group by user_id,brand_id

)a

group by user_id

训练集和测试集建立好之后，我们可以通过以下命令来计算测试集的推荐数目：

select sum(regexp_count(brand,',')+1) from t_tmall_add_user_brand_predict_dh

其中REGEXP_COUNT是ODPS的一个自建函数，它的用法如下：

bigint regexp_count(string source, string pattern[, bigint start_position])

表示计算 source 中从 start_position 开始，匹配指定模式pattern 的子串的次数。比如我们有一条输出结果是：100 1,2,3,4，通过计算其中的,数（3）+1=4就计算出推荐的个数了。

UDF计算重复条数

UDF(User-Defined Function)(用户定义函数)，是用户根据实际应用的需要而自行开发的函数。在 Eclipse 中的项目下新建 UDF。填入 Package 名称为：chanvee.udf，和 UDF 类名：CountHits，点击确认。插件会自动帮我们生成chanvee.udf包用于写 UDF 代码，和test.chanvee.udf包用于本地测试。

编辑CountHits.java文件，注意下文的Long不能替换为long类型，否则在ODPS上运行会报Method Not Found错误：

package chanvee.udf

import java.util.Arrays

import java.util.HashSet

import java.util.Set

public class CountHits extends UDF {

public Long evaluate (String a,String b){

if(a == null || b == null) {

return 0L//异常值

}

Set<String>set1 = new HashSet<String>()

Set<String>set2 = new HashSet<String>()

set1.addAll(Arrays.asList(a.split(",")))

set2.addAll(Arrays.asList(b.split(",")))

Long hits = 0L

for(String s : set2){

if( set1.contains(s) )

hits++

}

return hits

}

}

本段函数的主要工作是在a串和b串去重后，计算它们中重复元素的个数。接下来在本地测试下 UDF 。在test.jark.udf包中有两个文件TestCountHits.java和TestUDFBase.java。由于如果 UDF 的输入参数是多个的话，本地测试默认的分隔符是逗号，与我们brand中的逗号冲突了。所以修改下TestUDFBase.java文件的第15行的分隔符为空格（当然也可以其他符号）：

private final static String ODPS_SEPARATOR = " "

同时修改第72行，去掉(String)，原因是Long型不能强制转换成String：

return callMeth.invoke(UDFClass, input_parameter.toArray()) + "\n"

在TestCountHits.in文件中输入测试样例：

进入查询窗口后，输入下面的语句：

CREATE INDEX mycolumn_index ON mytable (myclumn)

这个语句建立了一个名为mycolumn_index的索引。你可以给一个索引起任何名字，但你应该在索引名中包含所索引的字段名，这对你将来弄清楚建立该索引的意图是有帮助的。

注意：

在本书中你执行任何SQL语句，都会收到如下的信息：

This command did not return data,and it did not return any rows

这说明该语句执行成功了。

索引mycolumn_index对表mytable的mycolumn字段进行。这是个非聚簇索引，也是个非唯一索引。（这是一个索引的缺省属性）

如果你需要改变一个索引的类型，你必须删除原来的索引并重建 一个。建立了一个索引后，你可以用下面的SQL语句删除它：

DROP INDEX mytable.mycolumn_index

注意在DROP INDEX 语句中你要包含表的名字。在这个例子中，你删除的索引是mycolumn_index，它是表mytable的索引。

要建立一个聚簇索引，可以使用关键字CLUSTERED。）记住一个表只能有一个聚簇索引。（这里有一个如何对一个表建立聚簇索引的例子：

CREATE CLUSTERED INDEX mycolumn_clust_index ON mytable(mycolumn)

如果表中有重复的记录，当你试图用这个语句建立索引时，会出现错误。但是有重复记录的表也可以建立索引；你只要使用关键字ALLOW_DUP_ROW把这一点告诉SQL Sever即可：

CREATE CLUSTERED INDEX mycolumn_cindex ON mytable(mycolumn)

WITH ALLOW_DUP_ROW

这个语句建立了一个允许重复记录的聚簇索引。你应该尽量避免在一个表中出现重复记录，但是，如果已经出现了，你可以使用这种方法。

要对一个表建立唯一索引，可以使用关键字UNIQUE。对聚簇索引和非聚簇索引都可以使用这个关键字。这里有一个例子：

CREATE UNIQUE COUSTERED INDEX myclumn_cindex ON mytable(mycolumn)

这是你将经常使用的索引建立语句。无论何时，只要可以，你应该尽量对一个对一个表建立唯一聚簇索引来增强查询 *** 作。

最后，要建立一个对多个字段的索引——复合索引——在索引建立语句中同时包含多个字段名。下面的例子对firstname和lastname两个字段建立索引：

CREATE INDEX name_index ON username(firstname,lastname)

这个例子对两个字段建立了单个索引。在一个复合索引中，你最多可以对16个字段进行索引。

用事务管理器建立索引

用事务管理器建立索引比用SQL语句容易的多。使用事务管理器，你可以看到已经建立的索引的列表，并可以通过图形界面选择索引选项。

使用事务管理器你可以用两种方式建立索引：使用Manage Tables窗口或使用Manage Indexes窗口。

要用Manage Tables 窗口建立一个新索引，单击按钮Advanced Options(它看起来象一个前面有一加号的表)。这样就打开了Advanced Options对话框。这个对话框有一部分标名为Primary Key（见图11.1）。

图11。1

要建立一个新索引，从下拉列表中选择你想对之建立索引的字段名。如果你想建立一个对多字段的索引，你可以选择多个字段名。你还可以选择索引是聚簇的还是非聚簇的。在保存表信息后，索引会自动被建立。在Manage Tables窗口中的字段名旁边，会出现一把钥匙。

你已经为你的表建立了“主索引”。主索引必须对不包含空值的字段建立。另外，主索引强制一个字段成为唯一值字段。

要建立没有这些限制的索引，你需要使用Manage Indexes窗口。从菜单中选择Manage|Indexes，打开Manage Indexes 窗口。在Manage Indexes 窗口中，你可以通过下拉框选择表和特定的索引。（见图11.2）。要建立一个新索引，从Index下拉框中选择New Index.，然后就可以选择要对之建立索引的字段。单击按钮Add，把字段加人到索引中。

图11。2

你可以为你的索引选择许多不同的选项。例如，你可以选择该索引是聚簇的还是非聚簇的。你还可以指定该索引为唯一索引。设计好索引后，单击按钮Build，建立该索引。

注意：

唯一索引是指该字段不能有重复的值，而不是只能建立这一个索引。

SQL核心语句

在第十章，你学会了如何用SQL SELECT 语句从一个表中取数据。但是，到现在为止，还没有讨论如何添加，修改或删除表中的数据。在这一节中，你将学习这些内容。

插入数据

向表中添加一个新记录，你要使用SQL INSERT 语句。这里有一个如何使用这种语句的例子：

INSERT mytable (mycolumn) VALUES (‘some data')

这个语句把字符串'some data'插入表mytable的mycolumn字段中。将要被插入数据的字段的名字在第一个括号中指定，实际的数据在第二个括号中给出。

INSERT 语句的完整句法如下：

INSERT [INTO] {table_name|view_name} [(column_list)] {DEFAULT VALUES |

Values_list | select_statement}

如果一个表有多个字段，通过把字段名和字段值用逗号隔开，你可以向所有的字段中插入数据。假设表mytable有三个字段first_column,second_column,和third_column。下面的INSERT语句添加了一条三个字段都有值的完整记录：

INSERT mytable (first_column,second_column,third_column)

VALUES (‘some data','some more data','yet more data')

注意：

你可以使用INSERT语句向文本型字段中插入数据。但是，如果你需要输入很长的字符串，你应该使用WRITETEXT语句。这部分内容对本书来说太高级了，因此不加讨论。要了解更多的信息，请参考Microsoft SQL Sever 的文档。

如果你在INSERT 语句中只指定两个字段和数据会怎么样呢？换句话说，你向一个表中插入一条新记录，但有一个字段没有提供数据。在这种情况下，有下面的四种可能：

如果该字段有一个缺省值，该值会被使用。例如，假设你插入新记录时没有给字段third_column提供数据，而这个字段有一个缺省值'some value'。在这种情况下，当新记录建立时会插入值'some value'。

如果该字段可以接受空值，而且没有缺省值，则会被插入空值。

如果该字段不能接受空值，而且没有缺省值，就会出现错误。你会收到错误信息：

The column in table mytable may not be null.

最后，如果该字段是一个标识字段，那么它会自动产生一个新值。当你向一个有标识字段的表中插入新记录时，只要忽略该字段，标识字段会给自己赋一个新值。

注意：

向一个有标识字段的表中插入新记录后，你可以用SQL变量@@identity来访问新记录

的标识字段的值。考虑如下的SQL语句：

INSERT mytable (first_column) VALUES(‘some value')

INSERT anothertable(another_first,another_second)

VALUES(@@identity,'some value')

如果表mytable有一个标识字段，该字段的值会被插入表anothertable的another_first字段。这是因为变量@@identity总是保存最后一次插入标识字段的值。

字段another_first应该与字段first_column有相同的数据类型。但是，字段another_first不能是应该标识字段。Another_first字段用来保存字段first_column的值。

删除记录

要从表中删除一个或多个记录，需要使用SQL DELETE语句。你可以给DELETE 语句提供WHERE 子句。WHERE子句用来选择要删除的记录。例如，下面的这个DELETE语句只删除字段first_column的值等于'Delete Me'的记录：

DELETE mytable WHERE first_column='Deltet Me'

DELETE 语句的完整句法如下：

DELETE [FROM] {table_name|view_name} [WHERE clause]

在SQL SELECT 语句中可以使用的任何条件都可以在DELECT 语句的WHERE子句中使用。例如，下面的这个DELETE语句只删除那些first_column字段的值为'goodbye'或 second_column字段的值为 'so long'的记录：

DELETE mytable WHERE first_column='goodby' OR second_column='so long'

如果你不给DELETE 语句提供WHERE 子句，表中的所有记录都将被删除。你不应该有这种想法。如果你想删除应该表中的所有记录，应使用第十章所讲的TRUNCATE TABLE语句。

注意：

为什么要用TRUNCATE TABLE 语句代替DELETE语句？当你使用TRUNCATE TABLE语句时，记录的删除是不作记录的。也就是说，这意味着TRUNCATE TABLE 要比DELETE快得多

---