hivesql sql — 获取指定hive表或指定文件所hive表DDL按区则默认执行近7区DDL同table支持符合sql语则表达式表匹配则提示用户选择(使用file则自关闭该交互功能)。
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。另外一个是Windows注册表文件。
EXCEL系统的单元格,默认格式是常规或数值格式下,数字超过10位即以科学计数法显示,对15位以后的数字用0填充。
在导入到Excel、导出csv文件时,对于身份z号自动变成科学计数法的地方,就要做一些必要的相应设置,
我们知道在程序中一个数字连接一个字符串,程序会把整个当作字符串处理;
我们最终目的是让Excel系统对单元格的数据识别成字符串就可以正常显示了,网上也有很多方法。
正确显示方法:
第一个方法
是把数字用双引号引起来,相等于把数据自动变为文本格式,但是很不好看。
新建一个Excel文件,通过数据=》获取外部数据=》来自文本,这个后面的向导中选择正确的分隔符和设置正确的对应列的格式,可以正常显示
第二个方法
把数字用双引号引起来,或者在数字前面加英文的单引号',和Excel的方法一样,相等于把数据自动变为文本格式。
我们在学校时录过信息的都知道加身份z号码时必须在前面加一个英文的单引号吧。但是这样显示不好看
分类: 电脑/网络 >> 程序设计 >> 其他编程语言
解析:
常用数据库语句
1SELECT 语句:命令数据库引擎从数据库里返回信息,作为一组记录。
2INSERT INTO 语句:添加一个或多个记录至一个表。
3UPDATE 语句:创建更新查询来改变基于特定准则的指定表中的字段值。
4DELETE 语句:创建一个删除查询把记录从 FROM 子句列出并符合 WHERE 子句的一个或更多的表中清除。
5EXECUTE 语句:用于激活 PROCEDURE(过程)
用 ASP 来做一个自己的通讯录练练手吧……
一、建立数据库:
用 Microsoft Access 建立一个名为 datamdb 的空数据库,使用设计器创建一个新表。输入以下几个字段:
字段名称 数据类型 说明 其它
ID 自动编号 数据标识 字段大小:长整型 新值:递增 索引:有(无重复)
username 文本 姓名 缺省值
usermail 文本 E-mail 缺省值
view 数字 查看次数 字段大小:长整型 默认值:0 索引:无
indate 时间日期 加入时间 缺省值
保存为 datamdb 文件,为了便于说明,只是做了一个比较简单的库。
二、连接数据库
方法1:
Set conn = ServerCreateObject("ADODBConnection")
connOpen "driver={Microsoft Access Driver (mdb)};dbq="&ServerMapPath("datamdb")
方法2:
Set conn = ServerCreateObject("ADODBConnection")
connOpen "Provider=MicrosoftJetOLEDB40;Data Source="&ServerMapPath("datamdb")
注意:一个页面中,只要连接一次就可以了,数据库使用完后要及时关闭连接。
connClose
Set conn = Nothing
三、添加新记录到数据库
Set conn = ServerCreateObject("ADODBConnection")
connOpen "driver={Microsoft Access Driver (mdb)};dbq="&ServerMapPath("datamdb")
username = "风云突变"
usermail = "fytb@163"
indate = Now()
sql = "insert into data (username,usermail,indata) values('"&username&"','"&usermail&"','"&indate&"')"
connExecute(sql)
connClose
Set conn = Nothing
说明:建立数据库连接;通过表单获取姓名、E-mail 字符串,Now()获取当前时间日期;使用 insert into 语句添加新记录;connExecute 来执行;最后关闭。
四、选择数据库里的记录
1选择所有记录的字段(按记录倒序排序):sql = "select from data order by ID desc"
2选择所有记录的姓名和E-mail字段(不排序):sql = "select username,usermail from data"
3选择姓名为“风云突变”的所有记录:sql = "select from data where username='"风云突变"'"
4选择使用 163 信箱的所有记录(按查看次数排序):sql = "select from data where usermail like '%"@163"%' order by view desc"
5选择最新的10个记录:sql = "select top 10 from data order by ID desc"
SQL 语句已经知道了,不过在Web应用时,还得创建一个 RecordSet 对象得到记录集,才能把从数据库里取出的值应用在网页上,如果现在将所有的记录显示在网页上就这样:
Set conn = ServerCreateObject("ADODBConnection")
connOpen "driver={Microsoft Access Driver (mdb)};dbq="&ServerMapPath("datamdb")
sql = "select from data"
Set rs = ServerCreateObject("ADODBRecordSet")
rsOpen sql,conn,1,1
Do While Not rsEof
ResponseWrite "<p>姓名:"& rs("username") &" E-mail:"& rs("usermail") &" 查看:"& rs("view") &"次 "& rs("indate") &"加入</p>"
rsMoveNext
Loop
rsClose
Set rs = Nothing
connClose
Set conn = Nothing
说明:建立数据库连接;创建 rs 得到记录集;循环显示记录,rsEof 表示记录末,rsMoveNext 表示移到下一个记录;最后关闭。
五、修改(更新)数据库记录
修改记录的E-mail:
Set conn = ServerCreateObject("ADODBConnection")
connOpen "driver={Microsoft Access Driver (mdb)};dbq="&ServerMapPath("datamdb")
ID = 1
usermail = "fytb@163"
sql = "update data set usermail='"&usermail&"' where ID="&CInt(ID)
connExecute(sql)
connClose
Set conn = Nothing
说明:建立数据库连接;获取记录ID、新 E-mail 字符串;使用 update 语句修改记录;connExecute 来执行;最后关闭。
如果使记录的查看值加1,则:sql = "update data set view=view+1 where ID="&CInt(ID)
六、删除数据库记录
删除某一条记录:
Set conn = ServerCreateObject("ADODBConnection")
connOpen "driver={Microsoft Access Driver (mdb)};dbq="&ServerMapPath("datamdb")
ID = 1
sql = "delete from data where ID="&CInt(ID)
connExecute(sql)
connClose
Set conn = Nothing
说明:建立数据库连接;获取记录ID;使用 delete 语句删除记录;connExecute 来执行;最后关闭。
删除多条记录为:sql = "delete from data where ID in (ID1,ID2,ID3)"
删除所有记录为:sql = "delete from data"
总结:
以上教程是针对ASP的初学者而写的,只是介绍了一些基本的用法,在了解之后可以自己去试试,重要的在于能举一反三、综合运用。更多的语法和参数请参阅 Microsoft Access 帮助中的 Microsoft Jet SQL 参考,由于本人才疏学浅、能力有限,如有表达不明确有地方还望指出,如果在应用当中遇到什么问题,也希望能够提出。谢谢。
SQL 关键字 where ,类型转换Convert
历史数据,多久后的数据,假如有表A,有2个字段a,b
a 为int 类型,b 为日期类型
转换日期以及日期范围SQL 如下:
select from A where b between convert(datetime,'2015-08-01 08:08:08' ) and convert(datetime, '2015-08-01 08:12:08')
以上SQL 就是查询历史记录,日期为'2015-08-01 08:08:08'与 '2015-08-01 08:12:08'
之间的数据
创建报表可以通过Microsoft SQL Server 2008 R2中的Business Intelligence Development Studio创建,也可以在Microsoft visual studio中通过使用ReportView控件来创建报表。本实例采用Microsoft SQL Server 2008 R2中的Business Intelligence Development Studio创建报表。
创建报表服务器项目
在制作报表之前,要先创建一个报表服务器项目,在其中可以存放若干报表供用户调用。在Business Intelligence Development Studio中创建报表服务器项目的 *** 作步骤如下。
选择开始|所有程序|Microsoft SQL Server 2008 R2|Business Intelligence Development Studio,启动商业智能开发环境。在菜单栏中选择文件|新建|项目命令,d出新建项目对话框。在项目类型列表中选择商业智能项目选项,在模板列表中选择报表服务器项目向导选项,在名称文本框中输入报表项目4,单击确定按钮以创建项目。
单击下一步按钮进入创建数据源的 *** 作。
创建数据源
数据源从本质上讲就是对从中获取数据位置的连接的定义,它可以是与一个SQL Server数据源的连接,也可以是与任意OLE DB或ODBC数据源的连接。
数据源是Reporting Services中最为重要的内容。无论建立的报表是何种类型,也无论报表是使用报表模型器还是报表项目,它都以某种方式发挥着作用。数据源有以下两种类型:嵌入式和共享式。
在新建数据源名称中输入bookshop、在连接字符串中输入Data source=localhost;Initial catalog=bookshop,单击下一步进入设计查询界面;
设计报表:
在Business Intelligence Development Studio的菜单栏中选择视图|工具箱命令,使用工具箱中的报表项设计报表,完善报表。
发布报表
报表设计完成后,接下来需要对报表进行部署, *** 作步骤如下:
在Business Intelligence Development Studio的菜单栏中选择项目|报表项目4属性命令,d出报表项目4属性页对话框。在TargetReportFolder字段中,设置登录到报表管理器时想驻留报表的文件夹。在TargetServerURL字段中,输入报表服务器的Web服务URL。在本例中,该URL很简单,为>
启动浏览器,打开地址>
一、MySQL数据库有几个配置选项可以帮助我们及时捕获低效SQL语句
1,slow_query_log
这个参数设置为ON,可以捕获执行时间超过一定数值的SQL语句。
2,long_query_time
当SQL语句执行时间超过此数值时,就会被记录到日志中,建议设置为1或者更短。
3,slow_query_log_file
记录日志的文件名。
4,log_queries_not_using_indexes
这个参数设置为ON,可以捕获到所有未使用索引的SQL语句,尽管这个SQL语句有可能执行得挺快。
二、检测mysql中sql语句的效率的方法
1、通过查询日志
(1)、Windows下开启MySQL慢查询
MySQL在Windows系统中的配置文件一般是是myini找到[mysqld]下面加上
代码如下
log-slow-queries = F:/MySQL/log/mysqlslowquery。log
long_query_time = 2
(2)、Linux下启用MySQL慢查询
MySQL在Windows系统中的配置文件一般是是mycnf找到[mysqld]下面加上
代码如下
log-slow-queries=/data/mysqldata/slowquery。log
long_query_time=2
说明
log-slow-queries = F:/MySQL/log/mysqlslowquery。
为慢查询日志存放的位置,一般这个目录要有MySQL的运行帐号的可写权限,一般都将这个目录设置为MySQL的数据存放目录;
long_query_time=2中的2表示查询超过两秒才记录;
2show processlist 命令
SHOW PROCESSLIST显示哪些线程正在运行。您也可以使用mysqladmin processlist语句得到此信息。
各列的含义和用途:
ID列
一个标识,你要kill一个语句的时候很有用,用命令杀掉此查询 //mysqladmin kill 进程号。
user列
显示单前用户,如果不是root,这个命令就只显示你权限范围内的sql语句。
host列
显示这个语句是从哪个ip的哪个端口上发出的。用于追踪出问题语句的用户。
db列
显示这个进程目前连接的是哪个数据库。
command列
显示当前连接的执行的命令,一般就是休眠(sleep),查询(query),连接(connect)。
time列
此这个状态持续的时间,单位是秒。
state列
显示使用当前连接的sql语句的状态,很重要的列,后续会有所有的状态的描述,请注意,state只是语句执行中的某一个状态,一个 sql语句,以查询为例,可能需要经过copying to tmp table,Sorting result,Sending data等状态才可以完成
info列
显示这个sql语句,因为长度有限,所以长的sql语句就显示不全,但是一个判断问题语句的重要依据。
这个命令中最关键的就是state列,mysql列出的状态主要有以下几种:
Checking table
正在检查数据表(这是自动的)。
Closing tables
正在将表中修改的数据刷新到磁盘中,同时正在关闭已经用完的表。这是一个很快的 *** 作,如果不是这样的话,就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。
Connect Out
复制从服务器正在连接主服务器。
Copying to tmp table on disk
由于临时结果集大于tmp_table_size,正在将临时表从内存存储转为磁盘存储以此节省内存。
Creating tmp table
正在创建临时表以存放部分查询结果。
deleting from main table
服务器正在执行多表删除中的第一部分,刚删除第一个表。
deleting from reference tables
服务器正在执行多表删除中的第二部分,正在删除其他表的记录。
Flushing tables
正在执行FLUSH TABLES,等待其他线程关闭数据表。
Killed
发送了一个kill请求给某线程,那么这个线程将会检查kill标志位,同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位,不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了,那么kill请求会在锁释放时马上生效。
Locked
被其他查询锁住了。
Sending data
正在处理SELECT查询的记录,同时正在把结果发送给客户端。
Sorting for group
正在为GROUP BY做排序。
Sorting for order
正在为ORDER BY做排序。
Opening tables
这个过程应该会很快,除非受到其他因素的干扰。例如,在执ALTER TABLE或LOCK TABLE语句行完以前,数据表无法被其他线程打开。正尝试打开一个表。
Removing duplicates
正在执行一个SELECT DISTINCT方式的查询,但是MySQL无法在前一个阶段优化掉那些重复的记录。因此,MySQL需要再次去掉重复的记录,然后再把结果发送给客户端。
Reopen table
获得了对一个表的锁,但是必须在表结构修改之后才能获得这个锁。已经释放锁,关闭数据表,正尝试重新打开数据表。
Repair by sorting
修复指令正在排序以创建索引。
Repair with keycache
修复指令正在利用索引缓存一个一个地创建新索引。它会比Repair by sorting慢些。
Searching rows for update
正在讲符合条件的记录找出来以备更新。它必须在UPDATE要修改相关的记录之前就完成了。
Sleeping
正在等待客户端发送新请求
System lock
正在等待取得一个外部的系统锁。如果当前没有运行多个mysqld服务器同时请求同一个表,那么可以通过增加--skip-external-locking参数来禁止外部系统锁。
Upgrading lock
INSERT DELAYED正在尝试取得一个锁表以插入新记录。
Updating
正在搜索匹配的记录,并且修改它们。
User Lock
正在等待GET_LOCK()。
Waiting for tables
该线程得到通知,数据表结构已经被修改了,需要重新打开数据表以取得新的结构。然后,为了能的重新打开数据表,必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知:FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。
waiting for handler insert
INSERT DELAYED已经处理完了所有待处理的插入 *** 作,正在等待新的请求。
大部分状态对应很快的 *** 作,只要有一个线程保持同一个状态好几秒钟,那么可能是有问题发生了,需要检查一下。
还有其他的状态没在上面中列出来,不过它们大部分只是在查看服务器是否有存在错误是才用得着。
例如如图:
3、explain来了解SQL执行的状态
explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。
使用方法,在select语句前加上explain就可以了:
例如:
explain select surname,first_name form a,b where aid=bid
结果如图
EXPLAIN列的解释
table
显示这一行的数据是关于哪张表的
type
这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、indexhe和ALL
possible_keys
显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句
key
实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。这种情况下,可以在SELECT语句 中使用USE INDEX(indexname)来强制使用一个索引或者用IGNORE INDEX(indexname)来强制MYSQL忽略索引
key_len
使用的索引的长度。在不损失精确性的情况下,长度越短越好
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数
rows
MYSQL认为必须检查的用来返回请求数据的行数
Extra
关于MYSQL如何解析查询的额外信息。将在表43中讨论,但这里可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢
extra列返回的描述的意义
Distinct
一旦MYSQL找到了与行相联合匹配的行,就不再搜索了
Not exists
MYSQL优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,就不再搜索了
Range checked for each Record(index map:#)
没有找到理想的索引,因此对于从前面表中来的每一个行组合,MYSQL检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一
Using filesort
看到这个的时候,查询就需要优化了。MYSQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行
Using index
列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候
Using temporary
看到这个的时候,查询需要优化了。这里,MYSQL需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上
Where used
使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题不同连接类型的解释(按照效率高低的顺序排序)
const
表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为MYSQL先读这个值然后把它当做常数来对待
eq_ref
在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键或惟一键的全部时使用
ref
这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好
range
这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况
index
这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)
ALL
这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免
//
//名称:strToDate
//功能:将指定的字符串转换成日期
//输入:aStrValue: 要转换的字符串;
// aFmtDate: 转换日期的格式, 默认为: "yyyy/MM/dd "
// aDteRtn: 转换后的日期
//输出:
//返回:TRUE: 是正确的日期格式; FALSE: 是错误的日期格式
//
public static boolean strToDate(
String aStrValue,
String aFmtDate,
javautilDate aDteRtn)
{
if (aFmtDatelength() == 0)
{
aFmtDate = "yyyy/MM/dd ";
}
SimpleDateFormat fmtDate = new SimpleDateFormat(aFmtDate);
try
{
aDteRtnsetTime(fmtDateparse(aStrValue)getTime());
}
catch (Exception e)
{
return (false);
}
return (true);
}
//
//名称:dateToStr
//功能:将指定的日期转换成字符串
//输入:aDteValue: 要转换的日期;
// aFmtDate: 转换日期的格式, 默认为: "yyyy/MM/dd "
//输出:
//返回:转换之后的字符串
//
public static String dateToStr(javautilDate aDteValue, String aFmtDate)
{
String strRtn = null;
if (aFmtDatelength() == 0)
{
aFmtDate = "yyyy/MM/dd ";
}
Format fmtDate = new SimpleDateFormat(aFmtDate);
try
{
strRtn = fmtDateformat(aDteValue);
}
catch (Exception e)
{
}
return (strRtn);
}
第二种。
import javautil;
import javatextSimpleDateFormat;
class test
{
public static void main(String[] args)
{
long nCurrentTime = SystemcurrentTimeMillis();
javautilDate utilDate = new javautilDate(nCurrentTime);
GregorianCalendar da = new GregorianCalendar(2004, 11, 23, 11, 45, 50);
javautilDate time = dagetTime();
javasqlDate sqlDate = new javasqlDate(timegetTime());
javasqlTime sqlTime = new javasqlTime(timegetTime());
javasqlTimestamp sqlTimestamp = new javasqlTimestamp(nCurrentTime);
Systemoutprintln(time);
Systemoutprintln( "sqlDate:----- "+sqlDate);
Systemoutprintln( "sqlTime:----- "+sqlTime);
Systemoutprintln( "sqlTimestamp:----- "+sqlTimestamp);
}
}
你自己选吧。后面的这个比较好。你自己最好写一个公共的util类。
以上就是关于hivesql怎么获取上一个月月份全部的内容,包括:hivesql怎么获取上一个月月份、plsql导出csv文件时间格式异常身份z号、急需要 数据库修改 提交的SQL代码 谢谢等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)