2.即然他要上传500M以纤老上的文件,估计服务器性能必定非同凡想,所以暂可不考虑服务器硬件配置问题,但一定要考虑到网速问题,建议1000M以上出入速率,如少于这个数,你可以放弃这个方案了;
3.前面硬件都过关了,但程序也要加强了,一下上传500M是哪种语言都不能实现的,唯一解决方案,文件切割,如迅雷下载原理一样(采用续点上传),分成毁橡升若干小块,然后全部上传完毕以后,再进行文件合成。
4.至于PHP的文件切割,切如拦割后上传,以及文件合并,此类代码网上有许多,楼主可查询并选择适合你的代码,实现你的功能!
我前几天有一个面试,面试题就是有这样一道题。先把自己的思路说一下,因为信息量非常的大,所以我采用了分表,分成24张表,每个小时一张,虽然凌晨时刻的表可能很少数据,但这样sum字段的问题就容易解决了,我理解的sum字段是一个小时同一个用户在相同的环境的登陆次数。这样坦谨理解不知对否,请网友自行甄辨。然后我通过PHP中的fgets函数一行一行的数据取出,入表。实验了几万条数据是没有问题的,但是上亿条数据可能够呛。这一点也请网友注意,我也是新手。只是看到这里没有答案,给大家一个参考。废话不多,看流程:
日志文件(access.log)格式:
200 /alipeng.gif?zoneid=2&bannerid=44&clentid=6&materialid=64&redirect=http%3a%2f%2fwww.alipeng.cn&time=1384444800.832&ip=127.0.0.1&user_agent=Mozilla/5.0 (X11 Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36&utrace=a6dbdd2f6a37b946165b7ae98dcd4f79502 /alipeng.gif?zoneid=2&bannerid=44&侍者clentid=6&materialid=64&redirect=http%3a%2f%2fwww.alipeng.org&time=1384444800.904&ip=127.0.0.1&user_agent=Mozilla/5.0 (X11 Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36&utrace=a6dbdd2f6a37b946165b7ae98dcd4f79
配置文件cfg.php:
define(HOST,'localhost')//主机名define(USER,'root')//数据库账号
define(PASS,'111111')//数据库密码
define(DBNAME,'test')//所用的数据库
define(CHARSET,'utf8')//使用的字符集
具体代码test.php:
<?phpheader("content-type:text/htmlcharset=utf-8")
require './cfg.php'
$link = mysql_connect(HOST,USER,PASS) or die('连接数据库失败')
//程序中自动建库和建表,这样一定程度上拖慢了程序的速度
//创建数据库
$crdb="create database if not exists ".DBNAME
if(!mysql_query($crdb)){
die('创建数据库失败')
}
//链接数据库
mysql_select_db(DBNAME) or die('选择数据库失败')
mysql_set_charset(CHARSET)
//因为数据量很大我将数据按小时分表,分成24个表,每小时一个表,这样num字段的值也好做统计
//数据循环让谈基建表
for($i=0$i<24$i++){
if($i<10){
$tbhz='0'.$i//如果前10张表,表后缀应该是00-09
}else{
$tbhz=$i
}
$ctbsql="create table if not exists logininfo_{$tbhz}(
id int not null auto_increment primary key,
zoneid int not null default 0,
bannerid int not null default 0,
clentid int not null default 0,
materialid int not null default 0,
redirect char(200) not null default '',
time char(16) not null default '',
user_agent char(200) not null default '',
utrace char(32) not null default '',
sum int not null default 0
)TYPE=MyISAM DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci"
mysql_query($ctbsql)
}
//打开文件
$file=fopen("./access.log",'r') or die("打开文件失败")
//对文件内容进行循环,直到文件末尾才停止
while (!feof($file)){
//每次读取一行
$line = fgets($file,1024)
//状态是200的进行写入数据库 *** 作
if(preg_match('/^200/',$line)){
$pinfo=parse_url($line)//url信息
$ext=$pinfo['query']//取得传递的各个参数
$parray=explode('&',$ext)//根据&分解为数组
//因为分解为数组后并不是要的值,所以要对值进行一次截取,将等号及等号左边的都去掉
foreach($parray as $val){
$narray[]=ltrim(strstr($val,'='),'=')
}
$narray[8]=rtrim($narray[8],'_')
//截取时间的秒数
$getmun=substr($parray[5],5,10)
$time=date('Y-m-d H',$getmun)//将秒数转化为时间类型。
//得到表后缀
$tbhz=date('H',$getmun)
$sql="insert into logininfo_{$tbhz} values(null,'{$narray[0]}','{$narray[1]}','{$narray[2]}','{$narray[3]}','{$narray[4]}','{$time}','{$narray[7]}','{$narray[8]}',0)"
//echo $sql
$res=mysql_query($sql)//执行插入
if(!$res || !mysql_affected_rows()>0){
die('写入数据库失败')
}
unset($narray)//循环一次将narray销毁,为下一次循环做准备
//var_dump(parse_url($line)['query'])
}
}
fclose($file)//关闭
//因为sum字段还是0,下面代码段需要处理sum字段的值
//24张表循环处理
for($i=0$i<24$i++){
if($i<10){
$tbhz='0'.$i//如果前10张表,表后缀应该是00-09
}else{
$tbhz=$i
}
//该sql语句是把同一个小时内,并且符合条件相等的登陆的总次数和需要的登陆信息查出,为下面修改sum做准备
$sql="SELECT COUNT('zoneid') AS sum,zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace FROM logininfo_{$tbhz} GROUP BY zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace"
//发送查询sql
$res=mysql_query($sql)
if($res && mysql_num_rows($res)>0){
while($row=mysql_fetch_assoc($res)){
//修改sum字段,即同一小时内的登陆次数
$upsql="update logininfo_{$tbhz} set sum='{$row['sum']}' where zoneid='{$row['zoneid']}' and bannerid='{$row['bannerid']}' and clentid='{$row['clentid']}' and materialid='{$row['materialid']}' and redirect='{$row['redirect']}' and user_agent='{$row['user_agent']}' and utrace='{$row['utrace']}'"
//发送修改sql,执行修改sum
$upres=mysql_query($upsql)
if(!$upres){
die('修改登陆sum失败')
}
}
}
}
echo '数据成功入表'
使用说明:
将配置文件cfg.php中的连接数据库账号、密码修改为自己本机的(默认新增的库名是test)
直接运行test1.php
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)