在具体判断时,如果文档不带有BOM,就无法根据BOM做出判断,而且IsTextUnicode API也无法对UTF-8编码的Unicode字符串做出判断。那在编程判断时就要根据UTF-8字符编码的此册规律进行判断了。
UTF-8是一种多森拿宏字节编码的字符集,表示一个Unicode字符时,它可以是1个至多个字节,在表示上有规律:
1字节:0xxxxxxx
2字节:110xxxxx 10xxxxxx
3字节:1110xxxx 10xxxxxx 10xxxxxx
4字节:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
这样就可以根据上面的特征对字符串进行遍历来判断一个字符串是不是UTF-8编码了。
举例代码:
java.io.File f=new java.io.File("待判定的文本文件名")
try{
java.io.InputStream ios=new java.io.FileInputStream(f)
byte[] b=new byte[3]
ios.read(b)
ios.close()
if(b[0]==-17&&b[1]==-69&&b[2]==-65)
System.out.println(f.getName()+"编码为UTF-8")
else System.out.println(f.getName()+"可能是GBK")
}catch(Exception e){
e.printStackTrace()
}
java中主要使用charset这个类来判断文件的编码格式,代码如下:
package com.ghj.packageoftool
import info.monitorenter.cpdetector.io.ASCIIDetector
import info.monitorenter.cpdetector.io.ByteOrderMarkDetector
import info.monitorenter.cpdetector.io.CodepageDetectorProxy
import info.monitorenter.cpdetector.io.JChardetFacade
import info.monitorenter.cpdetector.io.ParsingDetector
import info.monitorenter.cpdetector.io.UnicodeDetector
import java.io.ByteArrayInputStream
import java.io.File
import java.io.InputStream
import java.net.URL
import java.nio.charset.Charset
/**
* 文件工具类
*
* @author 高焕杰
*/
public class FileTool {
册悉 /**
* 获取本地文件的编码格式
*
* @param file 要判断的文件编码格式
*
* @author 高焕杰
*/
public static String getLocalFileEncode(File localFile) {
/*
* cpDetector是探测器,它把探测任务交给具体的探测实现类的实例完成。
* cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。
* cpDetector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的字符集编码。cpDetector是基于统计学原理的,不保证完全正确。
*/
CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance()
codepageDetector.add(new ParsingDetector(false))//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
codepageDetector.add(JChardetFacade.getInstance())//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
codepageDetector.add(new ByteOrderMarkDetector())
codepageDetector.add(ASCIIDetector.getInstance())//ASCIIDetector用于ASCII编码测定
codepageDetector.add(UnicodeDetector.getInstance())//UnicodeDetector用于Unicode家族编码配姿梁的测定
Charset charset = null
try {
charset = codepageDetector.detectCodepage(localFile.toURI().toURL())
if (charset != null){
return charset.name()
}
} catch (Exception e) {
e.printStackTrace()
}
return null
}
培运
/**
* 获得远程URL文件的编码格式
*
* @param url 远程文件的URL路径
*
* @author 高焕杰
*/
public static String getURLFileEncode(URL url) {
/*
* cpDetector是探测器,它把探测任务交给具体的探测实现类的实例完成。
* cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。
* cpDetector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的字符集编码。cpDetector是基于统计学原理的,不保证完全正确。
*/
CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance()
codepageDetector.add(new ParsingDetector(false))//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
codepageDetector.add(JChardetFacade.getInstance())//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
codepageDetector.add(ASCIIDetector.getInstance())//ASCIIDetector用于ASCII编码测定
codepageDetector.add(UnicodeDetector.getInstance())//UnicodeDetector用于Unicode家族编码的测定
Charset charset = null
try {
charset = codepageDetector.detectCodepage(url)
if (charset != null){
return charset.name()
}
} catch (Exception e) {
e.printStackTrace()
}
return null
}
/**
* 获得文件流的编码格式
*
* @param inputStream 文件流
*
* @author 高焕杰
*/
public static String getInputStreamEncode(InputStream inputStream) {
/*
* cpDetector是探测器,它把探测任务交给具体的探测实现类的实例完成。
* cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。
* cpDetector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的字符集编码。cpDetector是基于统计学原理的,不保证完全正确。
*/
CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance()
codepageDetector.add(new ParsingDetector(false))//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
codepageDetector.add(JChardetFacade.getInstance())//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
codepageDetector.add(ASCIIDetector.getInstance())//ASCIIDetector用于ASCII编码测定
codepageDetector.add(UnicodeDetector.getInstance())//UnicodeDetector用于Unicode家族编码的测定
Charset charset = null
try {
charset = codepageDetector.detectCodepage(inputStream, 0)
if (charset != null){
return charset.name()
}
} catch (Exception e) {
e.printStackTrace()
}
return null
}
/**
* 获得字符串的编码格式
*
* @param stringValue 要判断的文件编码格式字符串
*
* @author 高焕杰
*/
public static String getStringEncode(String stringValue) {
/*
* cpDetector是探测器,它把探测任务交给具体的探测实现类的实例完成。
* cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、ByteOrderMarkDetector、JChardetFacade、ASCIIDetector、UnicodeDetector。
* cpDetector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的字符集编码。cpDetector是基于统计学原理的,不保证完全正确。
*/
CodepageDetectorProxy codepageDetector = CodepageDetectorProxy.getInstance()
codepageDetector.add(new ParsingDetector(false))//ParsingDetector可用于检查HTML、XML等文件或字符流的编码,构造方法中的参数用于指示是否显示探测过程的详细信息,为false不显示。
codepageDetector.add(JChardetFacade.getInstance())//JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
codepageDetector.add(ASCIIDetector.getInstance())//ASCIIDetector用于ASCII编码测定
codepageDetector.add(UnicodeDetector.getInstance())//UnicodeDetector用于Unicode家族编码的测定
Charset charset = null
try {
InputStream inputStream = new ByteArrayInputStream(stringValue.getBytes())
charset = codepageDetector.detectCodepage(inputStream, 3)
if (charset != null){
return charset.name()
}
} catch (Exception e) {
e.printStackTrace()
}
return null
}
}
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)