用UltraEdit打开的文件的编码

用UltraEdit打开的文件的编码,第1张

用UltraEdit打开UTF-8编码的文件,在UltraEdit里自动转换成了UFT-16编辑,但在保存时还是UTF-8编码

UltraEdit状态显示的编码:

ASCII 编码文件显示为   DOS或UNIX
UTF-8 编码文件显示为  U8-DOS或U8-UNIX
UTF-16编码文件显示为 U-DOS 或U-UNIX
(一般Unicode指UTF-16)

原文: >如果只是简单地判断汉字,则只要查看高字节是否大于等于0xa1就可以了,还有就是,全角字符的高字节统统等于0xa3,所以很容易可以区别出全角字符来。
Unicode:FF、FE
Unicode big endian:FE、FF
UTF-8:EF、BB、BF
这些都可以用UltraEdit看出来
GBK编码:
第一个字节:0x81-0xFE(129-254)
第二个字节:0x40-0xFE(64-254)
UTF-8:EF、BB、BF

如何确定文件编码格式的方法??
当我们用SystemIOStreamReader读取包含汉字的txt文件时,经常会读出乱码(StreamWriater写文本文件也有类似的问题),原因很简单,就是文件的编码(encoding)和StreamReader/Writer的encoding不对应。
为了解决这个问题,我写了一个类,来取得一个文本文件的encoding,这样我们就可以创建对应的StreamReader和StreamWriter来读写,保证不会出现乱码现象。其实原理很简单,文本编辑器(比如XP自带的记事本)在生成文本文件时,如果编码格式和系统默认的编码(中文系统下默认为GB2312)不一致时,会在txt文件开头部分添加特定的“编码字节序标识(Encoding Bit Order Madk,简写为BOM)”,类似PE格式的"MZ"文件头。这样它在读取时就可以根据这个BOM来确定该文本文件生成时所使用的Encoding。这个BOM我们用记事本等程序打开默认是看不到的,但是用stream按字节读取时是可以读到的。我的这个TxtFileEncoding类就是根据这个BOM“文件头”来确定txt文件生成时用到的编码的。
// 作者:袁晓辉
// 2005-8-8
// // // // // //
using System;
using SystemText;
using SystemIO;
namespace FarprocText
{
/// <summary>
/// 用于取得一个文本文件的编码方式(Encoding)。
/// </summary>
public class TxtFileEncoding
{
public TxtFileEncoding()
{
//
// TODO: 在此处添加构造函数逻辑
//
}
/// <summary>
/// 取得一个文本文件的编码方式。如果无法在文件头部找到有效的前导符,EncodingDefault将被返回。
/// </summary>
/// <param name="fileName">文件名。</param>
/// <returns></returns>
public static Encoding GetEncoding(string fileName)
{
return GetEncoding(fileName, EncodingDefault);
}
/// <summary>
/// 取得一个文本文件流的编码方式。
/// </summary>
/// <param name="stream">文本文件流。</param>
/// <returns></returns>
public static Encoding GetEncoding(FileStream stream)
{
return GetEncoding(stream, EncodingDefault);
}
// <summary>
/// 取得一个文本文件的编码方式。
/// </summary>
/// <param name="fileName">文件名。</param>
/// <param name="defaultEncoding">默认编码方式。当该方法无法从文件的头部取得有效的前导符时,将返回该编码方式。</param>
/// <returns></returns>
public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)
{
FileStream fs = new FileStream(fileName, FileModeOpen);
Encoding targetEncoding = GetEncoding(fs, defaultEncoding);
fsClose();
return targetEncoding;
}
/// <summary>
/// 取得一个文本文件流的编码方式。
/// </summary>
/// <param name="stream">文本文件流。</param>
/// <param name="defaultEncoding">默认编码方式。当该方法无法从文件的头部取得有效的前导符时,将返回该编码方式。</param>
/// <returns></returns>
public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)
{
Encoding targetEncoding = defaultEncoding;
if(stream != null && streamLength >= 2)
{
//保存文件流的前4个字节
byte byte1 = 0;
byte byte2 = 0;
byte byte3 = 0;
byte byte4 = 0;
//保存当前Seek位置
long origPos = streamSeek(0, SeekOriginBegin);
streamSeek(0, SeekOriginBegin);
int nByte = streamReadByte();
byte1 = ConvertToByte(nByte);
byte2 = ConvertToByte(streamReadByte());
if(streamLength >= 3)
{
byte3 = ConvertToByte(streamReadByte());
}
if(streamLength >= 4)
{
byte4 = ConvertToByte(streamReadByte());
}
//根据文件流的前4个字节判断Encoding
//Unicode {0xFF, 0xFE};
//BE-Unicode {0xFE, 0xFF};
//UTF8 = {0xEF, 0xBB, 0xBF};
if(byte1 == 0xFE && byte2 == 0xFF)//UnicodeBe
{
targetEncoding = EncodingBigEndianUnicode;
}
if(byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)//Unicode
{
targetEncoding = EncodingUnicode;
}
if(byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)//UTF8
{
targetEncoding = EncodingUTF8;
}
//恢复Seek位置 
streamSeek(origPos, SeekOriginBegin);
}
return targetEncoding;
}
}
}
由于在GB2312和UTF7编码都没有BOM,所以需要指定一个默认的Encoding,在找不到合法的BOM时,将返回这个Encoding。有谁知道如何区分GB2312和UTF7编码txt文件的方法,也请告诉我。
由于只是static方法,所以不用new,直接通过类名调用方法,使用起来也很简单。
using System;
using FarprocText;
using SystemText;
using SystemIO;
namespace ConsoleApplication1
{
/// <summary>
/// Class1 的摘要说明。
/// </summary>
class Class1
{
/// <summary>
/// 应用程序的主入口点。
/// </summary>
[STAThread]
static void Main(string[] args)
{
//
// TODO: 在此处添加代码以启动应用程序
//
string fileName = @"e:\atxt";
//生成一个big endian Unicode编码格式的文本文件
StreamWriter sw = new StreamWriter(fileName, false, EncodingBigEndianUnicode);//你可以试试其他编码,比如EncodingGetEncoding("GB2312")或UTF8
swWrite("这是一个String");
swClose();
//读取
Encoding fileEncoding = TxtFileEncodingGetEncoding(fileName, EncodingGetEncoding("GB2312"));//取得这txt文件的编码
ConsoleWriteLine("这个文本文件的编码为:" + fileEncodingEncodingName);
StreamReader sr = new StreamReader(fileName, fileEncoding);//用该编码创建StreamReader
//用下面的方法虽然可以让系统自动判断文本文件的编码格式,但是我们无法取得该文本文件的编码
//srCurrentEncoding永远为 Unicode(UTF-8)
//StreamReader sr = new StreamReader(fileName, true);
//ConsoleWriteLine("这个文本文件的编码为:" + srCurrentEncodingEncodingName);
ConsoleWriteLine("这个文本文件的内容为:" + srReadToEnd());
srClose();
ConsoleReadLine();
}
}
}
NET下的string永远是Unicode的,所以只能判断txt文件的Encoding。对于byte[],只有自己知道它的Encoding才能转换为string 转换为其他编码的byte[],一个例外是把整个txt文件通过stream读入byte[]后也可以根据它的前几个字节判断Encoding,对于片断,我们就无能为力了:)

1、首先打开该TXT文本

2、打开文件之后,点击[文件]->[另存为]。

3、在d出的另存为对话框中,可以看到文件的编码格式。

4、如果想要修改文件的编码格式,可以通过显示编码格式的地方,下拉,选择你想要使用的编码;然后点击保存,即可生成另一个编码格式的文件。

扩展资料:

常见的编码格式有ASCII、ANSI、GBK、GB2312、UTF-8、GB18030和UNICODE等。对应的编码规则有单字节字符编码、ANSI编码和UNICODE编码等。

ANSI编码

把 UNICODE 字符串通过 ANSI 编码转化为“字节串”时,根据各自编码的规定,一个 UNICODE 字符可能转化成一个字节或多个字节。

反之,将字节串转化成字符串时,也可能多个字节转化成一个字符。比如,[0xD6, 0xD0] 这两个字节,通过 GB2312 转化为字符串时,将得到 [0x4E2D] 一个字符,即 '中' 字。

ANSI 编码的特点:

1、这些“ANSI 编码标准”都只能处理各自语言范围之内的 UNICODE 字符。

2、“UNICODE 字符”与“转换出来的字节”之间的关系是人为规定的。

参考资料来源:

百度百科-ansi编码

视频文件的编码格式可以通过格式工厂来查看,具体的 *** 作步骤如下:

1、首先进入到格式工厂软件的首页,这里以AVI视频文件为例,然后点击AVI。

2、在d出来的页面接着点击添加文件

3、选择你要查看视频的文件,然后点击打开。

4、接着点击多媒体文件信息。

5、最后就可以看到视频文件的编码方式了。

其实没有哪个可以100%确定编码的,包括JAVA的类也一样。
TEXT的存储不标识编码,那么,如何确定呢,其实一个GBK或者UNICODE的文本文件,就认为它是ANSI也是有道理的:里面放着不可打印字符 这个也行啊。
所谓的识别,其实就是识别可打印字符。
ANSI 是1BYTE存储,每个里面可打印字符都在128以内,如果你读取文本的前四个BYTE都是可打印字符,那么就是ANSI了。
同样,GBK是3位存储的,同样有着可打印特征,UNICODE是4位,也有着不同于GBK的特征码,注意这些其实就是可打印字符范围,3BYTE可以存储160w种符号,其中可打印符号的编码是有规则的,UNICODE同理。
也就是说,你读取文本的前4位(读取12位判定会更好),根据不同特征(每个BYTE的范围)就可以基本判定了。
具体的特征范围有完整的规范,可以在网上查到。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/yw/13369243.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-07-23
下一篇 2023-07-23

发表评论

登录后才能评论

评论列表(0条)

保存