UTF-8与GBK互转会乱码,为什么?编码不一致

UTF-8与GBK互转会乱码,为什么?编码不一致,第1张

乱码的本质就是: 读取二进制的时候采用的编码和最初将字符转换成二进制时的编码不一致。

UTF-8和GBK是两套中文支持较好的编码,所以经常会进行它们之间的转换.

1.UTF-8转换成GBK:鎴戜滑鏄 腑锲戒汉

UTF-8转换成GBK再转成UTF-8:我们是中国人

2. 以GBK编码再以UTF-8解码,再以UTF-8编码,再以GBK解码。

这次的运行结果是:

GBK转换成UTF-8: й

GBK转换成UTF-8再转成GBK:锟斤拷锟斤拷锟斤拷锟叫癸拷锟斤拷

问题:使用一台Linux系统的机器,终端总是显示有乱码,不是中文乱码,看起来像是英文乱码,我这强迫症又受不了了

解决方案:

Linux字符编码默认为UTF-8,如果出现英文乱码有可能是系统设置的编码方式为GBK。

设置locale的根本就是设置一组总共12个LC开头的变量,不包括LANG和LC_ALL。

优先 级:LC_ALL >LC_* >LANG

可以看出原系统设置的为中文字体显示和运行的语言环境,所有的设置都是使用的 zh_CN.gbk ,因中英文字符编码方式不同,可能造成英文字符或者空格显示有乱码。

5.退出后再次查看locale(再次登录才生效)

乱码的字符消失了。locale转变为:

linux下经常遇到的编码问题如果你需要在Linux中 *** 作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。

查看编码的方法

方法一:file filename

方法二:在Vim中可以直接查看文件编码

:set fileencoding

如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在

~/.vimrc 文件中添加以下内容:

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开

文件编码转换

多方法:

iconv提供标准的程序和API来进行编码转换;

convert_encoding.py基于Python的文本文件转换工具;

decodeh.py提供算法和模块来谈测字符的编码;

linux下文件编码转换:

方法一:

在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式

:set fileencoding=utf-8

或者

11)设置文件集合,即要对哪些文件进行 *** 作,可以使用通配符,比如我通常是对 C/C++ 源程序进行编码转换

:args *.h *.cpp

2)给出要在每个文件上执行的命令,这里是转换编码:

:argdo set fenc=utf-8 | update

方法二:

iconv 转换

5.案例:

假如说我们将windows下的一个UTF-8的文件传到linux环境下,linux环境下的系统编码是GB18030,我们cat的时候就会出现乱码,这个时候就应该想到转码了,下面我们来进行试验:

我们将windows下一个名为UTF-8.sh的文件传到linux系统中,其中UTF-8.sh的内容如下:

我是中文编码UTF-8模式~

而linux系统的系统语言设置为:

[root@sor-sys zy]# cat /etc/sysconfig/i18n

LANG=zh_CN.GB18030

SYSFONT="latarcyrheb-sun16"

这个时候查看一下文件的内容及编码:

[root@sor-sys zy]# file UTF-8.sh

UTF-8.sh: UTF-8 Unicode text, with no line terminators

[root@sor-sys zy]# cat UTF-8.sh

锘挎垜鏄?腑鏂囩紪镰乁TF-8妯″纺~[root@sor-sys zy]#

[root@sor-sys zy]#

这个时候我们就需要转换编码了,记得使用iconv

[root@sor-sys zy]# iconv -f UTF-8 -t GB18030 UTF-8.sh -o GB18030.sh

[root@sor-sys zy]# cat GB18030.sh

??我是中文编码UTF-8模式~[root@sor-sys zy]#

[root@sor-sys zy]# file GB18030.sh

GB18030.sh: Non-ISO extended-ASCII text, with no line terminators

[root@sor-sys zy]#

convmv就是更改文件名编码方式的一个工具。

比如

sudo convmv -f gbk -t utf-8 -r –notest /home

就是将/home目录下原来文件名是gbk编码方式的全部改为utf-8格式的。这里 -f 后面为原来的编码方式,-t 后面是要更改为的编码方式, -r 表示这个目录下面的所有文件, –notest 表示马上执行,而不是仅仅测试而已。另外这命令好像要root才能执行,因此要加上 sudo。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8976281.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-23
下一篇 2023-04-23

发表评论

登录后才能评论

评论列表(0条)

保存