linux怎么看文本的编码格式?
linux下经常遇到的编码问题如果你需要在linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。windows中默认的文件格式是gbk(gb2312),而linux一般都是utf-8。
查看编码的方法
方法一:filefilename
方法二:在vim中可以直接查看文件编码
:setfileencoding
如果你只是想查看其它编码格式的文件或者想解决用vim查看文件乱码的问题,那么你可以在
~/.vimrc文件中添加以下内容:
setencoding=utf-8fileencodings=ucs-bom,utf-8,cp936
这样,就可以让vim自动识别文件编码(可以自动识别utf-8或者gbk编码的文件),其实就是依照fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ascii)编码打开
文件编码转换
多平台方法:
iconv提供标准的程序和api来进行编码转换;
convert_encoding.py基于python的文本文件转换工具;
decodeh.py提供算法和模块来谈测字符的编码;
linux下文件编码转换:
方法一:
在vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
:setfileencoding=utf-8
或者
11)设置文件集合,即要对哪些文件进行操作,可以使用通配符,比如我通常是对c/c++源程序进行编码转换
:args*.h*.cpp
2)给出要在每个文件上执行的命令,这里是转换编码:
:argdosetfenc=utf-8|update
方法二:
iconv转换
5.案例:
假如说我们将windows下的一个utf-8的文件传到linux环境下,linux环境下的系统编码是gb18030,我们cat的时候就会出现乱码,这个时候就应该想到转码了,下面我们来进行试验:
我们将windows下一个名为utf-8.sh的文件传到linux系统中,其中utf-8.sh的内容如下:
我是中文编码utf-8模式~
而linux系统的系统语言设置为:
#cat/etc/sysconfig/i18n
lang=zh_cn.gb18030
sysfont=”latarcyrheb-sun16″
这个时候查看一下文件的内容及编码:
#fileutf-8.sh
utf-8.sh:utf-8unicodetext,withnolineterminators
#catutf-8.sh
锘挎垜鏄?腑鏂囩紪镰乁tf-8妯″纺~#
#
这个时候我们就需要转换编码了,记得使用iconv
#iconv-futf-8-tgb18030utf-8.sh-ogb18030.sh
#catgb18030.sh
??我是中文编码utf-8模式~#
#filegb18030.sh
gb18030.sh:non-isoextended-asciitext,withnolineterminators
#
convmv就是更改文件名编码方式的一个工具。
比如
sudoconvmv-fgbk-tutf-8-r–notest/home
就是将/home目录下原来文件名是gbk编码方式的全部改为utf-8格式的。这里-f后面为原来的编码方式,-t后面是要更改为的编码方式,-r表示这个目录下面的所有文件,–notest表示马上执行,而不是仅仅测试而已。另外这命令好像要root才能执行,因此要加上sudo。
linux下怎么查看文件的编码方式?
一,查看文件编码:在Linux中查看文件编码可以通过以下几种方式:
1.在Vim中可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在~/.vimrc 文件中添加以下内容:set encoding=utf-8fileencodings=ucs-bom,utf-8,cp936这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照 fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开。
2. enca (如果你的系统中没有安装这个命令,可以用sudo yum install -y enca 安装 )查看文件编码$ enca filenamefilename: Universal transformation format 8 bits; UTF-8CRLF line terminators需要说明一点的是,enca对某些GBK编码的文件识别的不是很好,识别时会出现:Unrecognized encoding
char类型怎么转换为string?
C++11的std::wstring_convert配合std::codecvt模板类完全可以解决这个问题,不会出现
@vczh
所说修改了全局locale会导致污染其他库的问题。
这两个模板类的功能是:
std::wstring_convert:转码器,接收一个类似codecvt描述编码转换特性的模板参数,用于将本地化的宽字符wstring和指定编码的字节化string进行互转。
std::codecvt:编码转换特性类,用在wstring_convert的模板参数中来指定使用哪种编码。
所以编码A和B互转的实现方式就是:借助本地化宽字符串,先将以A编码的string转为本地化的wstring,再将本地化的wstring转为B编码后的string。
codecvt一般使用下面两个特化子类:
std::codecvt_utf8<wchar_t>:用于UTF8和本地化wchar_t的互转
std::codecvt_byname<wchat_t, char, std::mbstate_t>:用于其他编码(例如GBK)和本地化wchar_t的互转,类的构造函数需要传入编码的locale name,由于编码的locale name是操作系统决定的(例如GBK在linux下的locale名可能是”zh_CN.GBK”,而windows下是”.936″),因此做跨平台的话仍然要给不同的系统做适配。
这里给一个windows下,GBK string转UTF8 string的例子:首先将GBK string转wstring
再将wstring转为UTF8 string转码就完成了。utf8_str里的内容应该是”xE7x83xAB”(烫的UTF8)。
linux怎么看文件的字符集编码?
可以在命令行执行file命令查看返回信息以便确认文件的字符集编码。
格式:file 文件名
例如:
# file ABC.log
ABC.log: UTF-8 Unicode text
从结果看该文件是utf-8格式
# file word.txt
word.txt: ASCII text从结果看该文件是gbk格式
如果不符合要求,可以通过iconv命令更改文件格式。