base64、struct、chardettype
status
date
slug
summary
tags
category
icon
password
Property
base64
Base64是一种用64个字符来表示任意二进制数据的方法。
用记事本打开
exe、jpg、pdf这些文件时，我们都会看到一大堆乱码，因为二进制文件包含很多无法显示和打印的字符，所以，如果要让记事本这样的文本处理软件能处理二进制数据，就需要一个二进制到字符串的转换方法。Base64是一种最常见的二进制编码方法。Base64的原理很简单，首先，准备一个包含64个字符的数组：
['A', 'B', 'C', ... 'a', 'b', 'c', ... '0', '1', ... '+', '/']然后，对二进制数据进行处理，每3个字节一组，一共是
3x8=24bit，划为4组，每组正好6个bit：
这样得到4个数字作为索引，然后查表，获得相应的4个字符，就是编码后的字符串。
所以，
Base64编码会把3字节的二进制数据编码为4字节的文本数据，长度增加33%，好处是编码后的文本数据可以在邮件正文、网页等直接显示。如果要编码的二进制数据不是3的倍数，最后会剩下1个或2个字节怎么办？Base64用
\x00字节在末尾补足后，再在编码的末尾加上1个或2个=号，表示补了多少字节，解码的时候，会自动去掉。Python内置的
base64可以直接进行base64的编解码：由于标准的
Base64编码后可能出现字符+和/，在URL中就不能直接作为参数，所以又有一种"url safe"的base64编码，其实就是把字符+和/分别变成_：还可以自己定义64个字符的排列顺序，这样就可以自定义
Base64编码，不过，通常情况下完全没有必要。Base64是一种通过查表的编码方法，不能用于加密，即使使用自定义的编码表也不行。Base64适用于小段内容的编码，比如数字证书签名、Cookie的内容等。由于
=字符也可能出现在Base64编码中，但=用在URL、Cookie里面会造成歧义，所以，很多Base64编码后会把=去掉：去掉
=后怎么解码呢？因为Base64是把3个字节变为4个字节，所以，Base64编码的长度永远是4的倍数，因此，需要加上=把Base64字符串的长度变为4的倍数，就可以正常解码了struct
准确地讲，
Python没有专门处理字节的数据类型。但由于b'str'可以表示字节，所以，字节数组＝二进制str。而在C语言中，可以很方便地用struct、union来处理字节，以及字节和int，float的转换。在
Python中，比方说要把一个32位无符号整数变成字节，也就是4个长度的bytes，得配合位运算符这么写：非常麻烦。如果换成浮点数就无能为力了。
好在
Python提供了一个struct模块来解决bytes和其他二进制数据类型的转换。struct的pack函数把任意数据类型变成bytes：pack的第一个参数是处理指令，'>I'的意思是：>表示字节顺序是big-endian，也就是网络序，I表示4字节无符号整数。后面的参数个数要和处理指令一致。
unpack把bytes变成相应的数据类型：struct.unpack('>IH', b'\xf0\xf0\xf0\xf0\x80\x80') (4042322160, 32896)根据
>IH的说明，后面的bytes依次变为I：4字节无符号整数和H：2字节无符号整数。所以，尽管Python不适合编写底层操作字节流的代码，但在对性能要求不高的地方，利用
struct就方便多了。struct模块定义的数据类型可以参考Python官方文档：https://docs.python.org/3/library/struct.html#format-charactersWindows的位图文件（.bmp）是一种非常简单的文件格式，用
struct分析一下。首先找一个bmp文件，读入前30个字节来分析：
BMP格式采用小端方式存储数据，文件头的结构按顺序如下：
两个字节：
'BM'表示Windows位图，'BA'表示OS/2位图； 一个4字节整数：表示位图大小； 一个4字节整数：保留位，始终为0； 一个4字节整数：实际图像的偏移量； 一个4字节整数：Header的字节数； 一个4字节整数：图像宽度； 一个4字节整数：图像高度； 一个2字节整数：始终为1； 一个2字节整数：颜色数。所以，组合起来用
unpack读取：struct.unpack('<ccIIIIIIHH', s) (b'B', b'M', 691256, 0, 54, 40, 640, 360, 1, 24)结果显示，
b'B'、b'M'说明是Windows位图，位图大小为640x360，颜色数为2chardet(第三方库)
符串编码一直是令人非常头疼的问题，尤其是在处理一些不规范的第三方网页的时候。虽然
Python提供了Unicode表示的str和bytes两种数据类型，并且可以通过encode()和decode()方法转换，但是，在不知道编码的情况下，对bytes做decode()不好做。对于未知编码的
bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。chardet这个第三方库正好就派上了用场。用它来检测编码，简单易用。拿到一个
bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：检测出的编码是
ascii，注意到还有个confidence字段，表示检测的概率是1.0（即100%）。试试检测GBK编码的中文：
检测的编码是
GB2312，GBK是GB2312的超集，两者是同一种编码，检测正确的概率是74%，language字段指出的语言是'Chinese'。对UTF-8编码进行检测：
再试试对日文进行检测：
可见，用
chardet检测编码，使用简单。获取到编码后，再转换为str，就可以方便后续处理。chardet支持检测的编码列表请参考官方文档Supported encodings。