[数据传输/网络传输/序列化/计算机组成原理] 字节序/大小端

缘起

CAN / DBC 字节序与大端

概述： 字节序(Byte Order) := 大小端(Endian) ：= { Little-Endian(小端字节序) , Big-Endian(大端字节序/网络序) }

大小端的由来

• 关于大端小端名词的由来，有一个有趣的故事，来自于Jonathan Swift的《格利佛游记》：
  

Lilliput和Blefuscu这两个强国在过去的36个月中一直在苦战。
战争的原因：大家都知道，吃鸡蛋的时候，原始的方法是打破鸡蛋较大的一端，可以那时的皇帝的祖父由于小时侯吃鸡蛋，按这种方法把手指弄破了，因此他的父亲，就下令，命令所有的子民吃鸡蛋的时候，必须先打破鸡蛋较小的一端，违令者重罚。
然后老百姓对此法令极为反感，期间发生了多次叛乱，其中一个皇帝因此送命，另一个丢了王位，产生叛乱的原因就是另一个国家Blefuscu的国王大臣煽动起来的，叛乱平息后，就逃到这个帝国避难。
据估计，先后几次有11000余人情愿死也不肯去打破鸡蛋较小的端吃鸡蛋。
这个故事其实在讽刺当时英国和法国之间持续的冲突。

• Danny Cohen，一位网络协议的开创者，第1次使用这两个术语指代字节顺序，后来就被大家广泛接受。
  

字节序的定义

• Little-Endian(小端字节序) / Big-Endian(大端字节序)，这两个术语与 CPU 体系结构中单词中字节的方向有关。
  

• endian := byte order := 字节序
  

• 计算机内存由正整数地址引用。
  

在计算机内存中，存储最低有效字节位于最高有效字节之前的数字是“自然”的。
有时，计算机设计人员更喜欢使用这种表示的倒序版本。

• “自然”顺序，其中不太重要的字节在内存地址中较高的有效字节之前，称为 little-endian。
  
• 许多供应商（如 Motorola、IBM、CRAY 和 Sun）更喜欢相反的顺序，当然，这称为 big-endian。
  
• Big-Endian(大端字节序) := 数据的高字节在内存的低地址存放，数据的低字节在内存的高地址存放
  

:= Motorola 模式 := 网络字节序(Network Order， 即网络序，默认网络传输字节为大端)

• 典型代表(CPU)： Motorola / IBM 390 / PowerPC CPU /
  
• 典型代表(程序): Sun / Java /
  
• 典型代表(文件): Adobe PS / JPEG / MacPaint /
  
• 其他代表: 绝大部分的【网络通讯协议】 / CRAY /
  

即： 地址由小向大增加，而数据从高位往低位放
这和我们的阅读习惯一致。

• Little-Endian(小端字节序) := 数据的高字节在内存的高地址存放，数据的低字节在内存的低地址存放
  

:= Intel 模式

• 典型代表(CPU): Intel / X86 CPU / DEC CPU
  
• 典型代表(程序): C 语言程序
  
• 典型代表(文件): RTF / GIF / BMP
  
• 其他代表:  大部分的【操作系统】
  

这种存储模式将地址的高低和数据位权有效地结合起来： 高地址部分权值高，低地址部分权值低

• 特殊代表
  

• DXF文件(AutoCAD) – Variable(可灵活配置大小端)
  
• ARM CPU既可以工作在大端模式，也可以工作在小端模式
  

双端处理器可以在小端和大端两种模式下运行。当前一代的ARM处理器是双端处理器。

• 示例： 4个字节的16进制值(0x12345678)将按不同的字节序方式存储在内存中
  

1. Address         00  01  02  03
2. ------------------------------
3. Little-endian   78  56  34  12
4. Big-endian      12  34  56  78

复制代码

为什么会有大小端之分?

• 在计算机系统中，我们是以字节(Byte)为单位的，每个地址单元都对应着一个字节，一个字节为8bit。
  
• 但是在C语言中，除了8bit的char之外，还有16bit的short型，32bit的long型（要看具体的编译器）。
  

另外，对于位数大于8位的处理器，例如16位或者32位的处理器，由于寄存器的宽度大于1个字节，那么必然存在着：多个字节的存放安排的问题。
因此，就导致了大端存储模式和小端存储模式。

• 例如，一个16bit的short型x，在内存中的地址为0x0010，x的值为0x1122，那么0x11为高字节，0x22为低字节。
  

对于大端模式，就将0x11放在低地址中，即 0x0010 中，0x22放在高地址中，即0x0011中。
对于小端模式，刚好相反。

1. bytes: 0x11(高字节) / 0x22(低字节)
3. Address         00(低地址)  10(高地址)
4. ------------------------------------
5. Little-endian   22         11
6. Big-endian      11         22

复制代码

• 我们常用的X86CPU架构是小端模式，而KEIL C51则为大端模式。
  

很多的ARM，DSP都为小端模式。
有些ARM处理器，还可以由硬件来选择是大端模式还是小端模式。

字节顺序是否影响文件格式?

• 以1个字节为基本单位的文件格式，独立于字节顺序，例如: ASCII文件。
  
• 其他文件格式，使用一些固定的端顺序格式
  

例如: JPEG文件，以大端顺序格式存储。

• java程序文件及二进制文件，全部为大端(与平台无关)： Java二进制文件中的所有内容都以大端顺序存储。
  

这意味着如果您只使用Java，那么所有文件在所有平台(Mac、PC、UNIX等)上的处理方式都是相同的。

• C语言程序及二进制文件，默认是小端模式：用C语言编写的程序通常使用小端顺序
  

如何判断机器的字节序?

C 语言版

• 可以编写一段测试程序来判别机器的字节序
  

1. BOOL IsBigEndian()  
2. {  
3.     int a = 0x1234;  
4.     char b =  *(char *)&a;  //通过将 int 强制类型转换成 char 单字节，通过判断起始存储位置。即 等于 取b等于a的低地址部分  
5.     if( b == 0x12) //低地址的内容为 高字节序的值时  
6.     {  
7.         return TRUE; //大端
8.     }  
9.     return FALSE; //小端
10. }

复制代码

• 联合体/union的存放顺序是所有成员都从低地址开始存放
  

利用该特性可以轻松地获得了CPU对内存采用Little-endian还是Big-endian模式读写：

1. BOOL IsBigEndian()
2. {
3.     union NUM
4.     {
5.         int a;
6.         char b;
7.     }num;
8.     num.a = 0x1234;
9.     if( num.b == 0x12 )
10.     {
11.         return TRUE;
12.     }
13.     return FALSE;
14. }

复制代码

Shell 版

• 方法1
  

1. echo -n I | od -o | head -n1 | cut -f2 -d" " | cut -c6

复制代码

解释： od命令的作用为将指定内容以八进制、十进制、十六进制、浮点格式或ASCII编码字符方式显示

• 0: 大端字节序
  
• 1: 小端字节序
  

Intel(R) Xeon(R) Platinum 8378C CPU @ 2.80GHz

• 方法2
  

1. echo -n I | od -o | head -n1 | awk '{print $2}'| cut -c6

复制代码

• 输出：1为小端模式，0为大端模式；
  
• 解析：awk命令为文本处理。
  

• 方法3
  

1. lscpu | grep -i byte

复制代码

• 输出： Byte Order / Little Endian；
  
• 解析： grep -i 为不区分大小写匹配；
  
• 注意： 在低版本的Linux 或 Windows Git Bash 可能不支持lscpu命令。
  

• 方法4
  

1. dpkg-architecture | grep -i end

复制代码

• 输出：
  

DEB_BUILD_ARCH_ENDIAN=little
DEB_HOST_ARCH_ENDIAN=little
DEB_TARGET_ARCH_ENDIAN=little

• 解析： dpkg-architecture 命令是列出dpkg打包的一些环境参数；
  

Java 版

• 在Java中，我们可以使用ByteOrder.nativeOrder()方法来获取CPU使用的字节顺序。
  

在使用Intel CPU 或 AMD CPU时，输出结果都是小端顺序

1. import java.nio.ByteOrder;
3.     /**
4.      * 获取机器的字节序
5.      * @return
6.      */
7.     public static ByteOrder getByteOrder(){
8.         ByteOrder byteOrder = ByteOrder.nativeOrder();
9.         return byteOrder;
10.     }

复制代码

• 基础工具： ByteUtils(字节操作) - 博客园/千千寰宇
  

含大小端的判断与处理

大小端之间的转换?

• 对于字数据（16位）：
  

[code]#define BigtoLittle16(A)   ( ( ((uint16)(A) & 0xff00) >> 8)  |  (( (uint16)(A) & 0x00ff) > 24) | \                                       (( (uint32)(A) & 0x00ff0000) >> 8)   | \                                       (( (uint32)(A) & 0x0000ff00)