记一次C#平台调用中因非托管union类型导致的内存访问越界

离奇现象

大家在C#代码中有没有遇到过这样的问题：一个局部变量，上一秒还是非null的，下一秒就变成null了，中间只调用了一个非托管函数。
我前几天就遇到了这样的问题，问题代码长这样：

1. private static PropVariant GetProperty(Window window, PropertyKey key)
2. {
3.     var hwnd = new WindowInteropHelper(window).EnsureHandle();
4.     Win32.Shell32.SHGetPropertyStoreForWindow(hwnd, out IPropertyStore ps);
5.     ps.GetValue(ref key, out PropVariant value);
6.     return value;
7. }

复制代码

ps是一个COM类型的对象，本来是非null的，调用完它的GetValue方法后，就变成null了，离奇地是，没有任何报错，调用返回值是正常的，value的结果也是正确的。

在这里，IPropertyStore是一个Com类型，PropVariant类型的原型是这样的,具体可看官方文档：PROPVARIANT 结构 (propidl.h)

1. typedef struct tagPROPVARIANT {
2.   union {
3.     typedef struct {
4.       VARTYPE      vt;
5.       PROPVAR_PAD1 wReserved1;
6.       PROPVAR_PAD2 wReserved2;
7.       PROPVAR_PAD3 wReserved3;
8.       union {
9.         //....此处省略
10.       };
11.     } tag_inner_PROPVARIANT, PROPVARIANT, *LPPROPVARIANT;
12.     DECIMAL decVal;
13.   };
14. } PROPVARIANT, *LPPROPVARIANT;

复制代码

然后我是这样封装的

1. [StructLayout(LayoutKind.Sequential)]
2. internal record struct PropVariant(ushort vt, IntPtr pointer);

复制代码

暗藏玄机

由于我对平台调用的机制不是特别熟悉，所以一开始想到的是，是不是因为我封装的结构体不对，导致平台调用的内部发生了什么异常。但是仔细一想感觉也不太可能，非托管代码里面不管发生了什么，应该都不会直接影响到我托管代码里的变量的值吧。
但是我觉得大概率还是PropVariant封装的有问题，所以我就尝试了一下把PropVariant的大小申明为128字节,再试了一下，果然就没问题了。

1. [StructLayout(LayoutKind.Sequential, Size = 128)]
2. internal record struct PropVariant(ushort vt, IntPtr pointer);

复制代码

这个封装在64位应用里面默认大小是16字节，我改成显式申明为128字节之后就没问题了，那么说明平台调用对PropVariant的操作实际上是大于16字节的，因为访问越界把ps变量的值给写掉了。不过问题是，这个越界是怎么越到ps这个变量上去的。
因为搞不懂到底非托管代码是怎么写到我的ps变量的，于是我就不断尝试变量申明的方式，试图避免非托管代码去改写我的ps变量。终于在尝试到下面这种写法的时候，让我发现了一点端倪：

1. IPropertyStore ps;
2. var hwnd = new WindowInteropHelper(window).EnsureHandle();
3. Win32.Shell32.SHGetPropertyStoreForWindow(hwnd, out ps);
4. ps.GetValue(ref key, out PropVariant value);
5. return value;

复制代码

现在，被改写的变量从ps变成了hwnd，那么很容易可以联想到，局部变量是按照某种顺序排列在一起，当操作PropVariant越界的时候，自然就写到了它后面的变量。现在这种写法，大概率是改变了局部变量的排序，所以被改写的变量从ps变成了hwnd。
于是，我拿出了我几个月前刚学的的IL技能。GetValue这一行的IL代码是这样的：

1. IL_0016: ldloc.0      // ps
2. IL_0017: ldarga.s     key
3. IL_0019: ldloca.s     'value'
4. IL_001b: callvirt     instance int32 IPropertyStore::GetValue(valuetype PropertyKey&, valuetype PropVariant&)
5. IL_0020: pop

复制代码

ldloca.s指令把'value'这个变量的地址放入到计算堆栈中，然后调用了GetValue方法，于是平台调用在往'value'这个变量的地址写数据的时候，就越界到其他变量去了。
那'value'变量是存在哪里的呢，我搜索了一下，搜到了一个叫局部变量表（Record Frame）的东西，它在IL代码里长这样：

1. .locals init (
2.     [0] class IPropertyStore ps,
3.     [1] native int hwnd,
4.     [2] valuetype PropVariant 'value',
5.     [3] valuetype PropVariant V_3
6. )

复制代码

然后，在我的原始代码里，它长这样：

1. .locals init (
2.     [0] native int hwnd,
3.     [1] class IPropertyStore ps,
4.     [2] valuetype PropVariant 'value',
5.     [3] valuetype PropVariant V_3
6. )

复制代码

可以看到，hwnd和ps交换了位置。那么这个局部变量表应该就是以0~3这样的顺序入栈的，所以当写'value'变量越界的时候，就写到了它后面的hwnd或者ps的数据。
罪魁祸首

看到这里，几乎就可以肯定问题是PropVariant封装的大小不对了。PropVariant的原型还挺复杂的，套了几层的union。我为了图方便，让ai给我写了个例子，所以这个封装方式其实是ai帮我写的（小小ai，速来背锅），在调用IPropertyStore.SetValue方法的时候倒是没发现什么异常，没想到在这里给我埋了一个坑。
于是我用Win32Cs这个包生成了一个PropVariant的封装，首先确认了一下Win32Cs给我生成的封装调用是正常的，然后调用Marshal.SizeOf();看了一下它封装的大小，发现实际上是24字节。
这时候死去的C语言记忆突然开始攻击我：我们都知道，union类型的大小是它占用内存最大的成员的大小（还有考虑内存对齐）。让我们再来看看PropVariant的原型：

1. typedef struct tagPROPVARIANT {
2.   union {
3.     typedef struct {
4.       VARTYPE      vt;
5.       PROPVAR_PAD1 wReserved1;
6.       PROPVAR_PAD2 wReserved2;
7.       PROPVAR_PAD3 wReserved3;
8.       union {
9.         //....此处省略
10.       };
11.     } tag_inner_PROPVARIANT, PROPVARIANT, *LPPROPVARIANT;
12.     DECIMAL decVal;
13.   };
14. } PROPVARIANT, *LPPROPVARIANT;

复制代码

中间有个union的成员我省略掉了，为什么省略掉，因为太多了......于是我让ai帮我封装，它给我把union直接封装成了IntPtr，我一想也挺合理的，拿到IntPtr,想要什么类型的值再自己转换嘛，完全没有注意到这一长串的成员里面有一些长度超过了8个字节的结构体（关键也是我完全忘了union类型的大小了）。
这个union里面的某些成员的类型，大小是16个字节的，例如这个结构体类型，它是一个uint加一个指针：

1. [global::System.CodeDom.Compiler.GeneratedCode("Microsoft.Windows.CsWin32", "0.3.183+73e6125f79.RR")]
2. internal partial struct CALPWSTR
3. {
4.     internal uint cElems;
6.     internal unsafe winmdroot.Foundation.PWSTR* pElems;
7. }

复制代码

所以这个union的大小是16个字节，然后加上前面的8个字节，tag_inner_PROPVARIANT这个结构体的大小是24字节。外层的union中，DECIMAL在文档中说明是和tag_inner_PROPVARIANT具有相同的大小，所以，整个结构体的大小是24字节。
最后，我的代码就改成这样了:

1. [StructLayout(LayoutKind.Sequential, Size = 24)]
2. internal record struct PropVariant(ushort vt, IntPtr pointer);

复制代码

没错，只要显式申明封装大小是24字节就可以了，因为那个成员巨多的union里面，我只用到了string和bool，所以就不做复杂的封装了。

来源：豆瓜网用户自行投稿发布，如果侵权，请联系站长删除