零事件研究个数对合并后结果的影响

在使用相对效应(OR/RR)作为效应衡量指标时,标准的Meta分析模型对双臂零事件研究是直接进行剔除处理(Cochrane handbook [1]),这是基于零事件无信息的假设。但该假设越来越被受质疑。美国AHRQ (Agency for Healthcare Research and Quality)在2018年制定的证据合并方法指南中就不建议直接将双臂零事件研究剔除[2]。2020年我们团队基于Cochrane大数据以及数值模拟技术通过使用广义线性混合模型(基线随机)发现在Meta分析中剔除双臂零事件研究会引起约10%的Meta分析的结论发生根本性改变,研究否定了“零事件无信息论”,因此提出剔除双臂零事件研究的做法是不恰当的[3]。该研究在领域内影响较大,我们的得到了很多支持和认可,以至于后续的研究投稿过程都因此极为顺利。但该研究遗留了一个不太重要、太又不可忽视的问题:在Meta分析中双臂零事件研究占总数的比例不同的情况下,对结果有什么样的影响?因此在我们发表了那项研究之后,对该问题继续进行更深入的探讨[4]。
研究使用数值模拟技术,模拟不同情境下的Meta分析(例如:效应量大的情境,效应量小的情境;异质性较小的情境,异质性大的情境;事件发生率低的情境、发生率极低的情境)。每个情境模拟5万个Meta分析(本领域当前最大的模拟?),统计每个模拟Meta分析中双臂零事件研究占该Meta分析中总研究个数的比例,并按照比例对这5万个Meta分析进行分层: 0.01%–10%, 10.01%–20%, 20.01%–30%, 30.01%–40%, 40.01%–50%, 50.01%–60%, 60.01%–70%, 70.01%–80%, and 80.01%–90%。此处最高比例是90%,因为设置的纳入研究个数是10篇(比例为100%的我们进行了剔除,因为此种情况下排除双臂零后就没有观察对象了,就无法比较纳入和排除双臂零的结果了)。
结果我们用四部分进行展示。第一部分,首先验证本研究中使用的两个标准的随机效应GLMM模型的统计性能,包括偏差百分比、均方标准误、区间覆盖率三个指标,如下图所示。结果提示,基于One-stage框架的GLMMs的统计性能一如既往的好,好的two-stage方法都不敢出来冒泡了。当然,GLMMs也有个致命的缺陷:基于极大似然进行参数估计,存在收敛失败的问题,并且随着随机项的增多,收敛失败率越高。我们的模拟提示,在R里面10次迭代收敛失败率约为10%,而在Stata里面100次迭代失败率最高达到90%[5, 6]。

第二部分,验证前篇研究结果。本研究使用了更大的模拟次数,5万次模拟(上亿的数据量,10台顶配笔记本,不间断跑了10天)。结果毫无疑问的与上篇研究一致,剔除双臂零事件研究将引起大约9%的Meta分析的结果发生根本性改变(OR的方向改变,或者P值的统计显著性改变),同时该改变与效应量大小以及异质性大小有密切关系。如下图所示。

第三部分,不同比例双臂零事件研究对合并后效应量的影响。结果提示,随着双臂零事件研究的比例增加,在Meta分析中排除双臂零事件研究对最终合并效应量的影响越大。同时不同的效应量大小与异质性大小下,影响有一定差别,但仍然呈现出一致的规律: 零事件研究比例越高,排除它们付出的“代价”越大。如下图所示(图型太大,不容易看清楚,请见谅。这项研究我整整绘制了720张图)。

部分,不同比例双臂零事件研究对合并效应P值的影响。与对效应量的影响非常不同,对P值的影响呈现非线性、非单调的关系。当双臂零事件研究比例在0-50%(大约)的时候,比例越高,剔除双臂零事件研究对P值统计显著性(例如:由p > 0.05变为p < 0.05)影响越大;但当比例在50%~90%的时候,比例越高,剔除双臂零事件研究对P值统计显著性影响越小。其实这也十分容易理解:零事件研究占比不多时,Meta分析的结果仍由非零事件研究主导,在50%及以内的时候,比例增加会降低非零事件研究的权重,从而使得零事件研究显得越来越重要;但当过了50%这个阈值之后,效应量趋近于1的研究更多(OR离1越近,越有可能产生双臂零事件研究),而效应量越趋近于1,整体上P值就越趋近于1,也就是P值越无法“撼动”(可以想象把p= 0.99 推到 p = 0.04需要多大能量)。

此项研究我们投了2个统计期刊,遗憾的是在跟一个审稿人互怼之后悲剧了(还给耽误了整整1.5年)。目前在另一个统计方法的期刊外审。但鉴于此研究提供了不太重要、但太又不可忽视的信息,更重要的是这也是我们正在制作的零事件研究处理方法学指南(START指南)中不可缺少的一项研究,我们希望及早的刊出,先放在预印网站上以预印本的形式发出来。供各位参考。

参考文献
1. Deeks JJ, HigginsJPT, Altman DG (editors). Chapter 10: Analysing data and undertakingmeta-analyses. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, PageMJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews ofInterventions version 6.2 (updated February 2021). Cochrane, 2021. 
2. Morton SC, Murad MH,O’Connor E, et al. Quantitative Synthesis—An Update. Methods Guide forComparative Effectiveness Reviews. (Prepared by the Scientific Resource Centerunder Contract No. 290-2012-0004-C). AHRQ Publication No. 18-EHC007-EF.Rockville, MD: Agency for Healthcare Research and Quality; February 2018. 
3. Xu C, Li L, Lin L, et al. Exclusion of studies with no events in both arms in meta-analysis impacted the conclusions. J Clin Epidemiol. 2020; 123:91-99.
4. Xu C, Lin L. The impact of studies with no events in both arms on meta-analysis of rare events: a simulation study using generalized linear mixed model. medRxiv 2021.08.23.21262461; doi: https://doi.org/10.1101/2021.08.23.21262461.
5. Ju K, Lin L, Chu H, Cheng LL, Xu C. Laplace approximation, penalized quasi-likelihood, and adaptive Gauss-Hermite quadrature for generalized linear mixed models: towards meta-analysis of binary outcome with sparse data. BMC Med Res Methodol. 2020;20(1):152.
6. Xu C, Furuya-Kanamori L, Lin L. Synthesis of evidence from zero-events studies: A comparison of one-stage framework methods. Res Synth Methods. 2021 Aug 13. doi: 10.1002/jrsm.1521.
meta分析

模板:剂量-反应方法学部分描述

2021-10-14 15:41:38

meta分析

聊一聊变量筛选

2021-10-14 15:42:54

声明 本网站部分文章源于互联网,出于传递更多信息和学习之目的转载,并不保证内容正确或赞同其观点。
如转载稿涉及失效、版权等问题,请立即联系管理员;我们会予以修改、删除相关文章,请留言反馈
Notice: When your legal rights are being violated, please send an email to: sci666net@qq.com.
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索