快速证据合成:是否越快越好?

可靠的证据是医疗干预过程中进行科学决策的基础。系统评价以全面、透明的方式综合所有可用的证据,被认为是当前级别最高的证据。为确保证据质量,系统评价过程极其仔细、严谨。因此高质量系统评价耗费大量时间,通常需要6个月到2年才能完成。如此长的制作时间可能不太适合决策者及时的决策,特别是当他们面临紧急公共卫生事件时。也正因为如此,在COVID-19肆虐期间,一些科学家对循证医学提出了严厉的批判,并发出了灵魂拷问:在紧急情况下,我们是否还能相信循证医学?为了科学的回答这个质疑,以方法学为混饭资本的我们出手了,开启了团队全新的研究方向:快速合成及评价体系。
快速评价这个术语并不新奇,早在90年代就已被提出,但提出的初期并未找到应用场景,因此不为众人所知。但其概念的提出为紧急决策提供了一个有效的解决方案。它对系统评价的部分流程进行精简,使研究人员能够在更短的时间内合成证据。快速评价被定义为“一种快速证据合成的形式,通过精简或省略部分方法,以高效的方式产生证据,而达到加速传统系统评价的目的。”当前有多种快速的方式,例如缩小问题的范围,限制文献检索日期,简化文献筛选和数据提取过程,省略质量评价等。限制文献检索日期是已发表的快速评价中应用最广泛的方法之一,占比高达68%至89%。然而在实践中,作者对检索日期的限制通常是主观的和任意的:一些快速评价的作者可能会将搜索日期限制在最近10年,而一些可能会将其限制在最近7年或5年。这种任意的限制对结果影响有多大?其产生的结果可靠度又如何?
 早在2018年Marshall等使用2512个基于二分类结局的Meta分析进行了一次实证研究。他们模拟了三种快速评价方法,其中之一 为限制检索日期:根据Meta分析中纳入研究的发表年份,可将这些研究分为最近20年、15年、10年、7年、5年发表,然后单独合并这些限制年份后的研究,即可达到模拟快速合成的目的。他们的结果表明,大约19.1%(5年)至 70.8%(20年)的快速评价在效应量上中没有重要变化。这项重要的工作为快速评价提供了坚实的理论基础:快速合成证据是可行的。
 尽管如此,当前对于限制检索日期这种快速合成方法的认识远远不够。一切循证医学的手段都强调证据的可靠性,快速合成也不例外,因此它包括两个核心:其一是“快”;其二是“好”。Marshall的研究实际上解决的是“好”这个问题,并未解决“快”的问题。什么是“快”?检索近5年的研究是快?显然不是!检索近5年是手段,而“快”是结果。“快”的本质是快多少的问题!但分别解决“快”和“好”的问题是没有多大意义的,因为“快”和“好”大多数情况下是矛盾的,“快”意味着偷工减料,“好”意味着工匠精神。这意味着快速评价的一切问题最终只围绕一个问题:在保证“好”的前提下,如何尽可能的“快”。只有又快又好的证据,才能为决策者提供参考。
本研究将通过极其巧妙的设计,解决上述又快又好的问题(本系列的下一篇将解答COVID-19初期一些科学家对循证医学的质疑)。正如前文所描述,模拟限制检索日期这种方式的快速评价并不难,Marshall已做了很好的开端工作。问题是解决“快”。
 众所周,一篇系统评价最耗时的部分是文献筛选,几乎占用一半的时间,筛选的工作量对整个证据制作过程时间的长短起到决定性作用。对检索时间的限制,实际上是控制了检索到的文献量。限制越严格,检索出来的结果越少;相反,限制越宽松,检索出来的结果越多。检索出来的文献量直接决定了文献筛选的工作量,也就决定了多少的问题。回答“快”的问题最直接的思路是,找到足够的系统评价样本,一篇篇进行重复,记录重复每一篇的制作时间;然后将检索日期进行不同的限制,再次重复,记录限制后制作的快速评价的时间。最终将这些快速评价的结果与系统评价的结果进行比较,获得效应量估计准确性的信息(“好”);同时将快速评价的制作时间与系统评价的制作时间进行比较,获得工作量上“”的信息。

 

 但很显然,上述方式是不现实的。首先,需要找到足够的样本,例如,至少100篇系统评价;其次需要重复这100篇系统评价,一篇1年;再次,要重复所有模拟的快速评价,时间未知。如果考虑如下快速情境:近20年,近10年,近7年,近5年,近3年;每个系统评价要被再次重复5次(每次的时间会递减),也就是一共要重复100篇系统评价加500篇快速评价。看上去不难。但不要忘了,仅重复这100篇系统评价大约要花费100年的时间。而100的样本量,实在是小的可怜,要知道当前发表的系统评价的数量保守估计在10万篇以上。
 那么能否在不知道具体工作量的情况下,也能知道“快”多少呢?实际上也是可以的。在几个月冥思苦想后,我们找到了巧妙的方法。我们注意到,筛选人员在筛选过程中,消耗在每一篇需要排除的文献上的时间基本是一致的,而几乎99%的文献最终会被排除。这就意味着,文献筛选的工作量是检索出来的文献量的线性函数,可得到如下经验公式: w = k*m (w是工作量,k是常数,m是文献量)。对于一篇系统评价,其工作量是w;按照检索时间限制后,其工作量是wi,此时k是相等的。因此可以建立wi和w之间的倍数关系:相对工作量(Relative workload, RW) = wi/w。而工作量等比于制作时间,则相对工作量=相对制作时间;因而(1-RW)为相对节省的工作量,也可视为相对节省的时间。例如,RW=0.7,意味着该快速合成方法将节省30%的时间。
 上述公式中,k无需求解。仅需获得文献量m的数据,而这比较简单。我们通过审阅6781篇Cochrane系统评价,去掉未进行Meta分析的1390篇,确定2,177篇提供了具体的检索策略。考虑到工作量问题,我们使用分层随机(年份)的方式随机抽取了10%的样本,即219篇,用以获得m的估计。具体做法如下:根据这219篇系统评价提供的检索策略,重复检索。首先不进行检索时间限制,获得总文献量(m0);其次分别限制发表日期为近40年,近35年,近30年,近25年,近20年,近15年,近10年,近7年,近5年,近3年,并分别记录总文献量(m1, m2, …, m10)。假设发表日期约等于检索时间这样就获取了不同时间限制下节省的工作量的均值。同时,我们使用21363个二分类结局的Meta分析数据、7683个连续性结局的Meta分析数据,模拟限制发表日期为近40年至近3年的快速评价并分别进行合并(相同合并方法),将快速评价的结果与Meta分析结果进行对比,获得准确度。
 接下来是节省的工作量(或节省的时间)与精确度之间的关系了。如前所述,节省的工作量越多,制作越快,精确度就会越低;反之亦然。这种此增彼减的关系是否似曾相识?是的!精确度和敏感度,诊断准确性。那么我们可以将工作量当做敏感度(sen),精确度当作灵敏度(spe),建立spe与(1-sen)之间的ROC曲线,辅助以Youden Index,就可得到又快又好的那个范围了。
结果如下。为了排版方便,我们先给出节省的相对工作量的数据,见下表。

不同检索时间限制下快速评价结果变化分为三种效应量大小的改变,效应量方向的改变,以及p显著性的改变。方向的改变的衡量非常直接,如OR的方向只需要看OR是在1的左侧还是右侧;p值的显著性也只需要看p是在0.05的左侧还是右侧。效应量大小的改变,则略微复杂——通过比较绝对值的改变意义不大更有意义的是效应量的收敛性,即在一定偏差容忍度下(tolerance)快速评价的效应量相对于完整Meta分析的效应量是否收敛。用简单易懂的公式表示就是:(theta_rapid – theta_meta)/(theta_meta) <= tolerance。根据一项对著名方法学家的调查结果,本研究设置四种不同的tolerance:5%10%,15%,20%下图为限制时间这种快速评价方法结果准确性的情况

图1.限制不同检索时间下快速评价效应量的准确性(tolerance bias = 5%).

图2.限制不同检索时间下快速评价效应量方向的改变.

 

 

 图3.节省的工作量与结果准确性的ROC曲线.

结果表明,对检索日期的限制越严格(如限制在近3年),相应的快速评价的结果收敛性越低,在扩大检索日期后结论发生完全性改变的可能性越大;反之,检索日期的限制越严格(如限制在近40年),相应的快速评价的结果收敛性越高,在扩大检索日期后结论发生完全性改变的可能性越小。这一结果再次肯定了快速评价的合理性。更重要的是,基于当前证据,当可接受的最大偏差容忍度在5%和10%的情况下,检索日期限制在近20年会保证快速评价较高的准确度;当可接受的最大偏差容忍度在15%和20%的况下,检索日期限制在近10年会保证快速评价较高的准确度。更近的检索日期限制进行快速评价无法获得准确可靠的结果,因此不建议使用。
是不是很有意思?如果觉得我们的研究很有意思,很有技术范儿,请多多支持,让更多的人知道内容敬请参阅原文(原文发表在证据合并方法领域顶刊,Resarch Synthesis Methods, 现已online,订阅了Wiley数据库的单位可获取;未订阅Wiley的单位,在1-2周后可免费获取)
meta分析

如何使用REMR模型建立疫苗的有效性随注射时间的剂量-反应关系?

2021-10-14 15:43:15

meta分析

INCREASE指南效度评价志愿者邀请

2021-10-14 15:43:29

声明 本网站部分文章源于互联网,出于传递更多信息和学习之目的转载,并不保证内容正确或赞同其观点。
如转载稿涉及失效、版权等问题,请立即联系管理员;我们会予以修改、删除相关文章,请留言反馈
Notice: When your legal rights are being violated, please send an email to: sci666net@qq.com.
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索