Fake news, lies, fraud, 错误s and statistics. 圣艾琳’s

                                                          欺诈统计研究SMACC Dub上最鼓舞人心的演讲之一是 约翰·卡莱尔 关于医疗出版中的欺诈行为。令人鼓舞的原因有很多,任何认为我们应该以科学方法为基础的实践的人都对该主题感兴趣,而且还因为它绝对是出色的交付。他’是一位非常鼓舞人心的演讲者,如果您’寻找某人在您的一个会议上发言,请给他打电话。

                                                          您可以通过单击以下链接来收听SMACC网站上的讲话 幻灯片等等

                                                          Anyway, this week Mike Charlesworth pointed us in the direction of a much more ambitious analysis of papers in a range of anaesthetic journals and also in JAMA and the NEJM. This is BIG NEWS folks. If you are interested in 科学 and EBM then you really need to have a read and then spend some time reflecting 上 what this means. The paper is 麻醉和普通医学期刊中5087项随机对照试验的数据制作和非随机抽样的其他原因1。同一期刊上也有出色的社论 这里2.

                                                          摘要显示在下面,但是我们一如既往地敦促您阅读目前可以开放获取的全文(因此,没有借口e??‰)。

                                                          告诉我有关纸张的信息

                                                          This is a huge analysis that specifically looks at randomised controlled trials. RCTs are the foundation of 证据 based medicine and rely 上 the fact that the patients are fairly recruited, that the data is analysed well and that they are an honest representation of what happened. Sadly we know that this is not always the case. 研究 错误s do occur of course, but sadly there is also lots of 证据 of 研究 fraud out there。原因很复杂,但也许基于追求影响因素和荣耀而出版和建立学术职业的压力实在是太大的诱惑。

                                                          约翰·卡莱尔(John Carlisle)似乎正在执行一项任务,就是找出那些存在统计异常现象的论文,这些异常现象表明事情并不像应有的那样。简而言之,本文提供了RCT的统计分析,以寻找那些数字没有的区域’t really add up.

                                                          什么’s the technique?

                                                          您当然可以自己阅读详细信息3,4,实际上,对于没有合理掌握统计数据的任何人来说,这都是非常棘手的事情,但是从本质上讲,Carlisle方法会查看RCT中的基线数据?;呤莸比皇撬婊占?,’s the point of an RCT, and therefore it should have an expected level of variability and uncertainty. If that variability and uncertainty is not there then that is a concern. It could be an 错误, a misprint or it could mean that the data has been made up or manipulated, presumably to achieve a desired result.

                                                          当然,关于随机性的事情是它是随机的,因此确实可以预期到意外的结果,因此’总是有可能偶然发生真正奇怪的结果。然后我们需要小心,将阈值设置得足够高 ’基线数据偶然发生的可能性很小。确实,该论文揭示了可能会出现极端示例的一些原因(例如,由于将SD误标记为SE)。但是,某些基线数据的分布确实不太可能。实际上这是不可能的,因此我们真的不得不问为什么?

                                                          该数据被描述为p值??ɡ扯菖既环⑸峁目赡苄岳炊晕募蟹植?。在常规的显着性水平上,他发现了合理数量的意外结果(这是您在相当高的水平上所期望的结果),但是在极端水平上有过多的论文。例如,他发现大约2%的论文的分布本来应该少于10,000分之一。那根本不会加起来,并且是高度可疑的。

                                                          我们知道存在研究欺诈行为,’的原始工作在一项令人难以置信的工作中揭露了欺诈行为,该工作分析了2012年的168个RCT56,并在以后的研究中确定其他欺诈性出版物??纯?收回观察网站 特别是 排行榜在这里。值得注意的是臭名昭著 藤井佳孝拥有183次撤回其名字的人。最重要的是,欺诈确实发生了,我们应该为此而担心’令人惊奇的是,像约翰这样的人正在努力追究他们的责任。

                                                          哪些审判?

                                                          尽管试验未在论文中列出,但出版物的详细信息(年份,量,页数)已列出,因此您可以返回并确定哪些是试验。一世’我自己没有做过,但是 在纸上有一个很棒的博客,并将一些文章引入了一些排名表。在这里访问他的优秀博客以获取更多信息。请注意,其中一些试验确实具有很大的影响力。 ‘的博客也收到了一些主要期刊的回应。他们很谨慎,但是’显然他们很担心。

                                                          我们还应谨慎一点,不要指责名单上的任何人。正如Nick Brown在此博客上讨论的那样,一些评论家对方法和结论存在一些担忧,我不得不承认,对该方法进行详细的严格评估超出了我的统计能力。我希望我们在接下来的几个月和几周内能听到更多。 约翰对尼克·布朗有非常好的评论和解释。’s blog and that’也值得一读.

                                                          什么 happens now?

                                                          该杂志提供了一份研究列表,按研究结果的可能性排序,从逻辑上讲,我们应该首先查看该列表,以找出看起来特别令人担忧的论文。问题是我们要走多远?如果我们只寻找最极端的结果,则报告为p<例如,0.0001可能会给我们进行特定的测试,但是很多可能会漏掉。类似地,如果选择一个不太麻烦的级别,那么不可避免的是,一些诚实的研究人员可能会受到不舒适且可能改变职业的调查。

                                                          我们是否应该准时暂停交易,因为有些期刊拒绝接受超过10年的论文。我们应该负责检查编辑和期刊,还是对研究机构,大学,医院甚至专业监管机构负责?社论和论文似乎暗示这是给麻醉医师的编辑和期刊使用的,它宣布将在2016年使用此方法筛查所有RCT。7,但这可能只会将投稿内容从该期刊上转移到那些没有进行此类分析的意愿或手段的编辑中(Ed–当然有很多期刊)。我个人’m not so sure that this is an entirely editorial issue. I suspect and anticipate that if fraud is suspected (once obvious typographical and typesetting 错误s are resolved) then this is as arguably more a regulator and employment issue than an editorial 上e. As suggested in the paper, 研究 fraud appears to be addictive and there are numerous examples of repeat offenders and even fraud networks8,尽管其规??赡芪薹ù映9嫖南字姓业?span id="ajlldaen3" class="abt-citation noselect mceNonEditable" data-reflist="["i13mje2lga"]">910,。也许我们应该特别注意任何具有不止一篇涉及数据的论文的研究人员或小组。一个随机结果很可能是随机的,但是如果它们定期出现在重复的出版物中,那肯定值得研究。

                                                          在英国,研究造假是一个严重的诚信问题,有几个例子 医生因研究欺诈而被罢免或谴责。我的感觉是,名单上可能有许多研究人员本周可能会紧张地指责他们的注册文件。另一方面’研究人员完全有可能在其中一个名单上找到自己的名字而没有任何潜在的欺诈行为。无论发生什么,这都会引起罪恶感,无辜者和那些刚犯下罪行的人的焦虑’t know.

                                                          Looking to the future then perhaps we need to consider how this kind of analysis might be a requirement prior to publication, and of course making source data available for review may be another strategy to combat 错误s (但这带来了关于数据所有权的其他一系列担忧)。

                                                          毫无疑问,还会有其他论文针对不同的主题领域(急诊医学和重症监护人吗?),在将试验与明确的数据监测委员会进行比较的情况下,我们可能会做进一步的比较。与数据监视委员会进行的审判可能会减少欺诈的机会,但如果没有发现或没有发现问题的必要,则可能没有。

                                                          本文是否打开Pandora’s box of 研究 错误 and fraud or are there genuine 错误s or statistical explanations? I don’t know for sure, I’m sure it will generate a lot of debate and it will no doubt reveal many 错误s and almost certainly some fraud. It may also be a real problem for all of us who seek to practice EBM. We have all seen how politicians can dismiss ‘science’作为自己的假新闻,’s easy to see how a paper like this could be misused to denigrate all 科学 and the hard work of 研究 teams across the world. We all need to be careful not to extend the conclusions of this paper beyond the true scope of the analysis.

                                                          If you have an interest in 证据 based medicine or 科学 in general then you really must read this paper; then take a moment to reflect 上 what this means for us all. In 约翰·卡莱尔’尼克·布朗(Nick Brown)的评论’s blogs he suggests that many papers 上 the list will be a result of 错误 rather than fraud, but that within some of the data signals there will be the opportunity to detect fraud. How much and how often is as yet uncertain. No doubt this topic will come up in a few weeks 上 stage at the Temprodrom during the 重症监护知识传播的出版与未来 柏林辩论(Ed– 都柏林的第一部分在这里)。 There will be lots to talk about then, including this trial and also to raise the question of how we spot fraud and 错误 in non-RCTs where this sort of analysis cannot take place.

                                                          最后,以防万一你是某种奇怪的阴谋理论家’重要的是要声明它’John Carlise真的非常,非常非常不可能伪造自己的数据!

                                                          vb

                                                          S

                                                          @EMManchester

                                                          在您出发之前,请不要忘记...

                                                          参考文献。

                                                          来自的很棒的博客 这里的科学

                                                          来自另一个工厂博客 尼克·布朗在这里质疑一些方法论

                                                          1.
                                                          卡莱尔(Carlisle JB)。在麻醉和普通医学杂志上进行的5087项随机对照试验中,数据制作和非随机抽样的其他原因。 麻醉。 2017年6月。doi: 10.1111 / anae.13938
                                                          2.
                                                          装货员JA,麦卡洛克TJ。扩大对可疑数据的搜索–的撤军潮将成为海啸吗? 麻醉。 2017年6月。doi: 10.1111 / anae.13962
                                                          3.
                                                          卡莱尔(Carlisle)JB,德克斯特(Dexter)F,潘迪特(Pandit)JJ,谢弗(Shafer)SL,耶蒂(Yentis)SM计算已提交或已发表的随机对照试验中连续变量的随机抽样概率。 麻醉。 2015; 70(7):848-858。土井: 10.1111 / anae.13126
                                                          4.
                                                          潘迪特JJ。采用统计方法来检验试验中的抽样是否真正是随机的。 麻醉。 2012; 67(5):456-462。土井: 10.1111 / j.1365-2044.2012.07114.x
                                                          5.
                                                          卡莱尔(Carlisle JB)。 168项随机对照试验的分析,以测试数据的完整性。 麻醉。 2012; 67(5):521-537。土井: 10.1111 / j.1365-2044.2012.07128.x
                                                          6.
                                                          卡莱尔(Carlisle) Yuhji Saitoh在随机对照试验中进行非随机抽样的证据。 麻醉。 2016; 72(1):17-27。土井: 10.1111 / anae.13650
                                                          7.
                                                          克莱因(Klein A.)麻醉专家正在采取什么措施来打击科学不端行为并调查数据捏造和伪造。 麻醉。 2017; 72(1):3-4。 [考研]
                                                          8.
                                                          Leistedt SJ,Linkowski P. Fraud,个人和网络:科学欺诈的生物心理社会模型。 科学& Justice。 2016; 56(2):109-112。土井: 10.1016 / j.scijus.2016.01.002
                                                          9.
                                                          Seife C.研究不端行为,由美国食品和药物管理局确认。 JAMA实习医生。 2015; 175(4):567。土井: 10.1001 / jamainternmed.2014.7774
                                                          10.
                                                          Fanelli D.有多少科学家捏造和伪造研究?调查数据的系统审查和元分析。 Tregenza T编辑。 一号。 2009; 4(5):e5738。土井: 10.1371 / journal.pone.0005738
                                                          11.
                                                          Longo DL,Drazen JM。数据共享。 英格兰医学杂志。 2016; 374(3):276-277。土井: 10.1056 / nejme1516564


                                                          Cite this 文章 as: 西蒙·卡利, "Fake news, lies, fraud, 错误s and statistics. 圣艾琳’s," in 圣艾琳's,2017年6月11日, //www.daiyunrkz.cn/fake-news-lies-fraud-errors-statistics-st-emlyns/.

                                                          由西蒙·卡利(Simon Carley)发布

                                                          西蒙·卡利 MB ChB,PGDip,DipIMC(RCS Ed),FRCS(Ed)(1998),FHEA,FAcadMed,FRCEM,MPhil,MD,PhD博士是创建者,网站管理员,所有者和主编,StEmlynas博客和播客。他是曼彻斯特城市大学的急诊医学教授,也是曼彻斯特基金会信托基金的成人和儿科急诊医学顾问。他是BestBets,St.Emlyns和曼彻斯特城市大学急诊医学理学硕士的共同创始人。他是全美医学理事会的教育助理,也是《急诊医学杂志》的副编辑。他的研究兴趣包括诊断,MedEd,重大事件&循证急诊医学。他在推特上被验证为@EMManchester

                                                          1. 谢谢西蒙。

                                                            有一次我读了这篇论文&随附的博客文章。一世’恐怕我的统计能力不如大多数,因此我对大部分论文的处境都比较恶劣(我’我什至没有去Google进行Kolmogorov-Smirnov测试,听起来像应该是优质伏特加酒品牌…),但在床边的含义却很明显。我们相信什么?如果研究欺诈(或更宽泛地说,‘error’)就像本研究表明的地方性一样,这使我们建议的每种药丸,每种输液,每种治疗方法都受到质疑。我们的指导,国家&本地可能基于毫无价值的数据。一世’d希望NICE已经计划审查治疗指南& the raw data it’急切地基于。这些是生命和公共资金,我们’在这里谈论。即使只有很小一部分可以推算到整个医学出版界的后果,也是巨大的。

                                                            在过去的几年中,我逐渐成为#therapeuticnihilist的人,主要是由于对《‘evidence’对于我们所做的事情以及其中大部分内容的粗略草图性质。一世’一个说服力的人说:少做事,少做事,因为大多数情况下,如果没有我们,我们的患者会变得更好(或更糟)–或尽管我们。是卡莱尔’s在迈向革命(或启示)的道路上迈出第一步,以启发当代临床医学的本质?我想我们可能’我将不得不等待更多的回顾性评论来决定,但是我’我束缚自己。

                                                            回复

                                                            1. 谢谢戴夫,我’m not quite so down about it. Some of the 错误s found may not actually affect the results of the trial or the validity of the findings (if they are simple typos for example). So I think we don’还不知道我们应该怎么关心。我想我们’我一直都知道欺诈存在,’只是我们现在有了一种半自动寻找它的方法。

                                                              至于Kolmogorov-Smirnov,’这是我最喜欢的统计数据之一?;旧?,它可以用作测试数据是否可能正态分布的测试。当您考虑检验是否假设存在正常变化时(例如t检验),这样做很有用?;箍梢越衅渌馐?。

                                                              很久以前,我获得了生物统计学和临床??流行病学博士学位….. I’忘记了一点,但是伏特加测试似乎由于某种原因而挂在了那里

                                                              S

                                                              回复

                                                          2. “急诊医学和重症监护有人吗?”在EM中完成,并在EM期刊中接受审查!

                                                            回复

                                                          3. 至少有一位反对者:
                                                            //www.medpagetoday.com/PublicHealthPolicy/Ethics/65950
                                                            但是,我未能在此问题上发表个人和精通的见解。

                                                            渴望发表评论。

                                                            回复

                                                          非常感谢您的关注。维瓦拉#FOAMed

                                                          翻译?
                                                          天天精品日韩_天天精品歌曲