科学评审 · 证据综合 · 项目评估

清晰判断证据究竟支持什么。

针对论文稿件、技术决策和研究项目提供独立科学评审。我们审查相关主张、方法及其支持证据,区分已经得到证实的内容与仍存在不确定性的部分,并明确哪些内容需要修改,以及哪些结论可以有充分依据地保留。

从针对具体问题的第二意见,到系统化的项目评估。

支持评估工作的专业经验

XpertScientific汇集了在多个学科领域具有科研、方法学评估、论文审稿和研究评价经验的科学家。我们的团队成员曾担任学术期刊审稿人、欧盟MSCA、Horizon Europe第5集群及Mission项目申请的专家评审和报告人,并担任Horizon Europe大型研究项目的外部评估专家和监测专家。我们会根据每项任务所需的科学专长安排最合适的人员。 了解我们的科学家团队 ↗

我们的一些客户

Client logos

何时需要独立的专业判断

三种方式,帮助您厘清证据真正说明了什么。

无论是存在争议性结论的论文稿件、需要综合解读的一组研究文献,还是需要独立评估的项目成果,我们都会在开始工作前与您明确评审问题和工作范围。

01

科学评审与第二意见

针对论文或技术报告中的方法、解释或结论,解决实质性的科学问题。

  • 所采用的方法是否适合研究问题?
  • 研究结果是否支持相应结论?
  • 哪些问题需要修改、进一步分析或补充证据?
您提供
论文或报告、相关补充材料,以及您希望重点评估的问题。
您获得
一份带批注的文档和评审报告,按重要程度列出主要问题,并清楚区分有充分依据和缺乏足够支持的主张。
02

证据评审与综合

明确现有研究对于特定问题能够说明什么,以及这些研究结果在多大程度上适用于您的具体情况。

  • 哪些来源具有相关性、可靠性和适用性?
  • 为什么不同研究或不同情境下的结果存在差异?
  • 在您的决策背景下,现有证据能够支持哪些结论?
您提供
需要回答的研究问题或决策问题、相关背景,以及您已有的资料或证据。
您获得
有据可查的综合分析、证据表或证据矩阵,并清楚说明哪些结论得到支持、哪些方面仍存在不确定性,以及这些结果在多大程度上适用于您的情况。
03

研究项目评估

根据项目既定目标、评价标准和预期用途,对科学进展及所报告的成果进行评估。

  • 完成了哪些工作,又真正证明了什么?
  • 哪些主张有充分证据支持,哪些需要限定,哪些仍未经验证?
  • 根据项目最初的目标,哪些后续工作是合理的?
您提供
项目目标、评价标准、交付成果、报告以及相关研究结果。
您获得
一份评估报告,说明每项判断所依据的证据、仍然存在的证据缺口,以及合理的后续工作。

如果还需要我们检查原始数据、复现分析或开展额外研究,也可以将这些工作纳入项目范围。

科学判断的实际应用

从证据出发,得出站得住脚的结论。

consulting example image

湿地恢复方案能否达到流域尺度的氮削减目标?

假设示例

需要回答的问题

某湿地恢复方案的目标是将流域年度总氮输出量降低30%。该方案引用的研究表明,进入湿地的氮约有50%可以被去除。拟建湿地预计可拦截流域年度氮负荷的约35%,其余部分则通过其他水流路径输送。

Wetland restoration field assessment

第一步检查:在这一尺度上,所声称的效果是否可能实现?

被拦截的流域氮负荷 假定可去除的拦截负荷比例 简化计算得到的流域削减比例

这是一个用于说明问题的简化质量平衡计算,并非针对具体地点的预测。它假设采用相同的氮指标和年度时间尺度,去除效率可直接应用于该地点,并且流域其他区域不存在抵消性变化。

审查的证据

已报告的总氮负荷和去除效率、水力负荷与停留条件、湿地面积与设计、季节性数据和高流量事件覆盖情况、水量平衡、旁路水流,以及实际会经过拟建湿地的当地氮负荷比例。

评估

按照目前的方案,所引用的去除效率不足以支持流域总氮削减30%的目标。 根据方案自身关于拦截比例和去除效率的假设,简化计算得到的削减幅度约为17.5%。此外,文献报道的去除效率也不能简单作为固定转换系数使用:湿地性能会随负荷和水文条件而变化,而水量平衡不完整或未充分覆盖高流量事件,都可能使表观去除率产生偏差。因此,需要针对拟建地点核实实际拦截比例和当地运行条件。

实际意义

应相应调整预期效益,或者评估能够拦截更大比例负荷的设计和地点,并视情况结合其他措施。在确定性能目标之前,应优先建立针对具体地点的水量平衡,并开展按流量加权的氮负荷测量,以覆盖那些占年度输出重要比例的事件。

评审成果

一份证据矩阵,用于区分可转移的研究结果与当地特定假设;一套经核查的流域尺度负荷计算;以及仍需开展的当地测量和验证工作的计划。

科学背景: Land et al. (2016),关于人工构建和恢复淡水湿地中营养物去除的系统综述。 本假设示例中的百分比仅用于说明,并非取自所引用的综述。

该论文是否支持“治疗可以减缓疾病进展”这一结论?

假设示例

需要回答的问题

某篇论文将实验室研究结果与一项短期、无对照的患者研究结合起来。治疗后,一个与预后相关的生物标志物发生变化,同时患者症状有所改善。作者据此得出治疗可以减缓疾病进展的结论,但研究并未直接测量疾病进展,而且该生物标志物在这一治疗情境下也未被验证为临床获益的替代终点。

Medical consulting example image

区分不同层级的主张

生物学机制实验室结果可以支持机制上的合理性,但实验对照和其他可能解释仍然十分重要。
患者中观察到的变化研究报告了生物标志物和症状的变化,但如果没有合适的对照组,就无法确定这些变化是否由治疗引起。
疾病修饰作用研究既未直接测量疾病修饰作用,也未通过在该治疗情境中经过验证的替代终点加以证明。

审查的证据

实验对照、患者选择、是否有合适的对照组、结局指标的定义和测量时间、随访情况、缺失数据,以及界定该生物标志物使用情境的证据——包括它是否只是预后指标,或者治疗引起的生物标志物变化是否已被验证为临床获益的预测指标。

评估

上述研究不足以支持治疗具有疾病修饰作用这一结论。 观察到的变化仍可能具有科学意义,也可以在充分说明局限性的前提下进行报告。但无对照研究无法证明这些变化是由治疗造成的,而某个生物标志物与预后相关,也并不意味着改变该标志物本身就能够预测临床获益或疾病进展减缓。

实际意义

修改标题、摘要和讨论部分,将机制合理性、观察到的症状或生物标志物变化,以及疾病修饰作用作为不同层级的主张分别处理。同时明确,要验证更强的结论,需要哪些比较性证据、疾病进展结局指标和随访时间。

评审成果

一份带批注的论文稿件,以及针对每项主张的逐项评估,明确哪些表述可以保留、哪些需要修改,以及哪些问题仍需补充证据。

科学背景: 美国FDA关于生物标志物、临床结局和替代终点的相关资料。 本示例用于说明论文评审,并不构成治疗建议。

一个试点预警系统究竟证明了什么,又有哪些方面尚未得到验证?

假设示例

需要回答的问题

某研究项目将传感器、预测模型和水质预警界面整合在一起。约定的系统集成里程碑已在两个试点地点得到验证。在常规条件下,预警性能达到项目设定的目标,但高流量事件数据较少,部分评估数据曾用于模型调参,而且系统在未参与开发的地点上的性能尚未得到验证。

分别评估每一项标准

已证实 系统集成 相关记录支持系统在两个试点地点实现了端到端运行。
有条件支持 试点预警性能 在所测试的常规条件下达到了目标,但高流量事件覆盖不足,而且开发与评估数据并未完全分离。
未验证 向新地点推广 尚未在未参与模型开发和调参的地点完成验证。

审查的证据

既定目标和验收标准、系统集成记录、传感器质量控制、用于模型开发和评估的数据集、不同事件类型的覆盖情况、预警检测能力和误报率、数据缺失或传感器漂移情况下的表现,以及维护和数据访问方面的运行责任。

评估

系统集成里程碑已经达到,现有证据也支持其在所测试常规条件下的预警性能;但关于系统已具备更广泛应用条件的主张仍未得到验证。 高流量事件观测不足,以及开发与评估之间未完全独立,都会削弱对系统性能可推广性的证据。缺乏新地点验证属于证据缺口,并不等于已经证明系统失效。此外,若更广泛部署需要额外条件,这些要求也应与项目最初承诺的目标区分开来。

实际意义

保留对系统集成里程碑的积极评价。随后使用未参与开发的数据和地点开展有针对性的验证,包括相关的高流量事件,并预先规定预警性能标准。在进一步声称系统适合更广泛的常规应用之前,还应明确运行和维护责任。

评审成果

一份评估矩阵,清楚说明哪些成果已得到证实、哪些结论需要限定、哪些方面仍缺乏证据,以及哪些后续工作较为合理。

科学背景: 欧盟委员会有关技术成熟度的定义区分了在相关环境中的技术验证与在实际运行环境中的系统验证。 本示例不对该系统正式指定任何技术成熟度等级。

从评估结论到实际行动

一份可以使用,也经得起核查的评审。

您将获得一份清晰的书面评估,说明各项结论如何由证据得出,并附上我们建议的修改或后续工作。工作开始前,我们会与您确定成果形式和详细程度。

具体且有优先级的结论

明确哪些内容得到支持、哪些需要修改,以及哪些证据缺口会实质性影响结论。

每项判断背后的证据

我们会指出相关资料、结果或评价标准,并明确说明所采用的假设以及我们无法核查的范围。

切实可行的后续步骤

提出明确的修改或后续工作,并区分必须完成的工作与有助于进一步完善研究的工作。

结合具体背景解释评估结果

如有需要,我们还可以与您的团队讨论评估报告,解释相关影响以及仍需解决的问题。

我们的工作流程

从问题出发,形成清晰的评估结论。

01 / 明确

明确评估问题

请告诉我们需要评估什么、谁将使用评估结果,以及您的时间要求。

02 / 确定

确定工作范围

我们会与您确定评审内容、需要参与的人员、最终成果,以及费用和时间安排。

03 / 审查

审查相关证据

我们审阅材料,检查支持关键主张的证据,如有需要澄清的内容,会及时与您联系。

04 / 报告

说明评估结果

您将收到约定的报告或评估文件,其中包括主要结论、局限性和建议的下一步工作。

开始之前

常见问题。

有效的评审首先需要一个明确的问题。开始工作前,我们会确认具备适合该任务的专业知识,并处理保密要求以及任何潜在的利益冲突。

科学评审与语言编辑有什么区别?

科学评审关注研究方法、证据和解释,即结论是否成立,以及哪些内容需要实质性修改。语言编辑则侧重改善表达和可读性。两项服务可以同时提供,但我们会明确区分科学评审与语言编辑。

没有原始数据也可以进行评审吗?

可以。基于文档的评审可以评估科学论证、所描述的方法,以及研究结果与结论之间是否一致。但它无法确认未经查看的数据或计算是否正确。评估报告会明确说明我们获得了哪些材料、实际核查了什么,以及哪些问题需要访问数据或代码才能进一步判断。

你们开展系统综述或荟萃分析吗?

具体采用何种评审方法取决于研究问题、现有证据和所需资源。我们不会把针对特定问题的证据评审称为系统综述。如果您需要系统综述或荟萃分析,我们会先评估其可行性,并与您确定研究方案、检索和筛选方法、质量评价、综合分析方法以及所需的专业人员。

评估的独立性如何保证?

在接受任务之前,我们会确认是否曾参与相关工作,并识别潜在利益冲突。评估依据约定的问题和现有证据进行,结论不会预先设定。如果我们曾参与相关研究或项目的开发,我们会明确披露这一情况,并不会将评审表述为独立于我们自身贡献的评估。

你们可以评估项目影响吗?

如果相关问题属于我们的科学专业领域,我们可以评估支撑所声称成果和影响的证据。完成某项成果、观察到某种变化,以及证明这种变化确实由项目导致,需要不同层级的证据。我们会说明现有信息能够回答哪些问题,以及何时可能需要采用专门的影响评估方法。

费用、时间和保密如何安排?

费用和时间取决于评估问题、材料的数量和复杂程度,以及所需核查的深度。我们会在工作开始前与您确定这些事项,同时商定访问权限和保密安排。如需扩大工作范围,也会事先与您讨论。

从问题开始

您希望对什么进行独立评估?

请向我们简要介绍相关工作,以及评估结果需要支持的决策或结论。我们会确认是否具备合适的专业知识,并建议适当的工作范围。

咨询评审服务 ↗