英语原文共 16 页，剩余内容已隐藏，支付完成后下载完整资料

用于衡量社会影响的补充型计量学数据的有效性：用补充型计量数据库和F1000数据库的数据的研究

摘要：综合计量数据可以被有效地用于社会影响的测量吗？目前研究的目的是用一个综合的数据集合（大约100000条记录），这个数据集合来自非常不同的来源（F1000，综合计量学和基于科学引文索引的一个内部数据库）。在F1000的同行评审制度，专家特别标记的用于表明是否论文具有科学性或者对其他社会领域相关的科学论文。结果表明，标记有“好教学”的论文比没有标记的实现更高的综合计量计算—如果论文的质量可以被控制。同时，一个带有标签的论文更高的引用计数显示面向科学。研究结果表明，对于研究领域外的读者定制的论文会引起社会影响。

如果综合计量数据可以被用来衡量社会影响，它的规范化问题出现了。在文献计量学，引用规范化为论文的主题领域出版年。本研究采取了涉及综合计量数据的可能标准化的第二个分析步骤。如结果所显示对于广大的听众的特别的兴趣的科学话题。因为这些或多或少的有趣的主题不能完全反映在汤森路透的杂志集，一个综合计量数据的标准化不应该基于主题类别的层次，而不是在主题水平。

1、简介

在科学政策下，假设到二十世纪九十年代社会可以从科学研究中获益，这种科学研究追求一个较高的水平。相应地，用于科学计量的指标，诸如引用计数，这种指标衡量研究科学本身的影响。自从20世纪90年代以来，这一趋势可以被观察到：科学政策不再假设社会从追求高水平获益。现在预计，为社会获益被证明。因此，例如，支持研究的组织（诸如美国国家科学基金会）目前预计，支持项目导致不仅仅是有趣的科学。对于这些机构，同行评审程序的结果是，不仅可能的科学项目的收益率进行评估，而且其他部分的社会回报进行评估。

这些天，科学工作的评估不仅仅基于同行评审过程和指标。这些定量评估的一个很好的例子是大学排名。在这个联系（不仅仅是大学排名）中最重要的指标是是基于出版物和引用的文献计量指标。研究的影响主要是用引用来衡量。因为一个出版物对另一个出版物的衡量的影响，引用测量研究研究本身的影响。引用决定是否研究（例如机构和国家）正在追求最高平均水平。但是引用不能用来衡量社会其他社会部分的影响。这就是为什么科学计量已经开始希望在科学政策中衡量超越科学定义研究的影响，并且寻求新的影响测量的可能性。随着社会影响评估（1）社会、（2）文化（3）环境、（4）来自有公共资助基金研究结果的经济效益被测量。目前最亲睐的测量社会影响的过程包括案例研究，案例研究然而被视为耗时太长并且因此不可行。

对于测量社会影响力的一个有吸引力的可能性被视为在综合计量学中（简称补充型计量学）。补充型计量学指数据源，工具和度量（而不是引用），它提供潜在的对科学产出（如在Facebook上分享的或者在Mendeley上阅读的出版物的次数）影响的相关信息。补充型计量学开启了一个更加广泛的对于影响概念的解释并且开启了对于影响分析的的更加多样化的形式。概括各种补充型计量学或许可以从Priem and Hemminger获取。推特，例如，是最著名的微博应用程序。这个应用程序允许用户发表最多140个字的短消息。这些短消息可以被分类，分享，直接发送到其他用户并且链接到网页或者科学论文。目前，目前有超过2亿活跃Twitter的用户每天超过4亿条推讯”(象牙海岸,亲爱的,Shiffman amp;画,2013)。Priem和科斯特洛(2010)定义微博为推特引用如果他们包含直接或间接链接到一个同行评议的学术文章。这些推特引用可以清点,评估论文的另一个指标。

有关补充型计量学已经有很多研究。可以在 Thelwall (2014), Haustein (2014), and Priem (2014)的研究中有大致的了解。许多这样的研究测量引用和补充型计量学的相关性。因为相关性经常在一个中等水平，结果很难解释：计量学似乎可以测量类似的事物而不能测量相同的事物。公布的研究到目前为止还不能提供令人满意的问题的答案，即补充型计量学适合衡量社会影响。这就是这次调查问题的原因。

2002年1月,一种新型的同行评议系统已经启动,在这个系统中，大约5000名教员被要求识别，评估并且评论他们自己每个月读的最有趣的论文——不管这个杂志何时出版。所谓的F1000同行评审系统不是一个事前评估发表在杂志上的出版论文的手稿，而是已经评估过的发表在期刊上的论文。Faculty 的成员也对论文标记表明它们与科学的相关性（例如新发现），这样做也有其它的目的。这种标签的一个例子是标明论文适合教学。以这种方式标记论文如果他们代表一个领域的关键论文，或者写的很好，或者提供一个很好的论点综述，或者适合作为给学生阅读的文献。与没有标记的论文不同，带有这种标记的文献被视为有超过科学本身的影响（即社会影响）。如果补充型计量学对带有标记的论文有更大的影响比没有标记的，这就表明补充型计量学可以测量社会影响。

这项研究本质上是基于一个从F1000中提取的论文数据集（以及它们的评价和来自Faculty 成员的标签）。这个数据集进一步扩展了数据——文献计量（例如引用计数）和补充型计量学。将在下一节比较补充型计量学和引用计数，来研究两种与标签和评论有关的计量学的不同。

2、研究方法

2．1 F1000提供同行评级

F1000 是生物医学文献（来自医学和生物学的期刊论文）的出版的同行评审系统。这个服务是科学航海团的一部分，即一组独立的发布和发展专业生物医学社区和消费者市场服务的公司。F1000 生物学建立于2002年，F1000医学建立于2006年。这两个服务合并于2009年，现在构成了F1000数据库。F1000中的论文被同行命名的Faculty中的全球顶级的评估和解释他们重要性的科学家和临床医师挑选的。这就意味着只有一组来自受限的生物医学的期刊的论文被同行评议，并且大多数论文事实上都不是。

Faculty 现如今计入了超过5000名世界范围的专家，在5000名助手的协助下，被整合成多于40个学科（40个学科被进一步细分为超过300个部分）。通常Faculty每个月发布1500条新的评论。Faculty会员可以选择和评估任何他们感兴趣的论文；然而，多数挑选出版的论文在过去一个月，包括提前在线论文，意味着用户可以迅速意识到重要的文件，尽管许多出版的论文在流行和知名期刊(如自然,新英格兰医学杂志》上被评估，85%的被挑选的论文来自特殊的或者不知名的期刊。自从F1000被建立不到18个月以来，科学家们的反应一直是这样，即三分之二的世界范围的顶尖机构已经订阅，并且国际学术出版协会的接收者得到了出版创新的奖励。F1000数据库被认为是一个对于科学家在他们领域寻找最相关论文的重要协助。F1000的目的不是提供所有论文的评估，这只会加剧噪音，但利用电子发展去创造最佳的人力过滤器有效的减少噪音。

本文选择被F1000会员评定等级“好”“非常好”“优异”，这个等级分别对应于于分数为1，2,3.在许多情况下，论文不仅仅被一个成员评估，而是被许多成员评定。FFa（F1000的论文因素）作为F1000数据库的一个总分，对于出版物不同的评论的计算。除了建议,Faculty成员也用分类标记出版物，例如：

临床试验(non-RCT)调查在人类学中干预（既不是随机的也不是被控制的）的影响。

证明：本文的研究结果验证以前公布的数据或假设。

争议：本文的发现或者质疑在给定的领域已确立的定理，或者在它们被认为无可辩驳之前需要进一步确认。

有用的教义：在这个领域的一片关键文章或者一个写得特别好的文章提供一个很好的概述或者一个优秀而的学生应该知道的例子。

有趣的假说:提出了一种新颖的推荐Faculty的会员发现有用的评论模型或假设。

新发现：提供了原始数据,模型或假设。

新药物目标:本文表明一个特定的,治疗药物发现的新的目标(而不是一个新的药物)。

bull;驳斥:本文的研究结果反驳以前公布的数据或假设(在一个特定的发现反驳的地方,参考引用通常是必需的)。

bull;技术进步:引入了一个新的实用/理论技术,或者使用现有技术的新的结合。

一般来说一篇论文的分类与Faculty的会员的推荐无关。例如，一篇介绍新技术的好的论文并不比带有技术进步标签的优秀论文有意义。标签的目的是成为一个额外的过滤/分类而不是评价的一部分。标签是非常有用的，因为它们的只可能分配如果论文已经被一个专家读过。一个人不能用负面的结果或者改变论文使用的关键词来搜索文献数据库。但是指定的专家标签使这个在F1000Prime变得可能。

在F1000数据库中充分检索到的出版物形式的分类，评论和书目信息包含超过100000条记录。总的来说，F1000数据库被认为仅仅帮助科学家获得指向学科领域的最相关的论文，但也作为研究评价目的的一个重要工具。所以,例如,伍特斯和科斯塔斯(2012)写道：F1000提供的数据和指标毫无疑问是丰富和有价值的，对于不同层次的研究评价的补充型计量学事实上是一个很好的补充。（论文,个人、期刊等）。

2.2数据集的形成，在数据集中文献数据和综合计量数据是相连的

2014年1月，F1000给我提供了有关所有评论和分类的数据以及在他们系统中相应地论文书目信息。数据集包含了总共104633不同的DOLS,在其中个人论文带有很少的例外。数据集的大约30%的减少量与独特的识别必须主要是由于这样的事实,许多论文收到了几个

建议从成员,因此将出现在数据集。与独特的识别必须主要是由于这样的事实,许多论文收到了几个建议从成员,因此将出现在数据集。

在当前的研究中对于文献计量学，引用计数（在2012年年底和出版物之间）并且和其他文献数据（例如Wos的主题分类）是寻求每篇论文在基于Wos和由马克斯·普朗克数字图书馆(MPDL)的 马克斯·普朗克协会的内部数据库。为了能够创建个人论文和文献数据之间的联系，本研究选择了两个程序步骤：（1）在数据集中总数达90436的论文可以被匹配到DOL使用的内部数据库。（2）从总数14197中剩余的4205篇论文中，尽管一篇文章的第一作者，期刊，内容和问题没有可以和DOL匹配的。因此总数104633的94641篇可获得的论文文献数据。这个比例大约与被与Waltman and Costas命名的价值的93%相符，他们使用了一个类似的过程从F1000的数据与文献数据与它们自己的内部数据库匹配。

2014年4月，有94641条数据扩展加入了补充型计量学数据。这些数据来自于补充计量学数据库的起始阶段，它专注于使文章水平可获得。补充型计量学追踪和分析了在线活动的学术文献。有关补充型计量学的一个简短描述，如果一个微博，博客的帖子或者新闻文章提到了一篇科学论文，可以在http://www.altmetric.com/blog/the-donut-factory/上找到。

表1补充型计量学数据2011年以后发表可用的论文

您可能感兴趣的文章

• 知识管理在客户关系管理过程中的应用外文翻译资料
• 您如何定义和衡量研究生产力？外文翻译资料
• 对WEEE的再制造与回收的权衡以及中国基金政策下的环境影响外文翻译资料
• 数据库开发过程外文翻译资料
• 双边平台间的两部分关税竞争外文翻译资料
• (翻译)洪水灾害期间的信息偏好研究-以泰国和印度尼西亚的洪水灾害为例外文翻译资料
• 为电子知识库贡献知识的实证研究外文翻译资料
• H指数，g指数，e指数之间的关系外文翻译资料
• 绿色驾驶或搭便车？混合动力汽车退税影响分析外文翻译资料
• 用于衡量社会影响的补充型计量学数据的有效性：用补充型计量数据库和F1000数据库的数据的研究外文翻译资料