转换到繁體中文

您的位置 : 首页 > 报刊   

[名家主持·人文社会科学学术期刊评价研究]构建人文社会科学学术期刊评价体系
作者:苏新宁

《东岳论丛》 2008年 第01期

  多个检索词,请用空格间隔。
       
       [主持人简介]苏新宁,南京大学中国社会科学研究评价中心副主任,信息管理系教授,博士生导师,南京大学图书馆学·情报学与档案管理一学科博士点和博士后流动站、南京大学国家重点学科(情报学)学科带头人,享受国务院政府特殊津贴。武汉大学信息资源研究中心学术委员会委员,中国科学技术信息所博士后工作站专家委员会委员,江苏省第六届情报学会副理事长,《情报学报》、《现代图书情报技术》等近10种学术期刊编委。主要研究领域:智能信息处理与检索、信息分析与科学评价。
       先后承担并完成了包括国家863课题、国家自然科学基金、国家社科基金、教育部、江苏省规划项目等各类课题30多项。设计并研制了我国第一部社会科学引文索引《中文社会科学引文索引》(CSSCI)。获得各项学术奖项20余项,已出版著作20部,在国内外学术期刊上发表论文100多篇。主要代表作:著作有《中国人文社会科学学术影响力报告》、《信息检索理论与技术》、《组织的知识管理》等;论文有“图书馆、情报与文献学研究热点与趋势分析”、“我国图书馆、情报与文献学学术影响力研究报告”、“Clustering Algorithm Basedon Sample Weighting”、“Developing of Chinese Social Science Citation Index”
       [摘要]本文阐述了影响人文社会科学期刊学术质量和影响力的定量指标,根据科学性、合理性和可获得性等原则选取了20个指标,分析了其作用大小赋予每个指标相应的权重,由此而构建了我国人文社会科学期刊评价体系。本文还根据引文索引的特征,针对我国人文社会科学期刊发文时滞和引用论文的时间高峰的前移,对有关期刊评价指标进行了修正。
       [关键词]期刊评价;评价指标;指标体系;人文社会科学
       [中图分类号]G255.2 [文献标识码]A [文章编号]1003-8353(2008)01-0035-08
       一、引言
       自2003年4月中共中央发出了《关于进一步繁荣发展哲学社会科学的意见》以来,我国哲学社会科学研究得到更加快速的发展,作为哲学社会科学研究的重要学术资源——期刊,越来越得到人们的重视,并逐渐走向规范。然而,我们如何评价期刊的学术质量,如何看待期刊的学术影响,这是学界十分关注的问题。
       长期以来,由于数据采集的困难,学界对期刊的评价选用指标较少,近几年来,各期刊评价机构评价期刊的指标虽然有所增加,但都是每个指标单独分析与排序,很难分析每一种期刊在学术方面的综合影响力。因此,迫切需要学界能够构建综合反映期刊学术影响的评价指标体系。正是在学术界这样一种需要下,根据我们对引文索引十年来的研究与制作经验,反复分析影响期刊学术质量和学术影响的多个方面,并对来自各个方面的数据进行了反复推敲斟酌,构建了人文社会科学期刊的评价体系,以希望能够对我国人文社会科学期刊的学术影响进行全面评价。
       我们进行这项研究与实践的初衷有四:其一,通过构建期刊评价体系来完善和规范我国的人文社会科学期刊的评价;其二,根据我国人文社会科学研究的规律和特点,分析人文社会科学期刊发文状况,修正尚不完全适应我国人文社会科学期刊评价但长期以来又应用于我国人文社会科学期刊评价的部分指标;其三,借助从多方位考察期刊的质量和学术影响的指标,促进人文社会科学期刊学术质量的提高,加强我国人文社会科学研究和期刊的规范;其四,针对长期以来核心期刊和引文索引中来源期刊数量的有限,又由于无其他期刊评价体系对期刊进行综合评估(许多机构仅依靠核心期刊或来源期刊进行学术考察),这在一定程度上对繁荣我国哲学社会科学带来一定负面效果。因为这种政策和导向将会使得许多期刊面临生存的问题,可以想象如果全国人文社会科学学术期刊只剩下数百种核心期刊或来源期刊,那么一个繁荣的社会科学研究环境如何构建?因此,本文希望通过构建人文社会科学期刊评价体系,综合地考察每一种期刊,将每一种期刊按学术质量和影响给予一个综合值,使每一种期刊能够客观地了解自己,并在不同的学术层面和范围中发挥作用。
       当然,评价期刊的学术影响应当来自于两个方面:定性评价(学科专家评价)和定量评价(来自于一些客观数据的分析),本文主要从定量角度出发来构建人文社会科学期刊的评价体系,并希望借助于各学科专家的定性评价以进一步完善这一评价体系。期刊定量评价涉及到评价指标的选择、指标数据的作用分析、指标的合理化、体系中指标权重的分配以及评价实现过程使用的方法和操作手段。
       二、期刊评价定量指标分析
       以量化指标来反映期刊的学术影响、社会影响以及期刊的学术规范和质量,可从如下几个方面来反映:期刊载文中的学术含量指标(例如,引文数量、基金论文、作者广度等);学术成果的引用指标(期刊所刊载论文被其他学术成果的引用情况);重要的二次文献全文转载的数量(如我国的《新华文摘》、《社会科学文摘》、《人大报刊复印资料》等);网络期刊文献的即年下载率。
       1 期刊学术含量的定量指标
       期刊学术含量指标可以通过期刊所载论文质量、学术规范和作者的涉及地区等反映出来。如何从量的角度出发分析这些指标,这是一个新课题。通过对引文索引细致的分析考察,我们发现,可以用来评价期刊学术含量的定量指标有:期刊论文的篇均引用文献数、与期刊学科相关的本学科论文占有比例、期刊主办机构发表本机构作者论文的比例、期刊作者地区分布、基金论文占有比例以及论文的机构标注比率等。
       期刊篇均引用文献数指期刊的论文平均引用文献数量,即期刊所有论文的引用文献数量之和除以该刊所刊载的论文数量。一般说来,任何一项研究成果都不是空中楼阁,需要建筑在前人或他人研究的基础之上,对其他成果的借鉴需要在文中体现出来,这主要反映在引用文献或参考文献上。可以说参考文献和引用文献是科学论文的一个重要组成部分,它体现出对他人成果的尊重,也反映了学者的学术规范和论文的学术深度。因此,考察整个期刊论文的篇均引用文献数,可以分析一份期刊的学术规范和学术深度。如果我们再将其扩展到一个学科的期刊论文平均引用文献量,可以得知整个学科的学术深度、学者的研究习惯以及学科之间的差异。
       本学科论文比例指某期刊在一个时间范围内(通常为一年)发表某一学科论文数占所有论文数的比例。期刊刊载的内容通常是围绕着某个学科(除综合类期刊外),不同学科的期刊很难评价它们之间学术影响的大小,因此,对期刊的评价一般是分学科进行的。既然对期刊的评价是分学科进行的,那么每一种期刊的论文也应该是与本学科相关的。因此,我们希望通过这一指标了解期刊对本学科的贡献。一般来说,期刊发表本学科论文的比例越高,说明该刊在这一学科中的专业化程度也就越高,与该学科研究现状的关系也就愈加紧密。对于综合性和跨学科期刊,可以分析它们所刊发的论文在各学科论文中的占有比例,以此可以了解这些期刊的侧重点和涵盖的主要学科范围。
       
       本机构论文比例指期刊主办机构内部人员所发表的文章占全部文章之比。一般说来,学术期刊是面向全社会的,它的读者和作者群也应该是全社会这个大范围。因此,这个比例越大,说明该刊对作者的发散程度不够,对作者产生的影响范围较小,同时也可能该刊在选稿方面受本位思想影响较大。总之,期刊主办机构内部作者在发文上占有一定的先机,其发文量占有适当的比例是可以理解和接受的,但比例过高将会影响期刊的发展和全面性。这一指标我们主要用来评估高等学校学报论文的本机构作者比例之用。
       期刊作者地区分布指期刊所载论文作者的地区分布。一般来说,期刊论文作者地区分布越广,该刊越能较全面地反映该学科领域研究状况。虽然一些期刊带有明显的地方色彩,但也应考虑其研究的地域广泛性,只有这样才能扩大期刊的影响和全面反映研究概貌。所以,我们将期刊作者的地区分布数量也作为我们评价期刊的指标之一,以此来判断期刊作者的区域覆盖面。
       基金论文刊载比例指期刊所刊载的论文中,含有基金资助论文的比例。一般情况下,基金资助项目多为学界所关注的学科热点和前沿研究课题,或者是国家、地区迫切需要解决的一些重要问题。因此,得到基金资助的论文较非基金资助论文从整体上来说应该具有更高的学术价值和应用价值,前者不论是在质量上还是学术影响方面都可能高于后者。所以,期刊刊载基金论文的比例越高,应该说该期刊的整体质量也相对较高和影响相对较大。
       有机构论文比例指期刊中标注有作者机构的论文占该刊全部论文的比例。学术期刊,具有学术交流的性质,学者需要通过作者的个人信息(包括机构信息)开展学术交流活动。另外通过对作者机构的统计分析,也能够了解各机构的学术状况。因此,与文学作品和艺术作品等原创作品不同,作者机构是学术论文中不可缺少的部分,这一指标可以从一个方面反映出学术期刊的规范程度。
       2 期刊被引定量指标
       期刊被引是指期刊所刊载的论文被引用的数量或比例的统计,不同的指标从不同角度反映了各期刊对学术研究的影响,期刊被引指标主要包括:被引次数、即年指数、影响因子、被引广度等。
       期刊被引次数指期刊所刊载的论文被统计源中来源期刊论文引用的次数。被引次数反映了期刊自创刊以来的长期学术影响,它是指期刊论文获得的客观响应,它可以被用来计算期刊在一个学科领域的长期的、实际的学术影响。本指标将再分成三个下级指标:被引总次数、学科被引次数和他刊引用次数。被引总次数的解释与期刊被引次数的解释相同;学科被引次数是指期刊被统计源中指定学科论文所引用的次数,这个指标主要用于反映该期刊在指定学科的学术影响;他刊引用次数指期刊所刊载的论文被统计源中其他期刊引用的次数(排除了期刊的自引),这一指标主要为了杜绝一些期刊通过盲目自引来扩大本刊的数据,同时也为非统计源期刊提供一个更加公平竞争的环境。
       期刊影响因子指期刊在一定的来源期刊范围内及在指定年份中,该期刊前两年论文在这一范围内被引用的数量与该期刊前两年刊载论文数量之比。期刊影响因子也可以理解为指定期刊前两年所发表论文在统计年的篇均被引率。期刊影响因子最早是由E·加菲尔德在1955年提出的,它是指期刊论文获得的客观响应,反映期刊重要性的宏观测度,它可以被用来计算期刊在一个学科领域的学术影响。期刊影响因子的计算公式如下:
       影响因子=该刊前两年发表论文在统计当年被引用的总次数/该刊在统计年的前两年发表论文总数(1)
       一般情况下,影响因子越大,可以认为该期刊在科学发展和文献交流过程中的作用和影响相对越大。当然,影响因子也具有一定的片面性,例如对于小篇幅期刊而言具有明显的优势。因此,它与期刊总被引等指标是一个很好的互补。和被引次数一样,该指标也细分成了三个下级指标:一般影响因子、学科影响因子、它引影响因子。后两者的计算只是将公式的分子分别改换为“该刊前两年发表论文在统计当年被某学科论文引用的总次数”和“该刊前两年发表论文在统计当年被其他期刊论文引用的总次数”。
       即年指数指期刊所载论文发表的当年被引数量与发文数量之比,即指定期刊所发表的论文在当年的篇均被引率。即年指数体现了一种期刊被引用的速度,可以衡量该期刊对本学科热点问题的关注程度,是否处于学术前沿,是否被学界和读者及时关注。它的公式如下:
       即年指数=该刊当年发表的论文在当年被引用的总次数/该刊统计当年发表论文总数(2)
       根据期刊即年指数的定义和公式表达可以看出,如果一个学科大多数期刊都具有较高即年指数的话,那么这个学科一定是一个发展迅速且学术活跃的学科,该学科的学者对热点问题具有较高的关注度。期刊即年指数与上两个指标一样,也划分成一般即年指数、学科即年指数、它引即年指数三个下级指标。
       被引广度指期刊在统计年度被多少种期刊中的论文引用过,其引用该刊的期刊数量即为该刊的被引广度。被引广度说明了期刊所刊载的论文对其他期刊的影响程度,一般说来,一种期刊被不同的期刊引用得越多,其影响度就越广。如果在一个年度内,某期刊被他刊引用1-2次,这种引用带有很大的偶然性,不应与引用10数次的期刊相同计算。所以,为了使期刊被引广度的计算更加科学合理,我们将期刊被引广度按被各期刊引用数量进行了分值分配,其分配数据参见表1。
       
       作为评价期刊的一种指标,被引广度从范围角度反映了期刊的学术影响,一般来说,在一个学科内,学科综合类期刊与较专的期刊相比,前者具有更大的被引广度。对不同的学科而言,参与统计的期刊多的学科,该学科期刊的被引广度也相对会多。因此,在对某学科内期刊被引广度比较分析时,应当更注重期刊对其他学科期刊的影响。
       3 二次文献转载指标
       二次文献转载指标是指我国几种重要的二次文献对各期刊中论文全文转载的数量统计,本评价体系采用四种二次文献数据:人民出版社主办的《新华文摘》、中国社会科学院主办的《中国社会科学文摘》、中国人民大学主办的《报刊复印资料》,以及上海师范大学主办的《高等学校文科学报文摘》,最后一种仅适用于对高校综合性学报。
       上述四种文摘刊物是受到学界公认的综合性文摘刊物,具有一定的权威性,它们主要以转载中国人文社会科学领域的重要研究成果,反映各学科领域学术动态和学术走向。应该说,这些文摘刊物中对期刊全文转载数量的统计,从一个角度反映了各期刊对学科热点的跟踪和对学术走向的关注程度。因此,这些文摘刊物转载各期刊的数量可以设立为对期刊影响度考察的指标,可以说,这一指标是对其他指标的一个补充。另一方面,也可以说明设立这一指标的必要性,许多作者在阅读了二次文献转载的全文后,当他们在论文写作过程中引用了这些论文时,往往标注的是二次文献的出处,而非原刊出处。所以,采用这一指标也从一个方面弥补了原刊由于作者引用二次文献带来的被引数据损失。
       4 Web即年下载率
       Web即年下载率是指期刊在某一期刊全文数据库中当年出版并上网的论文在当年被全文下载的次数与该期刊当年出版并上网论文总数之比。计算公式如下:
       
       We即年下载率=该期刊当年出版并上网的论文在当年被下载的次数/该期刊当年出版并上网的论文总数 (3)
       Web即年下载率相对其他指标,更具合理性,因为读者不是根据自己掌握和了解的有限期刊去找文章,而是从主题去查文章,避免读者对期刊的可获取性和主观认识存在的偏差,保证了每一份期刊相对读者而言,获取机会都是相等的。所以,Web即年下载率在期刊评价指标体系中具有很重要的意义。
       三、相关指标的修正
       随着科学的发展,产生于20世纪70年代前后的期刊指标体系已显得陈旧,不能适应当今科学研究的发展,尤其是出自于自然科学期刊的评价指标体系,更是不能满足人文社会科学期刊评价的要求。为了确保我国人:艾社会科学学术期刊的健康发展,实现对人文社会科学期刊更科学合理的评判,需要对人文社会科学期刊评价的一些指标进行修正。
       1 指标修正依据
       修正指标的目的是希望新的指标能够更加明晰地体现出期刊的特点和学术影响,因此我们必须要对影响到社会科学期刊评价指标的社会科学研究状况作一定的分析,才能对原有指标作科学的修正。修正依据主要来自以下两个方面:
       其一,自中共中央发出了《关于进一步繁荣我国哲学社会科学的意见》以来,我国人文社会科学研究领域更加活跃。但随着研究机构的增多和研究队伍的不断扩大,各学科研究领域的论文激增,期刊稿源的增加,造成期刊论文发表滞后,再加上各期刊论文审稿制度日趋规范,论文从撰写到发表多数都将经过一年左右的时间,有的甚至更长,这样当年发表的论文很难在当年被引用,这势必影响期刊即年指数这一指标。我们根据对人文社会科学近几年的期刊即年指数分析,具有即年指数的期刊不到50%,其中大多数的数值都很小,造成即年指数这一指标在人文社会科学领域很难分辨各期刊对热点跟踪和学术反应速度上存在的差距。因此,在社会科学研究领域几乎很少见到用即年指数来实际评价期刊的研究成果。所以,对即年指数的改造势在必行。
       其二,过去对人文社会科学期刊的评价完全照搬自然科学的评价指标,而人文科学相对自然科学而言,发展相对缓慢,其引用文献(包括期刊论文)也并不像自然科学那样引用成果较集中于前两年,再加上近年来我国繁荣的哲学社会科学形势,使得文章发表的时滞,人文社会科学论文所引用的文献时间高峰的前推,这直接影响到影响因子的计算。因此,人文社会科学期刊的影响因子计算公式应当根据被引用期刊论文的时间峰值作必要调整。
       针对上述两个方面的原因,我们可对即年指数和影响因子这两项指标进行修正,其修正思路为:
       (1)由于即年指数对于多数期刊难以获得,这一指数可以取消,但为了体现各期刊对作者的快速影响,可改为期刊被引速率,扩大被引的时间计算范围;
       (2)影响因子的修正需根据人文社会科学期刊论文的被引用(年)峰值调整计算年代,移动计算年度。
       2 指标的修正方法
       如上所述,由于文章从撰写到发表需要一年左右的时间,即年指数作为评价指标已经不能体现它的原有含义,为了能够反映期刊对学科领域的快速反应和对热点的跟踪状况,本体系将即年指数的计算在时间上进行了拓展,即用当年文献和前一年文献的篇均被引来体现这一指标。由于计算时间的变化,即年指数这个概念与实际的数据计算不再相符,我们将其定名为“期刊被引速率”。计算期刊被引速率的公式如下:
       被引速率=该刊当年论文和前一年论文在当年被引用总数/该刊统计当年发表的和前一年发表论文总数 (4)
       同样,由于人文社会科学期刊被引用的峰值主要是在论文发表后的第二年,我们还对具体期刊的被引用峰值进行了细致的考察,我们发现学界公认的影响大的绝大多数期刊,其被引用峰值基本都在期刊出版后的三年中(最多为发表后的第二年。其次为第一年,再次为第三年),由于我们对期刊即年指数修订后已将前一年的数据用于被引速率,因此我们认为期刊影响因子的计算在时间上也作相应前推,从前两年推至到前第2、3年,确保能有70%以上期刊的引用峰值在被引速率和影响因子计算的年度内。修正后的影响因子的计算公式如下:
       影响因子=该刊前第2、3发表论在统计当年被引用的总数/该刊前第2、3年发表论文总数 (5)
       这些修正后的指标对学科影响因子、它引影响因子、学科引用速率、它刊引用速率的解释同理。
       四、指标体系构建与操作
       作为期刊的评价指标体系需要从综合的角度选择指标,根据作用的大小分配权重,采用科学的方法进行计算,除此以外我们还必须考虑指标数据的可获取性,以保证评价体系能够科学、合理、方便地得到实现。
       1 评价指标的选定
       针对上述对影响期刊质量和学术影响的讨论,从科学、公正和数据的可获取性出发,目前用于本期刊评价体系的指标有:
       反映期刊本身学术含量的指标:篇均引用文献数、基金论文比例、论文地区分布、作者机构标注比率、本机构论文比率(仅用于对高等学校学报的评估);
       反映学术影响的被引用指标:期刊被引次数、期刊被引速率、期刊影响因子、期刊被引广度;
       重要二次文摘刊物转载指标:新华文摘、中国社会科学文摘、中国人民大学报刊复印资料、高等学校文科学报文摘(仅用于对高等学校学报的评估);
       反映网络文献全文阅读率的指标:Web即年下载率。
       2 指标权重的分配
       在指标权重分配方面,我们把期刊的学术影响放在最主要的地位,即被引用情况。对于这一指标,我们分配了比较高的权重,其权重占整个评价体系的60%,这也可以保证本体系和过去评价体系与采用指标实现平滑过渡;其次是期刊学术含量指标和Web即年下载率指标,考虑到这两个指标在反映期刊学术质量和利用率方面的贡献,均给予次高的权重,其权重分别为15%;对于二次文献转载指数,本体系给予了10%的权重。具体分配如表2。
       
       各指标项下属指标的分配:
       期刊学术含量指标的每个下级指标平均分配总指标比率,即四个指标各占25%;被引次数、被引速率、影响因子中的三个下级指标的权重分配为:它引指标占各自指数的50%,其他两个各占25%;
       二次文献转载指数的权重分配主要按照期刊论文被这几个二次文献转载的难易程度进行了分配,其占比例分别为:新华文摘(45%)、中国社会科学文摘(35%)、人大报刊复印资料(20%)。
       非综合性期刊各指标权重的详细分配参见表3,高校综合性学报和社会科学综合性期刊的权重分配参见表4。
       3 指标的归一化处理与指标计算
       如此众多的指标如何放在一个体系中操作,这是一个首先需要考虑的问题。我们知道,在这个体系中有的指标数据可达数百甚至上千(如被引数量等),有的指标数据多数在1以下(如影响因子、被引速率等);即使是同一个指标,在不同的学科中也存在很大的差异,如将经济学和宗教学期刊进行对比,无论比较哪一个指标,其数据的差异都非常之大。因此,评价体系需要把这些数据统一在同一数量级的数据平台上,这就是本体系将要采取的归一化操作。
       
       
       五、结束语
       以上我们给出了人文社会科学期刊的评价体系,当然这一体系还需要通过实践的验证,我们已经利用这一指标体系对近几年的人文社会科学期刊进行了分析,得到了较为满意的结果,我们将在本栏目中陆续发表我们的研究成果。我们希望有关专家学者(不仅仅是期刊评价专家,更需要学科专家)提出意见,特别是针对我们利用这一体系对各学科期刊的评价产生的结果进行分析,比较评价结果与学术界对本学科期刊学术影响的共识是否存在大的偏移,以促进我们完善本体系,为我国人文社会科学期刊评价研究的健康发展而共同努力。
       [责任编辑:翁惠明]