基于Altmetrics的科技项目立项社会影响力评价框架研究及实证分析（三）：评价框架与评价方法

科技项目立项社会影响力评价属于事前评价，由于尚未形成研究成果，评价重点不同于中间或事后评价，侧重于立项主题及其预期成果的评价分析，但事前、中间和事后评价是项目评价的不同阶段，评价体系或者维度可以做一定程度借鉴。基于上述分析，本文借鉴国内外现有科技项目成果影响力评价中认可度较高、经常采用的维度，即选择受众面、兴趣度、关注度、共享度和认可度作为科技项目立项社会影响力评价的五大维度，由此构建一个基于Altmetrics的科技项目立项社会影响力评价框架。其中：受众面是指接受和使用网络信息的人群范围，对应前述评价体系基本框架中的“在社会化媒体上传播的广度”，相应的Altmetrics指标包括点击量、下载量、浏览量、视频播放量等；兴趣度表示立项主题受社会公众欢迎的程度，用户的阅览行为可以表现为将网页添加至收藏夹；关注度即“在社会范围内被关注的强度”，反映立项主题被社会重视的程度，相应的量化指标为新闻报道量、博文提及量、维基百科提及量等；共享度表示受众的参与程度，即“引发社会共鸣的程度”，包括在社交媒体上分享、点赞、评论等；认可度表示受众的认同和接受程度，即“全社会的认同和接受程度”，通常采用引用量作为量化标准。

基于Altmetrics的科技项目立项社会影响力评价框架

在此基础上，本文提出了相应的评价方法。首先，确定与拟评项目相关的关键词，在数据库中检索得到相关文献，所选关键词可以从项目的标题和技术内容中提取；其次，获取每篇文献的Altmetrics指标；最后，对Altmetrics指标进行综合分析，形成立项主题影响力结论。一般而言，相关文献的Altmetrics指标的数据越丰富，其在社会网络媒体上的受众面、兴趣度、关注度、共享度和认可度得分越高，说明拟评项目所涉研究主题的社会影响力越大。

 

参考文献

[1] 王茜，谭宗颖，钱力.科学研究社会影响力评价综述[J].图书情报工作,2015,59(14):143-148.

[2] Impact and the next Framework Programme for Research and Innovation (FP9) [EB/OL].[2018-09-03]. https://www.leru.org/files/Publications/ Impact-and-the-next-Framework-Programme-for-Research-and-Innovation.pdf.

[3] 泉州科技创新项目立项评审要求及各领域科技创新项目评审工作具体方案公示[EB/OL].[2018-11-09]. http://www.gov-fund.com/fujian/details/13182.

[4] Pulido CM, Redondo-Sama G, Sorde´- Martı´ T, Flecha R (2018) Social impact in social media: A new method to evaluate the social impact of research [J/OL]. PLoS ONE 13(8): e0203117 [2018-11-09]. https:// doi.org/10.1371/ journal.pone.0203117.

[5] Applying relevance-assessing methodologies to Horizon 2020 [EB/OL].[2018-09-04]. https://ec.europa.eu/research/evaluations/pdf/ archive/other_reports_studies_and_documents/applying_relevance-assessing_methodologies_to_horizon_2020_metho_expert_group.pdf.

[6] 赵晏强，William Nixon，李印结，等.Altmetric在科研机构成果产出影响力评价中的应用研究[J].情报杂志,2016,35(6):144-150,182.

[7] 王睿，胡文静，郭伟.常用Altmetrics工具比较[J].现代图书情报技术,2014(12):18-26.

[8] 吴胜男，赵蓉英.Altmetrics应用工具的发展现状及趋势之分析[J].情报科学,2018,36(6):3-8,39.

[9] 刘焕成，胡雨薇，李素巧.Altmetrics与传统科研评价方法对比研究[J].评价与管理,2017,15(3):9-12.

[10] Comparative scientometric assessment of the results of ERC funded projects [EB/OL].[2018-09-04]. https://erc.europa.eu/sites/default/files/document/file/ERC_Alternative_Metrics_report.pdf.

[11] Melero R. Altmetrics: a complement to conventional metrics [J]. Biochemia Medica.2015,25(2):152-160.

[12] Grischa Fraumann. Valuation of altmetrics in research funding [D/OL]. [2018-11-13].https://tampub.uta.fi/bitstream/handle/10024/101653/GRADU-1498478872.pdf?sequence=1.

[13] Lutz Bornmann, Robin Haunschild, Jonathan Adams. Do altmetrics assess societal impact in the same way as case studies? An empirical analysis testing the convergent validity of altmetrics based on data from the UK Research Excellence Framework (REF) [EB/OL].[2018-12-25]. https://www.researchgate.net/publication/326342851_Do_altmetrics_assess_societal_impact_in_the_same_way_as_case_studies_An_empirical_analysis_testing_the_convergent_validity_of_altmetrics_based_on_data_from_the_UK_Research_Excellence_Framework_REF.

[14] 石凤娟.基于社交网络的学术论文影响力评价研究[D].郑州大学,2018.

[15] 郭颖，肖仙桃．国内学者影响力评价Altmetrics指标研究[J/OL]．情报理论与实践.[2018-12-20].http://kns.cnki.net/kcms/detail/11.1762.g3.20181205.1306.008.html.

[16] Ursula Oberst. Measuring the Societal Impact of Research with Altmetrics: An Experiment [J/OL]. Journal for library culture, 2017 [2018-12-25].https://openaccess.leidenuniv.nl/handle/1887/57323.

[17] 程菲.科技论文影响力综合评价研究[D].中北大学,2016.

[18] 杨柳，陈贡.Altmetrics视角下科研机构影响力评价指标的相关性研究[J].图书情报工作,2015,59(15):106-114,132.

[19] The donut and Altmetric Attention Score [EB/OL].[2018-09-04]. https://www.altmetric.com/about-our-data/the-donut-and-score/.

[20] PlumX Metrics [EB/OL].[2018-11-09]. https://plumanalytics.com/learn/about-metrics/.

[21] 完整与替代补充计量[EB/OL].[2018-11-12]. http://ntur.lib.ntu.edu.tw/retrieve/215457/4.完整與替代補充計量.pdf

[22] 蔡明月.网络计量学指标Altmetrics与图书信息服务[EB/OL].[2018-09-04]. https://concert.stpi.narl.org.tw/uploads/schedule_file/speaker_file/file/15/Altmetrics_20151120.pdf.

[23] SETO FY2018 – Photovoltaics [EB/OL].[2018-11-03]. https://www.energy.gov/eere/solar/seto-fy2018-photovoltaics.