Research on performance evaluation method of major science and technology projects in coal science and technology enterprises
-
摘要:
科研项目绩效评价是科技计划管理的重要环节，是科技计划动态调整、完善和优化布局及管理等的重要依据。目前，我国分类科技项目绩效评估体系尚不成熟，存在过度追求量化指标、依赖外部评价指标等问题。科技项目绩效评估工作的研究和实践仍从宏观管理视角出发，其评价侧重与小样本条件下企业科技项目管理的绩效评价需求存在一定的差异，形成的绩效评价方法也并不能完全契合科技型企业的管理需要。如何构建满足重大科技项目绩效需求，兼顾提升企业创新能力的项目绩效评价体系，成为当前科研项目绩效评价亟需解决的关键问题。通过选取煤炭科技企业X研究院有限公司1996—2021年所承担的国家级、省部级以及集团自设科研项目作为研究样本，采用同行评议、层次分析和数据包络分析等研究方法，明确了重大科技项目绩效评价内容，形成了评价体系待选指标集，构建了适应煤炭科技企业重大项目管理的绩效评价指标体系，建立了煤炭科技型企业重大科技项目绩效评价判别模型。将上述研究成果在研究对象所承担的2016—2019年重大科技项目绩效评价中进行了实证及迭代分析应用，评价结果与项目绩效产出情况相吻合。
Abstract:The performance evaluation of scientific research projects is an important link in the management of scientific and technological plans, and an important basis for the dynamic adjustment, improvement and optimization of the layout and management of scientific and technological plans. At present, the performance evaluation system of my country's classified science and technology projects is still immature, and there are problems such as excessive pursuit of quantitative indicators and reliance on external evaluation indicators. The research and practice of performance evaluation of science and technology projects still start from the perspective of macro management. There is a certain difference between the evaluation emphasis and the performance evaluation needs of enterprise science and technology project management under the condition of small sample size, and the performance evaluation methods formed cannot fully meet the requirements of science and technology enterprises. management needs. How to build a project performance evaluation system that meets the performance needs of major scientific and technological projects and takes into account the improvement of enterprise innovation capabilities has become a key issue that needs to be solved urgently in the performance evaluation of current scientific research projects. By selecting the national-level, provincial-level and group-owned scientific research projects undertaken by X Research Institute Co., Ltd., a coal technology enterprise, from 1996 to 2021 as research samples, and using research methods such as peer review, hierarchical analysis and data envelopment analysis, it is clarified The content of performance evaluation of major scientific and technological projects has formed a set of candidate indicators for the evaluation system, constructed a performance evaluation index system suitable for the management of major projects of coal science and technology enterprises, and established a performance evaluation and discrimination model for major scientific and technological projects of coal science and technology enterprises. The above research results have been applied in empirical and iterative analysis in the performance evaluation of major scientific and technological projects undertaken by the research object from 2016 to 2019, and the evaluation results are consistent with the project performance output.
-
0. 引 言
科学技术是先进生产力的集中体现，进入21世纪，新科技革命迅猛发展，深刻地改变了世界经济社会的面貌。2006年，中华人民共和国国务院发布《国家中长期科学和技术发展规划纲要（2006—2020年）》[1]，把强化科技创新作为国家战略，把提高自主创新能力作为调整经济结构、转变增长方式、提高国家竞争力的中心环节。国家高度重视科技项目的绩效评估工作，伴随着纲要发布，财政部科技部关于改进和加强中央财政科技经费管理若干意见的通知[2]强调逐步建立科研项目经费的绩效评价制度，明确项目的绩效目标和绩效评价。2022年中央全面深化改革委员会会议通过《关于推进国有企业打造原创技术策源地的指导意见》[3]强调“要推动国有企业完善创新体系、增强创新能力、激发创新活力，促进产业链创新链深度融合，提升国有企业原创技术需求牵引、源头供给、资源配置、转化应用能力，打造原创技术策源地”。科学合理的科技项目绩效评价方法作为科技管理工作的核心，不仅为科技决策提供依据，而且也是优化科技资源配置、调整科技投入方向、确保财政资金使用效果、推动国家科技事业健康发展的重要手段和保障。
长期以来，我国科技项目绩效评价存在“重短期轻长远、重数量轻质量、重形式轻内容”现象，绩效评估作为科技计划动态调整、完善和优化布局及管理等的重要依据，是支撑科技项目管理由粗放向精细化转变的重要手段，如何构建准确反映成果创新水平、转化应用绩效和对经济社会发展的实际贡献相适应的项目绩效评价指标体系，成为当前我国科研项目绩效评价亟需解决的关键问题。
本文在系统梳理我国煤炭工业发展历程的基础上，选取典型煤炭科技型企业为研究对象，对研究对象承担的350项国家级及省部级项目和139项集团自设项目进行分析，对项目绩效评价的内涵和属性进行界定。针对应用基础类、技术装备类、产业化与示范工程类项目特征，形成评价体系待选指标集，构建绩效评价指标体系。提出绩效分区值和绩效评价相对值概念，有效解决小样本条件下评价失真问题。针对同行评议法评议专家选择问题，选取煤炭科技项目最常涉及的大专院校、科研院所、涉煤企业三个不同性质单位，开展成果分组评议调查，科学合理的遴选同行专家，保障绩效评审公平公正。基于构建的指标体系、评价模型和评价标准，选择评议专家，分别对2016—2019年验收的重大科技项目进行年度绩效实证评价研究，通过绩效分区值和绩效评价相对值的混合迭代综合判别，结果良好吻合项目绩效实际产出情况，极好的适应研究对象的项目绩效管理需求。该研究成果可为煤炭科技型企业重大科技项目绩效评价提供有效的技术依据，也可作为其它类似企业的科技项目管理提供决策参考。
1. 科技项目绩效评价主要研究方法
科技项目绩效评价是指对科技活动及其效果的评价和估计，作为科技管理的重要核心环节，它是检验科研效益和效率、提高科技成果的测评手段，是通过运用科学规范的方法、程序对科技活动及预期成果进行评价，以提高科技活动的效率，已经成为现代科技管理的必要手段和科学决策的重要依据。绩效评价按照评价方式可以分为定性评价、定量评价和综合评价，绩效评价方法包含同行评议法、层次分析法、德尔菲法和数据包络分析法等。
同行评议（Peer Review）是我国科学系统评价中使用最为普遍的方法[5-7]，最早由英国皇家学会刊物 （The Philosophical Transactions of the Royal Society）提出，并开启了同业人士审核文章是否发表的制度先例[4]。同行评议专家的学术背景使其更多是从项目的技术特性进行评价，很难对项目的经济社会效益做出合理判断，尽管在科技项目评价中引入财务专家，但专业背景和财务背景不可兼备，仍会对评价结果造成一定影响[8-12]。
层次分析法（Analytic Hierarchy Process，AHP）是将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法[17-18]。层次分析法也存在不足之处，由于评议结果与专家的主观判断相关，专家在对数量较多的评议指标进行重要程度两两比较时，指标间的重要程度判断存在困难，导致基于层级单排序和总排序的判断矩阵一致性检验不能通过[19-20] 。
数据包络分析法（Data Envelopment Analysis，DEA）[21] 是根据多项投入和多项产出指标，利用线性规划对同类型单位进行相对有效性评价的数量分析方法[13-16]。德尔菲法[22]是针对评议问题，通过多轮对专家匿名征求意见和反馈，实现专家意见的汇总和分析。因此，仅用一种评价方法并不能有效解决项目绩效评价问题，多种方法综合评价是科技项目绩效评价的发展趋势，但如何将各种方法合理结合以充分发挥各类不同的评价方法的优势则成为本文研究的难点。
当前，我国的科研评价工作正在向规范化制度化方向发展，但研究和实践仍多从政府项目管理角度出发，往往是从宏观管理的视角对科技项目整体绩效进行分析，其评价侧重与企业科技项目管理的绩效评价需求存在一定的差异，相应形成的绩效评价方法也并不能完全契合科技型企业的管理需要，如何构建除满足重大科技项目绩效自身特性要求，同时兼顾服务企业发展培育提升企业创新能力的项目绩效评价体系，也是目前科技项目绩效评价必须解决的关键科学问题。
2. 煤炭科技型企业重大科技项目立项特征分析
2.1 煤炭科技型企业科技项目立项情况分析
煤炭行业的发展离不开科技创新的驱动，煤炭科技创新支撑了我国煤炭行业的可持续发展，选取典型煤炭科技型企业中煤科工集团X研究院有限公司作为研究对象，结合我国煤炭行业不同发展阶段开展研究对象科技项目立项情况分析。
研究对象成立于1965年，主要从事煤矿自动化、安全监控系统、瓦斯通风防灭火研究等方面的技术研究、产品开发、制造、销售和科技经营服务，所承担的科技项目可分为国家级及省部级项目和集团自设项目。其中，国家级项目主要包括国家科技攻关计划、国家重点基础研究发展计划、国家科技支撑计划、国家科技重大专项以及国家自然科技基金等；省部级项目主要包括煤炭部科技项目、省市基金项目、以及省市科技攻关项目等。
2.1.1 研究对象承担国家级及省部级项目立项情况分析
1）1993—2001年研究对象承担国家级及省部级项目立项情况分析
此阶段是煤炭工业市场经济转型阶段，项目可查最早归档时间为1996年，研究对象所承担的科研项目以开采工艺、开采设备和安全设备研发为主，主要服务于煤炭企业的安全高效生产，立项数量变化趋势如图1所示。
![]()
图 1 1996-2001年研究对象承担国家级及省部级项目立项数量变化趋势Figure 1. Trends in the number of national and provincial projects undertaken by research objects from 1996 to 2001该阶段，特别是1997年全球经济危机爆发，叠加1994年增值税制改革导致的煤炭企业大面积亏损，此时期研究对象所承担的国家级及省部级项目立项数量自1996年起呈现明显的下降趋势，承担的国家级及省部级项目国拨经费总额和国拨平均经费均相对较低，无匹配自筹经费，科技研发水平相对有限。
2） 2002—2011年研究对象承担的国家级及省部级项目立项情况分析
此时期是煤炭行业市场化快速发展阶段，此阶段研究对象科研项目以提升煤炭安全高效开采和安全信息化为主，承接的国家级及省部级项目立项108项，立项数量和经费均呈现显著增长趋势，项目立项数量变化趋势如图2所示。
![]()
图 2 2002—2011年研究对象承担国家级及省部级项目立项数量变化趋势Figure 2. Trends in the number of national and provincial projects undertaken by research objects from 2002 to 2011研究对象承担国家级及省部级项目经费变化趋势如图3所示，从年度国拨经费总额来看，2004年及其以前年度国拨经费总额均低于
1000 万元，自2005年起项目国拨经费总额显著提升，峰值2011年达到51700 万元；从项目配套自筹经费来看，2005起始开始规模性配套项目自筹经费，项目经费变化趋势如图3所示。![]()
图 3 2002—2011年研究对象承担国家级及省部级项目经费变化趋势（万元）Figure 3. Change trend of national, provincial and ministerial project funds undertaken by research objects from 2002 to 2011 (10,000 yuan)3） 2012—2021年研究对象承担国家级及省部级项目立项情况分析
此时期是煤炭行业可持续发展阶段，研究对象的科研项目以提升煤炭安全信息化和智能化高效开采核心理论、成套技术及设备研究研发为主，项目计划类别以国家科技重大专项、国家重点研发计划、国家自然科学基金项目以及省市基金项目为主，承担国家级及省部级项目立项数量进一步增长，峰值2016年项目立项达46项，项目立项数量变化趋势如图4所示。
![]()
图 4 2012—2021年研究对象承担国家级及省部级项目立项数量变化趋势Figure 4. The changing trend of the number of national, provincial and ministerial projects undertaken by research objects from 2012 to 2021研究对象承担国家级及省部级项目经费变化趋势如图5所示，从国拨经费年度总额来看，10年间有3年项目国拨经费总额超过2000万元，峰值2016年达到
21902.36 万元。从项目配套自筹经费来看，首次出现并10年期间保持企业承担国家级及省部级项目年度自筹经费总额超过国拨经费总额，10年间有6年项目自筹经费总额与国拨经费总额比例超过2，企业自主研发能力极大提升，项目经费变化趋势如图5所示。![]()
图 5 2012—2021年企业承担国家级及省部级项目经费变化趋势（万元）Figure 5. Changes in funding for national, provincial and ministerial projects undertaken by enterprises from 2012 to 2021 (10,000 yuan)2.1.2 研究对象承担集团自设科技项目情况分析
1）2002—2011年研究对象承担集团自设科技项目立项情况分析
此时期是煤炭行业市场化快速发展阶段，研究对象承担集团自设科技项目自2003年开始，此阶段承担集团自设科技项目立项36项，立项数量呈现增长趋势，峰值2007年项目立项9项，立项数量变化趋势如图6所示。
![]()
图 6 2003—2011年研究对象承担集团自设科技项目立项数量变化趋势Figure 6. The change trend of the number of research objects undertaking the group's self-established science and technology projects from 2003 to 20112）2012—2021年研究对象承担集团自设科技项目情况分析
此时期煤炭行业可持续发展阶段，研究对象承担集团自设科技项目立项共计101项，承担国家级及省部级项目立项数量呈现增长趋势，峰值2019年项目立项19项，立项数量变化趋势如图7所示。
![]()
图 7 2012—2021年研究对象承担集团自设科技项目立项数量变化趋势Figure 7. Trends in the Number of Research Objects Undertaking the Group’s Self-established Science and Technology Projects from 2012 to 20213. 重大科技项目绩效评价内涵界定及指标体系构建
3.1 研究对象承担重大科技项目绩效评价内涵界定
3.1.1 研究对象承担重大科技项目绩效评价类别界定
科技项目强调自主创新，这一特性决定科技项目类型必然具有多样性，科技项目绩效评价的目的存在差异[26-31]。因此，对科技项目进行绩效评价就要求首先对其进行有效分类，项目类型分类是实施科技项目绩效评价的基础。2021年，国务院发布《关于完善科技成果评价机制的指导意见》[23]，明确将科技项目分为基础研究与应用基础研究类项目、技术和产品开发类项目和应用示范类项目（表1中简称指导意见），将研究对象承担的重大科技项目绩效评价类型划分为基础与应用基础类、技术与产品开发类和产业化与示范工程类，如表1。
表 1 研究对象所承担的重大科技项目绩效评价类型划分Table 1. Classification of performance evaluation types of major scientific and technological projects undertaken by the research object绩效评价类型划分 国家科技重大专项 国家科技支撑计划 国家重点研发计划 集团重大科技项目 指导意见 基础与应用基础类 应用基础研究 关键技术突破 创新前沿 应用基础类 基础研究类项 技术与产品开发类 应用开发 技术集成应用 重大共性关键技术 技术装备类 技术和产品开发类项目 产业化与示范工程类 产业化开发 示范工程 就业化示范 应用示范研究 产业化与示范工程类 应用示范类项目 其他 其他 3.1.2 研究对象所承担的重大科技项目绩效评价内容和界线界定
科技项目绩效评价是指对科技活动及其效果的评价和估计。国务院2018年发布《关于抓好赋予科研机构和人员更大自主权有关文件贯彻落实的通知》[24]，明确要求科研项目实施过程中的管理主要由项目承担单位负责。为突出产出导向效益原则，不将科研过程管理纳入绩效评价内容中，重大科技项目绩效评价内容界定为承担项目的成果产出评价。
科技项目成果形成和转化过程需要一个孕育阶段，其成果必须通过一段时间运行以检验其经济价值和社会效益。科技项目长期评估阶段其延后时间越长，经济和社会效益呈现的就越为准确，但不利于项目的管理优化和调整[32]。为确定企业承担重大科技项目评价起始时间界限，选取主持国家科技重大专项、国家重点研发计划等专家40人进行问卷调查，评议专家单位和人员比例为大专院校、科研院所和涉煤企业3∶3∶2，调查结果见表2。
表 2 研究对象所承担重大科技项目绩效评价起始时间界定Table 2. Definition of the starting time of performance evaluation of major scientific and technological projects undertaken by the research object项目 评价周期 数量 百分比 评价起始时间 项目规划 0 0.0% 项目申请 8 20.0% 项目立项 32 80.0% 项目结题 0 0 评价截止时间 验收满1年 2 5.0% 验收满2年 10 25.0% 验收满3年 28 70.0% 验收满5年 0 0 调研结果中70%的专家建议项目绩效评价截止时间为项目验收满3年。2018年国务院发布《关于优化科研管理提升科研绩效若干措施的通知》[25]也明确指出目标导向类项目可在结束后2-3年内进行绩效跟踪评价，本文确定研究对象承担重大科技项目绩效评价时间为项目验收满3年。
3.2 煤炭企业重大科技项目绩效评价指标体系构建
3.2.1 基础与应用基础类评价指标体系构建
指标合理性分析与筛选是确定绩效评价指标体系的必要过程。将评价指标归类划分如表3。基础与应用基础类重大科技项目绩效评价指标体系下设：成果创新性、经济社会效益、企业科技影响和企业可持续发展[33]。其中，成果创新性和经济社会效益两个一级指标用以响应基础研究与应用基础研究类项目的重大原创性和科学价值要求，企业科技影响和企业可持续发展用来响应服务企业发展，培育企业核心创新能力的要求。
表 3 基础与应用基础类绩效评价指标体系Table 3. Performance evaluation index system of basic and applied basic projects一级指标 二级指标 指标要素 成果创新性 成果创新性 新理论、新原理情况 经济社会效益 社会效益 经济效益 企业科技影响 纵向学术水平影响 论文代表作 横向科技水平影响 论文（其它） 授权发明专利 软著 技术标准 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队建设 高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设 3.2.2 技术与产品开发类评价指标体系构建
技术和产品开发类项目重点评价新技术、新方法、新产品、关键部件等的创新性、成熟度、稳定性、可靠性，突出成果转化应用情况及其在解决经济社会发展关键问题、支撑引领行业产业高质量发展中发挥的作用，将评价指标归类划分见表4。
表 4 技术和产品开发类绩效评价指标体系Table 4. Performance evaluation index system of technology and product development projects一级指标 二级指标 指标要素 技术先进性 技术先进性 新技术、新工艺、新方法等
情况经济社会效益 经济效益 社会效益 企业技术影响 纵向技术行业影响 代表性专利 横向科技行业影响 专利（其它） 论文 软著 技术标准 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队建设 高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设 技术与产品开发类项目绩效评价指标体系下设：技术先进性、经济社会效益、企业科技影响和企业可持续发展[34]。其中，技术先进性和经济社会生态效益两个一级指标用以响应技术与产品开发类项目关键技术突破要求，企业科技影响和企业可持续发展用来响应服务企业发展，培育企业核心创新能力的要求。
3.2.3 产业化与示范工程类评价指标体系构建
应用示范类项目绩效评价以规模化应用、行业内推广为导向，重点评价集成性、先进性、经济适用性、辐射带动作用及产生的经济社会效益，将评价指标归类划分见表5[35]。
表 5 产业化与示范工程类绩效评价指标体系Table 5. Performance evaluation index system of industrialized and demonstrative projects一级指标 二级指标 指标要素 产业示范引领 产业示范引领 新产品、新装置、示范
推广情况经济社会效益 经济效益 社会效益 产业示范影响 纵向产业示范影响 代表性技术标准 横向产业示范影响 技术标准（其它） 专利 论文 软著 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队
建设高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设 产业化与示范工程类项目绩效评价指标体系下设：产业示范引领、经济社会效益、企业行业影响力和企业可持续发展。其中，产业示范引领和经济社会效益两个一级指标用以响应产业化与示范工程类项目研究技术集成和产业示范要求，企业行业影响力和企业可持续发展用来响应服务企业发展，培育企业核心创新能力的要求。
4. 煤炭科技型企业重大科技项目绩效评价判别模型
评价指标权重的合理性是直接决定绩效评价结果准确的关键，克服单一评价方法在权重确定方面的不足，将融合AHP法和熵权法，对指标权重进行计算[36-37]。提出了绩效分区值和绩效评价相对值概念，给出绩效评价基准值调整原则和计算方法，构建了适用企业需求的评价模型，有效解决小数量样本条件下评价失真问题。
4.1 评价指标体系指标权重赋值方法
4.1.1 AHP指标权重计算
将同层次评价指标构成行向量$ {\boldsymbol{U}} = \left\{ {{u_1},{u_2}, \cdots ,{u_n}} \right\} $，对任意$ {u_i} $、$ {u_j} $重要程度进行比较，用$ {r_{ij}} $表示$ {u_i} $对$ {u_j} $“重要程度”的判断值，则构成判断矩阵$ {\boldsymbol{M}} = {\left( {{r_{ij}}} \right)_{n \times n}} $。
$$\begin{split} & {\boldsymbol{M}} = \left| {\begin{array}{*{20}{c}} {\dfrac{{{u_1}}}{{{u_1}}}}&{\dfrac{{{u_1}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_1}}}{{{u_n}}}} \\ {\dfrac{{{u_2}}}{{{u_1}}}}&{\dfrac{{{u_2}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_2}}}{{{u_n}}}} \\ \vdots & \vdots & \ddots & \vdots \\ {\dfrac{{{u_n}}}{{{u_1}}}}&{\dfrac{{{u_n}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_n}}}{{{u_n}}}} \end{array}} \right| = \\ & \quad\left| {\begin{array}{*{20}{c}} {{r_{11}}}&{{r_{12}}}& \cdots &{{r_{1n}}} \\ {{r_{21}}}&{{r_{22}}}& \cdots &{{r_{2n}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{r_{n1}}}&{{r_{n2}}}& \cdots &{{r_{nn}}} \end{array}} \right| = {\left( {{r_{ij}}} \right)_{n \times n}} \end{split}$$ 矩阵$ M $称为判断矩阵，根据因素构造判断矩阵方法，判断矩阵$ M $为$ n \times n $阶的正互反矩阵$ {\boldsymbol{M}} = {\left( {{r_{ij}}} \right)_{n*n}} $，$ {r_{ij}} \succ 0 $，$ {u_{ij}} \times {u_{ji}} = 1 $$ \left( {i,j = 1,2, \cdots ,n} \right) $。
判断矩阵$ {\boldsymbol{M}} $构造完成后，可求其最大（绝对值）特征值$ {\lambda _{\max }} $。设$ {\boldsymbol{U}} = {\left( {{u_1},{u_2}, \cdots ,{u_n}} \right)^{\rm{T}}} $，则
$$ {\boldsymbol{U}}_{\rm{max}} = \left| {\begin{array}{*{20}{c}} {\dfrac{{{u_1}}}{{{u_1}}}}&{\dfrac{{{u_1}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_1}}}{{{u_n}}}} \\ {\dfrac{{{u_2}}}{{{u_1}}}}&{\dfrac{{{u_2}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_2}}}{{{u_n}}}} \\ \vdots & \vdots & \ddots & \vdots \\ {\dfrac{{{u_n}}}{{{u_1}}}}&{\dfrac{{{u_n}}}{{{u_2}}}}& \cdots &{\dfrac{{{u_n}}}{{{u_n}}}} \end{array}} \right|\left| {\begin{array}{*{20}{c}} {{u_1}} \\ {{u_2}} \\ \vdots \\ {{u_n}} \end{array}} \right| = \left| {\begin{array}{*{20}{c}} {\lambda {u_1}} \\ {\lambda {u_2}} \\ \vdots \\ {\lambda {u_n}} \end{array}} \right| = \lambda M $$ 评价专家针对指标进行的重要程度比较，形成的判断矩阵$ {\boldsymbol{M}} = {\left( {{r_{ij}}} \right)_{n \times n}} $具有一致性特点。当对多个因素进行比较判断时，受专家主观判断影响，所形成的判断矩阵很难满足一致性标准，由于判断矩阵为正反矩阵，只要其误差在一定范围内，对判断矩阵进行调整后可得到较为满意的权重结果，其最大特征$ {\lambda _{\max }} $对应的特征向量$ {\omega ^*} $归一化后可作为指标权重值。
4.1.2 熵权法熵值计算
设$ m $个专家参与赋值评议，$ n $为评价指标，形成评价指标矩阵如下：
$$ {\boldsymbol{X}} = \left[ {\begin{array}{*{20}{c}} {{x_{11}}}&{{x_{12}}}& \cdots &{{x_{1n}}} \\ {{x_{21}}}&{{x_{22}}}& \cdots &{{x_{2n}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{x_{m1}}}&{{x_{m2}}}& \cdots &{{x_{mn}}} \end{array}} \right] $$ $ {\boldsymbol{X}} = {({x_{ij}})_{mn}} $矩阵中，由于各指标单位存在存在差异，指标数据之间无法直接相对比较，因此必须对指标数据进行变换：
$$ x'_{ij} = \left\{ \begin{array}{*{20}{c}} {\dfrac{{{x_{ij}} - \min ({x_j})}}{{\max ({x_j}) - \min ({x_j})}}\begin{array}{*{20}{c}} {}&{{x_{ij}} > 0} \end{array}} \\ {0\begin{array}{*{20}{c}} {}&\quad\quad\quad\quad\quad\quad\quad{{x_{ij}} = 0} \end{array}} \\ {\dfrac{{\max ({x_j}) - {x_{ij}}}}{{\max ({x_j}) - \min ({x_j})}}\begin{array}{*{20}{c}} {}&{{x_{ij}} < 0} \end{array}} \end{array} \right.$$ 计算第$ j $项评价指标第$ i $个专家赋值指标权重：
$$ {p_{ij}} = \frac{{{x_{ij}}}}{{\displaystyle\sum\limits_{i = 1}^n {{x_{ij}}} }},i = 1,2, \cdots m,j = 1,2, \cdots, n $$ 计算第$ j $项指标的熵值：
$$ {e_j} = - k\sum\limits_{i = 1}^m {{p_{ij}}\ln {p_{ij}},k = \frac{1}{{\ln m}},j = 1,2, \cdots, n} $$ 计算各评价指标的熵值：
$$ {\alpha _j} = \frac{{(1 - {e_j})}}{{n - \displaystyle\sum\limits_{j = 1}^n {{e_j},j = 1,2, \cdots, n} }} $$ 4.1.3 AHP-熵权法指标权重计算
二级评价指标数量较少，评价专家可给予准确的权重赋值，而三级指标数量较多，主要为现实实际要素，可能出现偏差。因此在融合计算时，二级指标采用AHP法进行计算，三级指标采用融合赋值[38-40]。
设绩效评价指标体系中共有$ m = 4 $个二级评价指标，$ n = 19 $个三级评价指标，假设每个上层评价指标包含$ {n_1},{n_2}, \cdots, {n_m} $个三级评价指标，有$ {n_1} + {n_2} + \cdots + {n_m} = n = 19 $，依据AHP法判断矩阵获取二级评价指标权重赋值$ B = \{ {\beta _1},{\beta _2}, \cdots, {\beta _m}\} $，各三级评价指标的权重$ \Phi = \{ {\phi _1},{\phi _2}, \cdots, {\phi _n}\} $，采用熵权法获得三级评价指标的权重赋值$ A = \{ {\alpha _1},{\alpha _2}, \cdots, {\alpha _n}\} $，融合三级评价指标权重$ \Phi = \{ {\phi _1},{\phi _2}, \cdots ,{\phi _n}\} $和$ A = \{ {\alpha _1},{\alpha _2}, \cdots, {\alpha _n}\} $，求得融合权重值$ T = \{ {\tau _1},{\tau _2}, \cdots, {\tau _n}\} $，其中
$$ {\tau _i} = \frac{{{\phi _i}{\alpha _i}}}{{\left(\displaystyle\sum\limits_{i = 1}^n {{\phi _i}{\alpha _i}} \right)}} $$ 根据二级评价指标和三级评价指标的对应关系，重新排列三级评价指标权重$ T = \{ {\tau _{11}},{\tau _{12}}, \cdots {\tau _{1n}},{\tau _{21}}, {\tau _{22}}, \cdots {\tau _{2n}}, \cdots ,{\tau _{m1}},{\tau _{m2}}, \cdots {\tau _{mn}}\} $，再对其综合权重归一化得$ \omega = \{ {\omega _{11}},{\omega _{12}}, \cdots ,{\omega _{1n}},{\omega _{21}},{\omega _{22}}, \cdots ,{\omega _{2n}}, \cdots ,{\omega _{m1}},{\omega _{m2}} \cdots $, ${\omega _{mn}}\} $，其中 $\omega = \dfrac{{{\tau _{ij}}}}{{\sum\limits_{j = 1}^k {{\tau _{ij}}} }},k = {n_1},{n_2}, \cdots, {n_m},i = 1,2, \cdots ,m$
将二级评价指标权重$ B $与求得的综合权重$ \varOmega $对应相乘，获得权重$ {\varOmega '} = \{ \omega _{11}',\omega _{12}', \cdots ,\omega _{1n}',\omega _{21}',\omega _{22}', \cdots , \omega _{2n}', \cdots \omega _{m1}',\omega _{m2}', \cdots ,\omega _{mn}'\} $，其中$ \omega _{ij}' = {\beta _i}{\omega _{ij}}, i = 1,2, \cdots , $$ m,j = 1,2, \cdots , k,k \in \{ {n_1},{n_2}, \cdots ,{n_m}\} $
再将$ {\varOmega '} $重新表示为$ {\varOmega '} = \{ \omega _1',\omega _2', \cdots ,\omega _n'\} $，对$ {\varOmega '} $归一化得到$ \varOmega = \{ {\omega _1},{\omega _2}, \cdots ,{\omega _n}\} $
$$ {\omega _i} = \frac{{\omega _i'}}{{\displaystyle\sum\limits_{i = 1}^n {\omega _i'} }},i = 1,2, \cdots ,n $$ 将40名专家的反馈意见形成判断矩阵，指标最终权重计算如表6-表8所示。
表 6 基础与应用基础类指标权重系数Table 6. Indicator weights of basic and applied basic projects一级指标 权重系数 二级指标 权重系数 成果创新性 0.604 经济社会效益 0.192 社会效益 0.516 经济效益 0.484 企业科技影响 0.098 纵向学术水平影响 0.245 横向科技水平影响 0.755 企业可持续发展 0.106 持续性项目研究 0.205 人才凝聚与团队建设 0.634 支撑平台建设 0.161 表 7 技术和产品开发类指标权重系数Table 7. Indicator weights of technology and product development projects一级指标 权重系数 二级指标 权重系数 成果创新性 0.414 经济社会效益 0.402 社会效益 0.412 经济效益 0.588 企业技术影响 0.081 纵向技术行业影响 0.208 横向技术行业影响 0.792 企业可持续发展 0.103 持续性项目研究 0.204 人才凝聚与团队建设 0.684 支撑平台建设 0.112 表 8 产业化与示范工程类指标权重系数Table 8. Indicator weights of industrialized and demonstrative projects一级指标 权重系数 二级指标 权重系数 成果示范引领 0.472 经济社会效益 0.327 社会效益 0.442 经济效益 0.558 产业示范影响 0.096 纵向产业示范影响 0.221 横向产业示范影响 0.779 企业可持续发展 0.105 持续性项目研究 0.184 人才凝聚与团队建设 0.725 支撑平台建设 0.091 4.1.4 绩效评价值分级应用
绩效评价值分级应用时须面对两个难题，一是不同时期的科技项目绩效产出差异较大，若采用过往项目的绩效产出确定当前项目的评定等级标准，会使项目绩效评价分级出现误差。二是在小数量样本条件下，保证评价结果的分级评判准确性。为解决上述问题，提出当年绩效分区值、三年绩效分区值、绩效评价基准值绩效评价相对值和绩效评价整体呈现值的概念。
① 当年绩效分区值：定义为完成项目当年绩效评价值计算后，将当年被评项目绩效评价值从高至低进行排序，计算出被评项目名次与当年被评项目总数量的比值。
② 3年绩效分区值：定义为完成项目当年绩效评价值计算后，将项目当年绩效评价值放入三年项目绩效评价值中从高至低进行排序，计算出被评项目名次与3年被评项目总数量的比值。
③ 绩效评价基准值：定义为3年绩效评价前10%项目的绩效评价值之和的均值，当3年绩效评价前10%项目数量小于等于1时，取项目绩效评价最高值。
④ 绩效评价相对值：为当年被评项目绩效评价值与绩效评价基准值的比值。
⑤ 绩效评价整体呈现值：为当年某一区间被评项目当年绩效分区值之和与当年某一区间被评项目3年绩效分区值之和的比值。
评价指标应用具体流程如图8所示。
完成单个项目绩效评价后，结合研究对象的项目绩效完成实际，采用分段划定和排序划定方法确定项目绩效评价等级，见表9。
表 9 绩效评分区值/相对值价综合评判分级Table 9. Comprehensive evaluation scale of performance evaluation partition/relative values判别标准 分区值 ≤10% 10%-30%（含） 30%-80%（含） >80% 评定等级 相对值0.9（含）～1 A B 相对值00.8（含）～0.9 B B C 相对值00.6（含）～0.8 C C D 相对值00.6以下 D D 5. 煤炭企业重大科技项目绩效评价实证及迭代分析
根据研究对象所承担的重大科技项目绩效评价起始时间界定，将项目绩效评价时间跨度定为2016-2019年（验收满3年）。
5.1 研究对象所承担的重大科技项目绩效评价实证分析
1）基于年度数据的企业重大科技项目绩效评价
2016年研究对象完成验收的技术和产品开发类重大科技项目共计6项。项目评价组选择专家8人，专家均具有主持或主研国家科技重大专项项目（课题）经历，大专院校、科研院所和涉煤企业人数比例为3∶4∶1。专家依据评议要点、项目绩效产出基础数据、项目经费投入系数和支撑材料完成绩效评价指标量化，取全部评价指标量化值均值，计算项目绩效评价值，并对研究对象2016年验收重大科技项目绩效评价结果进行分级判定，项目绩效评价如表10。
表 10 2016年验收重大科技项目绩效评价Table 10. Performance evaluation of major science and technology projects accepted in 2016项目编号 绩效评价值 排序 当年分区值 绩效评价相对值 分级 分级评定 2016-1 7.344 2 33.3% 0.90 A 2016-2 7.124 4 66.7% 0.88 B C 2016-3 8.116 1 16.7% 1.00 A B 2016-4 6.846 5 83.3% 0.84 B 2016-5 6.625 6 100% 0.82 B 2016-6 7.291 3 50% 0.90 B C 从2016年验收重大科技项目绩效评价值来看，被评项目数量有限，绩效相对评价值差值范围和分区值差值范围分布差异巨大，采用相对值和分区值分别进行评价，50%的被评项目评价结果差异两个等级，此时可见无论是采用分段划定等级等或排序划定等级法对项目绩效进行分级其均存在较大问题，此时并不宜直接评定项目绩效等级。
2）基于2年混合数据的研究对象重大科技项目绩效评价
2017年研究对象完成验收的技术和产品开发类重大科技项目共计18项，取全部专家评价指标量化值均值，计算项目绩效评价值为6.39。再将2016年和2017年被评项目绩效评价值进行绩效分区值和绩效评价相对值计算，绩效评价值均值为
8.5455 。3）基于3年混合数据的研究对象重大科技项目绩效评价
2018年研究对象完成验收的技术和产品开发类重大科技项目共计16项，取全部专家评价指标量化值均值，计算项目绩效评价值为9.455，再将2016年、2017年和2018年被评项目绩效评价值进行绩效分区值和绩效评价相对值计算，绩效评价值均值为
8.77725 。根据2016年度数据和3年混合数据分区值和绩效评价相对值，对项目绩效进行分级评价，如表11所示。
表 11 年度数据和3年混合数据绩效评价分级对比Table 11. Comparison of performance evaluation gradings between annual data and 3-year mixed data项目编号 当年分区值 当年相对值 分级评定 3年分区值 3年相对值 分级评定 2016-1 33.3% 0.90 C 45.00% 0.86 C 2016-2 66.7% 0.88 C 60.00% 0.83 C 2016-3 16.7% 1.00 B 17.50% 0.95 B 2016-4 83.3% 0.84 D 72.50% 0.79 C 2016-5 100% 0.82 D 77.50% 0.78 C 2016-6 50% 0.90 C 50.00% 0.85 C 从项目绩效评价分级结果来看，基于项目3年混合数据，评判标准依旧采用分区值和评价相对值联合，2016年验收重大科技项目实际评价结果可以较好吻合项目实际的绩效产出。
5.2 研究对象所承担的科技重大项目绩效迭代评价分析
2019年研究对象完成验收的技术和产品开发类重大科技项目共计7项，取全部专家评价指标量化值均值，计算项目绩效评价值为9.11。为防止某一阶段研究对象所承担的项目绩效总体完成不好的情况，应将非3年内的前期绩效完成度较好的项目纳入项目绩效评价基准值构成中。在本实证案例中，应取2016—2019年被评项目绩效评价值前4项的均值作为绩效评价基准值，绩效评价基准值为
8.93775 。依据3年混合数据对2019年项目绩效分区值和绩效评价相对值进行计算，见表12。表 12 2019年验收重大科技项目绩效分级评定Table 12. Performance grading evaluation of major science and technology projects accepted in 2019年度 项目编号 绩效评价值 3年分区值 3年相对值 分级评定 2019 2019-1 9.11 4.88% 1.00 A 2019-2 7.159 56.10% 0.80 C 2019-3 6.217 95.12% 0.70 D 2019-4 7.196 53.66% 0.81 C 2019-5 8.547 12.20% 0.96 B 2019-6 6.846 73.17% 0.77 C 2019-7 7.952 24.39% 0.89 B 为了评判2019年项目绩效整体完成情况，计算项目绩效评价整体呈现值，绩效评价整体呈现值根据其定义为当年某一区间被评项目当年绩效分区值之和与当年某一区间被评项目3年绩效分区值之和的比值：
$$ \begin{split} & 2019年绩效评价整体呈现值=\\ & \qquad\qquad\qquad\qquad\frac{{\sum {14.29\% + 28.57\% + 42.86\% + 57.14\% + 71.43\% + 85.71\% + 100.00\% } }}{\sum {4.88\% + 56.10\% + 95.12\% + 53.66\% + {12.20\% } + 73.17\% + {24.39\% } }} = \frac{4}{{3.1952}} = 1.252 \end{split}$$ 因此，2019年项目绩效评价结果较前2年质量有所提升。
6. 结 论
1）通过对于研究对象在1996—2021年所承担的重大科技项目立项特征分析，得出以下结论：研究对象承担的重大科技项目立项数量和经费额度与我国煤炭工业发展情况紧密相关，其中技术与产品开发类占绝对主体，基础与应用基础类和产业化与示范工程类项目随时间推移比例类持续上升。研究对象所承担的集团自设科技项目立项数量和经费额度呈增长趋势。
2）根据研究对象所承担的重大科技项目实际情况，将重大科技项目绩效评价类型划分为基础与应用基础类、技术与产品开发类和产业化与示范工程类。从契合科技型企业的创新发展和科技项目管理需求的角度出发，明确绩效评价内容，同时将绩效评价起始时间界定为项目验收满3年。从企业管理角度出发，建立了适宜企业管理、服务和发展当的绩效评价指标体系。
3）为满足研究对象的重大科技项目绩效评价需求，从企业管理角度出发，提出了绩效分区值、绩效评价基准值、绩效评价相对值和绩效评价整体呈现值概念。根据基础与应用基础类、技术与产品开发类和产业化与示范工程类重大科技项目自身特性与其差异性，融合AHP法和熵权法，确定评价指标权重值，构建了适用企业需求的评价模型，有效解决小数量样本条件下评价失真问题。
4）以研究对象2016—2019年验收的重大科技项目绩效成果数据为例，利用构建的绩效评价指标体系，选择评议专家，基于项目经费投入系数采用同行评议分别对项目进行绩效评价实证及迭代分析。研究表明，以3年为一个完整绩效评价周期，通过绩效分区值和绩效评价相对值的混合迭代综合判别，分级判定结果可以良好吻合项目绩效实际产出情况，极好的适应企业项目绩效的管理需求。
-
![]()
图 1 1996-2001年研究对象承担国家级及省部级项目立项数量变化趋势
Figure 1. Trends in the number of national and provincial projects undertaken by research objects from 1996 to 2001
![]()
图 2 2002—2011年研究对象承担国家级及省部级项目立项数量变化趋势
Figure 2. Trends in the number of national and provincial projects undertaken by research objects from 2002 to 2011
![]()
图 3 2002—2011年研究对象承担国家级及省部级项目经费变化趋势（万元）
Figure 3. Change trend of national, provincial and ministerial project funds undertaken by research objects from 2002 to 2011 (10,000 yuan)
![]()
图 4 2012—2021年研究对象承担国家级及省部级项目立项数量变化趋势
Figure 4. The changing trend of the number of national, provincial and ministerial projects undertaken by research objects from 2012 to 2021
![]()
图 5 2012—2021年企业承担国家级及省部级项目经费变化趋势（万元）
Figure 5. Changes in funding for national, provincial and ministerial projects undertaken by enterprises from 2012 to 2021 (10,000 yuan)
![]()
图 6 2003—2011年研究对象承担集团自设科技项目立项数量变化趋势
Figure 6. The change trend of the number of research objects undertaking the group's self-established science and technology projects from 2003 to 2011
![]()
图 7 2012—2021年研究对象承担集团自设科技项目立项数量变化趋势
Figure 7. Trends in the Number of Research Objects Undertaking the Group’s Self-established Science and Technology Projects from 2012 to 2021
表 1 研究对象所承担的重大科技项目绩效评价类型划分
Table 1 Classification of performance evaluation types of major scientific and technological projects undertaken by the research object
绩效评价类型划分 国家科技重大专项 国家科技支撑计划 国家重点研发计划 集团重大科技项目 指导意见 基础与应用基础类 应用基础研究 关键技术突破 创新前沿 应用基础类 基础研究类项 技术与产品开发类 应用开发 技术集成应用 重大共性关键技术 技术装备类 技术和产品开发类项目 产业化与示范工程类 产业化开发 示范工程 就业化示范 应用示范研究 产业化与示范工程类 应用示范类项目 其他 其他 
下载: 导出CSV
表 2 研究对象所承担重大科技项目绩效评价起始时间界定
Table 2 Definition of the starting time of performance evaluation of major scientific and technological projects undertaken by the research object
项目 评价周期 数量 百分比 评价起始时间 项目规划 0 0.0% 项目申请 8 20.0% 项目立项 32 80.0% 项目结题 0 0 评价截止时间 验收满1年 2 5.0% 验收满2年 10 25.0% 验收满3年 28 70.0% 验收满5年 0 0
下载: 导出CSV
表 3 基础与应用基础类绩效评价指标体系
Table 3 Performance evaluation index system of basic and applied basic projects
一级指标 二级指标 指标要素 成果创新性 成果创新性 新理论、新原理情况 经济社会效益 社会效益 经济效益 企业科技影响 纵向学术水平影响 论文代表作 横向科技水平影响 论文（其它） 授权发明专利 软著 技术标准 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队建设 高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设
下载: 导出CSV
表 4 技术和产品开发类绩效评价指标体系
Table 4 Performance evaluation index system of technology and product development projects
一级指标 二级指标 指标要素 技术先进性 技术先进性 新技术、新工艺、新方法等
情况经济社会效益 经济效益 社会效益 企业技术影响 纵向技术行业影响 代表性专利 横向科技行业影响 专利（其它） 论文 软著 技术标准 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队建设 高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设
下载: 导出CSV
表 5 产业化与示范工程类绩效评价指标体系
Table 5 Performance evaluation index system of industrialized and demonstrative projects
一级指标 二级指标 指标要素 产业示范引领 产业示范引领 新产品、新装置、示范
推广情况经济社会效益 经济效益 社会效益 产业示范影响 纵向产业示范影响 代表性技术标准 横向产业示范影响 技术标准（其它） 专利 论文 软著 科技奖励 著作 企业可持续发展 持续性项目研究 人才凝聚与团队
建设高水平领军人才 博士后/博士/硕士 职称晋升 支撑平台建设
下载: 导出CSV
表 6 基础与应用基础类指标权重系数
Table 6 Indicator weights of basic and applied basic projects
一级指标 权重系数 二级指标 权重系数 成果创新性 0.604 经济社会效益 0.192 社会效益 0.516 经济效益 0.484 企业科技影响 0.098 纵向学术水平影响 0.245 横向科技水平影响 0.755 企业可持续发展 0.106 持续性项目研究 0.205 人才凝聚与团队建设 0.634 支撑平台建设 0.161
下载: 导出CSV
表 7 技术和产品开发类指标权重系数
Table 7 Indicator weights of technology and product development projects
一级指标 权重系数 二级指标 权重系数 成果创新性 0.414 经济社会效益 0.402 社会效益 0.412 经济效益 0.588 企业技术影响 0.081 纵向技术行业影响 0.208 横向技术行业影响 0.792 企业可持续发展 0.103 持续性项目研究 0.204 人才凝聚与团队建设 0.684 支撑平台建设 0.112
下载: 导出CSV
表 8 产业化与示范工程类指标权重系数
Table 8 Indicator weights of industrialized and demonstrative projects
一级指标 权重系数 二级指标 权重系数 成果示范引领 0.472 经济社会效益 0.327 社会效益 0.442 经济效益 0.558 产业示范影响 0.096 纵向产业示范影响 0.221 横向产业示范影响 0.779 企业可持续发展 0.105 持续性项目研究 0.184 人才凝聚与团队建设 0.725 支撑平台建设 0.091
下载: 导出CSV
表 9 绩效评分区值/相对值价综合评判分级
Table 9 Comprehensive evaluation scale of performance evaluation partition/relative values
判别标准 分区值 ≤10% 10%-30%（含） 30%-80%（含） >80% 评定等级 相对值0.9（含）～1 A B 相对值00.8（含）～0.9 B B C 相对值00.6（含）～0.8 C C D 相对值00.6以下 D D
下载: 导出CSV
表 10 2016年验收重大科技项目绩效评价
Table 10 Performance evaluation of major science and technology projects accepted in 2016
项目编号 绩效评价值 排序 当年分区值 绩效评价相对值 分级 分级评定 2016-1 7.344 2 33.3% 0.90 A 2016-2 7.124 4 66.7% 0.88 B C 2016-3 8.116 1 16.7% 1.00 A B 2016-4 6.846 5 83.3% 0.84 B 2016-5 6.625 6 100% 0.82 B 2016-6 7.291 3 50% 0.90 B C
下载: 导出CSV
表 11 年度数据和3年混合数据绩效评价分级对比
Table 11 Comparison of performance evaluation gradings between annual data and 3-year mixed data
项目编号 当年分区值 当年相对值 分级评定 3年分区值 3年相对值 分级评定 2016-1 33.3% 0.90 C 45.00% 0.86 C 2016-2 66.7% 0.88 C 60.00% 0.83 C 2016-3 16.7% 1.00 B 17.50% 0.95 B 2016-4 83.3% 0.84 D 72.50% 0.79 C 2016-5 100% 0.82 D 77.50% 0.78 C 2016-6 50% 0.90 C 50.00% 0.85 C
下载: 导出CSV
表 12 2019年验收重大科技项目绩效分级评定
Table 12 Performance grading evaluation of major science and technology projects accepted in 2019
年度 项目编号 绩效评价值 3年分区值 3年相对值 分级评定 2019 2019-1 9.11 4.88% 1.00 A 2019-2 7.159 56.10% 0.80 C 2019-3 6.217 95.12% 0.70 D 2019-4 7.196 53.66% 0.81 C 2019-5 8.547 12.20% 0.96 B 2019-6 6.846 73.17% 0.77 C 2019-7 7.952 24.39% 0.89 B
下载: 导出CSV
-
[1] 中华人民共和国国务院. 国家中长期科学和技术发展规划纲要(2006-2020年). (2006年第9号). http://www.gov.cn/gongbao/content/2006/content_240244.htm. [2] 财政部科技部. 关于改进和加强中央财政科技经费管理若干意见的通知(国办发〔2006〕56号). http://www.gov.cn/xxgk/pub/govpublic/mrlm/200803/t20080328_32524.html. [3] 中央全面深化改革委员会. 关于推进国有企业打造原创技术策源地的指导意见. (2021-09-22). http://www.gov.cn/xinwen/2022-02/28/content_5676110.htm. [4] 郭碧坚,韩 宇. 同行评议制-方法、理论、功能、指标[J]. 科学学研究,1994(3):63−73, 2. [5] 赵黎明,徐孝涵,张卫东. 对同行评议专家的反评估分析[J]. 中国科学基金,1995,9(1):62−66. doi: 10.16262/j.cnki.1000-8217.1995.01.021 [6] 何 杰,王成红,刘 克. 对同行评议专家评议工作进行评估的一些思考[J]. 中国科学基金,2004,18(1):47−50. doi: 10.3969/j.issn.1000-8217.2004.01.016 [7] Abramo G,D Angelo C A,Costa F D. National research assessment exercises: a comparison of peer review and bibliometrics rankings[J]. entometrics,2011,89(3):929−941.
[8] Research Assessment Exercise . Research Assessment Exercise-2008[EB/OL]. (2008-12-18)[2021-12- 30]. https://www.qmul.ac.uk/docs/smd_rae.pdf.
[9] Performance-Based Research Fund . Performance-Based Research Fund-ANNUALREPORT 2008[EB/OL]. (2008-03-07)[2021-12-30]. https://www.tec.govt.nz/Documents/Publications/PBRF-AR-2008-for-web.pdf.
[10] Valutazione Triennale della Ricerca. Valutazione Triennale della Ricerca italiana (2001-2003) [EB/OL]. (2007-02-08)[2021-12-30]. https://redazioneweb.unipd.it/sites/unipd.it/files/Relazio- ne%20finale.pdf.
[11] Hertling,Elizabeth. An Eric Digest: Peer Review of Teachers[J]. teacher librarian,1999(126):1−2.
[12] National Research Council . Organization of the National Research Council[EB/OL]. (2009-02-11) [2021-12-30]. http://www.nasonline.org/about-nas/history/archives/milestones-in-NAS-history/organization-of-the-nrc.html.
[13] Doyle J,Green R. Efficiency and Cross-efficiency in DEA: Derivations, Meanings and Uses[J]. Journal of the Operational Research Society,1994,45(5):567−578. doi: 10.1057/jors.1994.84
[14] Green R H,Doyle J R,Cook W D. Preference voting and project ranking using DEA and cross-evaluation[J]. European Journal of Operational Research,1996,90(3):461−472. doi: 10.1016/0377-2217(95)00039-9
[15] Viitala J J. Weight-Restricted DEA in Action: From Expert Opinions to Mathematical Models[J]. Journal of the Operational Research Society,2004,55(8):814−821. doi: 10.1057/palgrave.jors.2601752
[16] Oral M. E-DEA: Enhanced data envelopment analysis[J]. European Journal of Operational Research,2010,207(2):916−926. doi: 10.1016/j.ejor.2010.05.035
[17] 高文义. 中日科技立法及公共研究开发评估之比较[J]. 科技促进发展,2010(5):2. doi: 10.11842/chips.2010.05.003 [18] UsingOptions Pricing and Decision Analysis Models [MJ. Maryland, USA: Institute for Operations Research and the Management Sciences (INFORMS), 1999: 57- 74
[19] Hall K. Jeremy, Michael J. C. Martin. Disruptive technologies, stakeholders and the innovationvalue-added chain: a framework for evaluating radical technology development[J]. R& DManagement,2005,35(3):273−284.
[20] 实用决策方法: 层次分析法原理[M]. 天津: 天津大学出版社, 1988. [21] Doyle J R,Green R H. Cross-Evaluation In Dea: Improving Discrimination Among Dmus[J]. INFOR:Information Systems and Operational Research,1995,33(3):205−222. doi: 10.1080/03155986.1995.11732281
[22] 企业管理概论(第二版)[M]. 北京: 化学工业出版社出版, 2011. [23] 国务院办公厅. 关于完善科技成果评价机制的指导意见(2021年第23号). http://www.gov.cn/gongbao/content/2021/content_5631817.htm [24] 国务院办公厅. 关于抓好赋予科研机构和人员更大自主权有关文件贯彻落实工作的通知(国办发〔2018〕127号). https://most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2018/201901/t20190108_144608.html. [25] 国务院. 关于优化科研管理提升科研绩效若干措施的通知(国发〔2018〕25号). http://www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm. [26] 张古鹏, 陈向东. 基于专利存续期的企业和研究机构专利价值比较研究[J]. 经济, 2012, 11 ( 4) : 1403-1426. [27] 龙小宁,王 俊. 中国专利激增的动因及其质量效应[J]. 世界经济,2015,38(6):115−142. [28] 张 杰,郑文平. 创新追赶战略抑制了中国专利质量么?[J]. 经济研究,2018,53(5):28−41. [29] 程文银,李兆辰,刘生龙,等. 中国专利质量的三维评价方法及实证分析[J]. 情报理论与实践,2022,45(7):7. doi: 10.16353/j.cnki.1000-7490.2022.07.014 [30] 佚 名. 《国家知识产权局关于进一步提升专利申请质量的若干意见》解读[J]. 今日科技,2014(2):2. [31] 阿儒涵,李晓轩. 构建科技预算绩效评价3E理论, 促进科技投入效能提升[J]. 中国科学院院刊,2023,38(02):203−210. doi: 10.16418 [32] 孙 林. 国有企业绩效评价体系的探究−评《国有企业绩效评价研究》[J]. 科技管理研究,2021,41(10):229. [33] 朱清香. 新发展格局下企业绩效评价体系优化研究[J]. 会计之友,2021(09):2−9. [34] 安景文,朱 伟,李松林,孙雅轩. 基于拓展型BSC-FANP模型的煤炭企业绩效评价[J]. 统计与决策,2018,34(18):181−184. doi: 10.13546/j.cnki.tjyjc.2018.18.042 [35] 颜冠鹏,冉启英. 供给侧改革背景下国有混合制企业绩效评价体系构建[J]. 商业经济研究,2017(13):91−94. doi: 10.3969/j.issn.1002-5863.2017.13.034 [36] Xue-Jie Bai, Zhen-Yang Li, Jin Zeng. Performance evaluation of China's innovation during the industry-university-research collaboration process—an analysis basis on the dynamic network slacks-based measurement model[J]. Technology in Society, 2020, 62(prepublish).
[37] Rixiao Cui, Juanru Wang, Yu Zhang. Study on the Performance Evaluation of Expatriate Technician in Multinational Corporations[J]. Journal of Systems Science and Information, 2019, 7(5).
[38] Energy; Investigators from Beijing University of Technology Have Reported New Data on Energy (Performance Evaluation of a New Ice Preservation System for Supermarkets)[J]. Energy Weekly News, 2019.
[39] Jian Zhao, Lei Huang. Research on the Executive Performance Evaluation Model of Large Energy Enterprises[J]. IOP Conference Series: Earth and Environmental Science, 2019, 310(3).
[40] Xiaoting Yue. Financial Performance Evaluation of Energy Enterprises from Low Carbon Perspective[J]. IOP Conference Series: Earth and Environmental Science, 2019, 252(4).
计量
- 文章访问数: 1
- HTML全文浏览量: 0
- PDF下载量: 0
