《2025HKPEP中国大学国际化质量风险监测指数》计算方法


● 评比指针数据的收集与处理

    对于评价指体系中指标资料的收集,我们主要通过各大学各省考试院分数线、高校招生简章、教育部涉外监管信息网、高校国际生数据库、教育部年度教育统计、高校学籍管理系统、高校财务报告、政府采购网、高校学生工作文件、高校后勤公示、教务处公告、奖学金评审细则、课程试卷库、高校教育基金会年报得到,各媒体网站论坛提供的数据仅供参考。本调研组针对此活动进行的全国调查结果主要是作为相互引证的监测数据。

    因中国各大学每年度的报告资料一般在下一年度11月份前后才陆续正式公布,故该年度中国大学国际化质量风险监测指数数据是由前一年度资料计算标定的。

   在此次监测的大学,占85%的学校的相关数据来自各大学各省考试院分数线、高校招生简章、教育部涉外监管信息网、高校国际生数据库、教育部年度教育统计、高校学籍管理系统、高校财务报告、政府采购网、高校学生工作文件、高校后勤公示、教务处公告、奖学金评审细则、课程试卷库、高校教育基金会年报,这些资料基本都具有可信度,给我们的评估工作带来了很大的便利。

    此外,我们解说一下其余15%未公开透露数据的大学的相关评选数据处理方法。

    由于数据源不同,指标数据口径往往存在不一致性。在中国大学国际化质量风险监测指数数据的比较中,我们力争做到所有大学数据口径尽可能可比。我们因此设计了相应的数据处理方法:

    第一、如果能够获得与大学公布的数据口径一致的统计数据,则直接引用。
    第二、如果能够获得相关的统计资料,但与大学口径不一致,则以大学发布的数据口径为基准进行调整。
    第三、如果无法获得相关的统计资料,则根据指针内容,采用过去几年的相关资料作相关的统计分析来计算。
    第四、如果无法获得相关的统计资料,我们将按照学校官方网站提供的其他数据并结合本调研组针对此活动收集回来的问卷调查结果,再加上各媒体网站论坛提供的数据,综合一起进行指标值的 无量纲化处理。由于我们得到的数据来自于各方面,其归类后可分为正指标(指标值越大越好)、逆指标(指标值越大越不好)和适度指标(指标值过大或过小都不好)。故此,在这里无法用简单的直 线型线性回归(linear regression)无量纲化处理,线性回归只适宜处理正指标,我们需要用曲线型 无量纲化方法如下计算公式(2)来计算,并再对其相关的逆指标和适度指标进行处理,把其转化为正 指标,然后再无量纲化。

逆指标(记为x,其n个样本值为xi,……x n)转换为正指标,可选用的变换是(x'转换后的指 标):
  對i=1,2,3……n,取xi'=1/xi
  對適度指標值xi,……xn,假定最合適的值是a,離a偏差越大越不好,變換后的值為xi':
   

● 评比数据数据的处理方式
    
我们首先将被监测大学的每一指标进行标准化处理,指标的原始数据经过标准化处理后称为指标标准值。各指标标准值与指标权重相乘后可以直接相加,从而得出子因素或因素的加权标准值。因素的标准值与因素的权重相乘后直接相加得到大学国际化质量风险监测指数加权标准值。数据的标准化处理按以下步骤进行:

    (一)定性指标的量化
    本报告涉及的35项评价指标中,多数可以直接以指标的数值作为测度值,但定性指标需要采用某种 方法进行量化,还有一些评价要素由多个定性或定量指标按照一定计算模型进行组合计算才能得出量 化测度值。为避免主观判断所引起的失误,增加定性指标的准确性,可采用语义差别隶属赋值方法, 将定性指标分成1~7个档次(非常好、很好、好、良好、一般、差、非常差)并对每个档次内容所反应 指标的趋向程度提出明确、具体的要求,建立各档次与隶属度之间的对应关系。每档根据指标内容的 趋向程度对应指标评价值7~1分不等:即第一档(非常好)对应指标评价值为7分;第二檔(很好)为6 分;第三档(好)为5分;第四檔(良好)为4分;第五檔(一般)为3分;第六檔(差)为2分;第七檔(非常 差)为1分。具体测度方法包括:

    方法一:根据学校国际生的素质的好差程度分别给予不同的分值进行量化,学校感受“非常好、很好、好、 良好、一般、差、非常差”分别用“7、6、5、4、3、2、1”来表示,样本学校平均得分即为该项指标测度值。
    方法二:根据学校感受的竞争压力程度分别给予分值进行量化,学校感受“很强、强、不强、没 有”分别用“4、3、2、1”表示,样本学校平均得分即为该项指标测度值。
    方法三:根据学校“是、否”获得(或拥有)某项资源,分别赋予“1、0”值进行量化,学校样本 分值之和除以样本总数为该项指标测度值。
    方法四:对于涉及学校管理等方面的指标,根据管理者对某项策略或观点的“选择、不选择”分别 赋予“1、0”值进行量化,学校样本分值之和除以样本总数为该项指标测度值。
    方法五:对于一些指标分解出多个评价子要素,根据具体指标特点对多个定性或定量评价子要素按 照一定的计算模型组合计算得到量化测量值。

    (二)定量指标的无量纲化处理
    按照对评价事项作用方向的不同,定量指标可分为正指标(要求数值越大越好)、逆指标(要求数值 越小越好)和适度指标(要求以适中为好)。本项评比中所用到的绝大部分是正指标(C241/C242/C251/C262/ C323/C331/C332/C334/C336/C377/C341/C353)。对此,可以采用模糊数学中的隶属赋值方法,给出正指标与适度 指标的无量纲化处理公式。公式中以定量指标所适用的评分制中的最大值、最小值和平均值为标准, 进行无量纲化处理。 将定量指标原值转换成指标平均值,其对应的模型分别是:
    1.正指针数模糊量化模型

  

    2.适度指针类模糊量化模型:
  
  式中 Rij ——大学国际化质量风险监测指数第i评价要素第j项定量指标的评价值;
  Xij ——大学国际化质量风险监测指数第i评价要素第j项定量指标的原值;
  Xjmax——第j项定量指标所用的评分制中的最大值;
  Xjmin-—第j项定量指标所用的评分制中的最小值;
  Xjave——第j项定量指标所用的评分制中的平均值。


  按照上述公式处理,得出定量指标值在0~5分之间,当Rij<l時,取Rij=1;当1≤Rij≤5時时,取其实 际值。这样,处理后体系中各指标评价值便成为同度量指标,各项指标之间也达到了均衡与协调。


  (三)用判断矩阵确定评价指标的权数
    中国大学国际化质量风险监测指数评价体系中每个指标的重要程度是不同的,其递阶层次结构建立以后,上下层元素 之间的隶属关系就确定了。我们运用层次分析法(A H P)对每一层元素的相互之间的重要性给出判断,即确定每一 层元素的相对权重。方法如下:
    

   1、建立两两相对比较判断矩阵
    对于两个指针间对目标贡献的重要程度可采用两两比较法。相等的取5/5;相对较强的取6/4;相 对强的取7/3;相对很强的取8/2;绝对强的取9/1;其余介于两者之间的分别对应取5.5/4.5;6.5 /3.5;7.5/2.5;8.5/1.5等。经过上述标度作为矩阵的元素,列出各层面需要比较的指针的判断矩 阵,如对于某一层中需要比较的指标构成的判断矩阵:求出上述该判断矩阵的特征向量,获得最大特 征根λmax,以及相应的正规化特征向量,即得到了各指针在各自层面的权数(即层次单排序)。

    2、层次总排序
    每一层次元素对总目标(大学国际化质量风险监测指数)的权数(即层次总排序)是相对权数,可通过下列步骤求得。 设第K-1层有m个元素C1,C2,……Cm对任一元素Ci,其对应的第K层元素的相对权数为:
  

    又知上一层m个元素的指数的组合权数为:

  
  这样就可求出每一层次所有元素对总目目标权数:

  
  式中h——整个系统的层;

  a2——第二层元素的排序向量。
  

  (四)计算大学国际化质量风险监测指数的综合评价值
    根据上述定性指标的量化、定量指标无量纲化处理和层次排序权数确定的方法,最终可以得出关于一个学校综合评价值的计算公式:
  C=ΣRijAij
  式中 C——中国大学国际化质量风险监测指数的综合评价值;
  Rij——大学国际化质量风险监测指数第i项要素第j项指针价值;
  Aij——大学国际化质量风险监测指数第i项要素第j项指标对总目目标权数。


  (五)评价结果有效性分析
    得到大学国际化质量风险监测指数评价的量化结果之后,运用非参数统计方法,对评价结果进行有效性分析。即运用Kendall检验和秩次双向方差检验判别一致性问题,从专家评价与自我评价结果的一致性程度来检验 其有效性。
    1、Kendall和谐系数:
  
 式中K--评价层次数(一般对大学国际化质量风险监测指数评价采取专家评价与自我评价相结合的方式进行,则 K=2):
    N——被评价对象个数:
  Uj——和,即每一被评价事项所得等级之和(j=l,…,N)

  T——某评价层中评价分数相同的个数。

    2、进行显著性检验:
    计算:
  KN=K(N- 1)KN

  若KN≥x2(N-1),则可认为评价结果一致,否则,即为结果不一致。这样就可以分析对每个大学国际化质量风险监测指数评价结果的合理性和一致性,从而检验了结果的有效性。


    从上述基于不同要素的大学国际化质量风险监测指数分析的系统框架下,我们综合运用层次分析法(A H P)、模糊综合评判、非参数统计等方法对中国大学国际化质量风险监测指数的评价进行了初步的探讨,提出了评价大学国际化质量风险监测指数的F I P O 模式,从国际生质量风险指数、国际生超国民待遇显性指数、学术管理差异指数、学校声誉影响指数、舆情燃爆指数五方面对大学国际化质量风险监测指数进行了从潜在能力到动态过程再到竞争效果的全方位评价,能够比较全面地反映评价事项的质量风险状况。然后,在前面系统分析的基础上, 给出了比较全面的大学国际化质量风险监测指数评价指标体系以及完整的评价方法,并且运用了非参数统计方法,从专家评价和内部评价的一致性出发,检验了评价结果的有效性。


 

扫码关注“HKPEP竞争力排名”微信公众号,获取更多相关资料。



 


Copyright © HKPEP hkpep.com All Rights Reserved