英语原文共 18 页，剩余内容已隐藏，支付完成后下载完整资料

大学质量评估的综合指标—以西班牙高等教育体制为例

Pilar Murias﹒Joseacute; Carlos de Miguel﹒David Rodriacute;guez

摘要：本研究提出了西班牙公立大学系统质量评估的综合指标。该指标基于从公立大学的财务规划估算中获得的一系列组成成分和简单指标。本文采用定量，广泛的方法来分析大学机构的质量，旨在与其他定性方法互补。使用数据包络分析用于构造综合指标数据的总计和加权。这种技术允许分析师在尊重每所大学固有的特性的同时，内生地确定部分指标的权重。结果显示，西班牙公立大学之间存在显着差异。除了每个机构的表现相对较好外，其他因素似乎也会影响结果;基本上这些与社会经济因素和近几十年来西班牙大学政策的应用有关。

关键词：综合指标﹒数据包络分析﹒质量评估﹒高等教育

1、引言

本文对西班牙43所公立大学的教学质量进行了综合评价。比较的机构包括西班牙所有的公立大学，除了四所专门面向技术的大学。

这项研究的动机是逐渐转向“质量文化”，这种文化首先在管理环境中开始。近年来，人们越来越关注不同层次的高等教育机构的质量。在全国范围内，西班牙立法（大学组织法¹,2001）指出，“有必要通过评估大学服务的文化来提高大学体制的质量”。其他欧洲国家正在经历类似的转型。在超国家层面，欧盟项目，如欧洲高等教育所，明确包含了提高UE国家和机构质量标准的目标，这一意向声明也反映在《博洛尼亚宣言》和《柏林和卑尔根公报》中。后者指出，“我们敦促高等教育机构继续努力，通过有系统地引进内部机制和它们与外部质量保证的直接联系来提高其活动的质量”。

对质量的关注是一种趋势，它包括大学所开展的所有活动，而不仅仅是那些与讲课和研究有关的活动。大学为整个社会提供服务，促进国际学生的流动，满足社会需求等等。有两个主要原因导致大学试图获得更高水平的服务质量。其中第一个是大学之间为吸引学生而竞争加剧。第二个涉及为这些大学的运作提供资金的机构，即西班牙各独立机构，以一种相对新颖的方式使资金的分配符合某些质量指标。因此，就学生本身和资助大学的机构而言，有一种内在的需要，即有更多成熟的质量评价指标可供选择。

事实上，大学有各种各样的活动，他们所获得的结果是多样的，这使得评估他们的质量变得更加困难。分析必须从多维的角度进行，在高等教育领域内进行分析尤其困难。各资助机构在进行财政规划时，会分别考虑大学的不同角色，并提出一系列简单的指标，以评估大学的表现。单一指标特别有用，因为它们有助于汇编有关某一特定体系的数量资料。然而，要总结上述体系的特点，必须有一个共同的趋势，这比较难以识别。想要克服识别问题的一个办法是使用综合指标，这些指标是总结复杂或多方面问题的有用工具，并有助于制定政策和提高公众的认知。

在评估高等教育体系的绩效时，另一个困难在于所比较的大学的特殊性。为了提高绩效，每个大学都制定了自己的计划，最大限度地发挥其特点和优势(年龄、势力范围等等)。从这个意义上说，每个大学都有自己独特的价值体系。因此，在汇总单个指标时，可以合理地定义相对应的权重集。

尽管人们对这一领域有相当大的兴趣，但对大学质量进行全面、定量分析的研究却寥寥无几。就西班牙而言，De Miguel等（2001）建立了一系列指标，旨在根据各种个人指标反映西班牙大学的质量。这些指标的汇总是根据作者与专家协商后的意见然后事先确定一套权重来进行的。

本文的工作内容包括一个综合指标，作为一种评估西班牙公立大学体系质量的手段。该指标本身是基于一系列的维度和简单的指标，是在一系列对公立大学的财务规划估算中提出的²。采用数据包络分析（DEA）方法，对构建综合指标的权重和聚集过程进行了研究。在没有其他加权办法的情况下，DEA提供了一种方法，通过这种方法可以有效地确定权重，并允许以最有利的方式评估每个单位。通过对权重的绝对值或相对值进行额外的限制，在模型中进一步引入信息，可以更加灵活地进行分级或限制。

该分析旨在从包容性和定量的角度来评估大学机构质量的研究。当然，它并不会成为定性方法的替代品，而是对这个方法的补充。此外，所提议的综合指标并没有利用预先建立的加权制度，因为这些制度虽然提供了一个共同的基准，却不能公正地对待所分析的所有大学。相反，权重的分配是客观地进行的，同时尊重被比较的不同大学的特性。

本文共分为五个部分。第一部分描述了支撑本文所使用的质量概念的理论框架。第二部分阐述了本文所采用的综合指标构建技术的功能和优点。第三部分描述了实际模型，定义了部分指标并指定了数据来源。第四部分给出并讨论了该综合指标的DEA估计。结果表明，西班牙公立大学之间存在着重要的差异。这些差异受到重要的外部因素的影响，下文也将讨论这些因素。最后一部分是本研究的结论和意义。

2、理论框架

高等教育质量的概念可能难以定义，即使我们都对其含义有直观的理解，这也难以表达。正如吉布森（1986）所说的那样，“质量并不比在实践中提供更容易被描述和讨论”。Harvey和Green（1993）的著名研究指出，质量的含义在两个方面是相对的。一方面，质量对不同的人意味着不同的东西。另一方面，在某些概念上，质量与产生预期结果的过程有关。分析的结论是质量没有唯一正确的定义。

本文所使用的质量概念是什么？进一步说，我们在测量什么？这个分析采用了一个模型，这个模型受到De la Orden（1988）的启发，他从一个广泛和抽象的角度来考虑质量，能够在一个单一的框架下反映不同的观点。该模型假设大学机构是由一系列要素（背景，输入，过程，产品，目标等等）组成的系统，并反映它们之间存在的关系，如图1所示。

图1 高等教育机构的系统观点

以大学制度的系统观点为出发点³，质量概念意味着系统的每个组成部分与系统其他组成部分之间必须存在一致的关系。在分析这种一致性系统时，可以确定质量的三个方面（De la Orden 1988）：

（1）功能方面的质量：一方面结果与另一方面大学总体目标的一致性

（2）有效性方面的质量：一方面结果与另一方面活动的具体目标之间的一致性

（3）质量作为效率：一方面是投入和过程与另一方面结果的一致性

兴趣集中在一个或另一个方面，取决于分析机构质量的代理。需要在下一学年选择大学的学生将在有效性方面考虑质量，重点关注机构产出。公共行政人员或大学校长将在效率方面设想质量，或者更广泛地说，从三个方面（功能⁴，效率和有效性）来看质量，这显然是相互关联的。

本文将使用的质量概念，以及综合指标所依据的质量概念，是与结果和机构的具体目标相关的，即大学开展活动的效益水平。这一决定论证与分析本身的具体背景即西班牙高等教育体系有关。正如引言中所提到的，大学现在已经开始竞争以吸引学生。高等教育的“市场化”已在其他国家得到巩固（Williams 1997；Mok和Lo 2002）。然而，这一趋势对西班牙来说是新的，这一分析的主要目的是发现不同西班牙大学在这一竞争框架内的地位。此外，所选择的质量概念取决于每个机构执行其每项活动的有效性，直接影响其竞争力和声誉，这些概念与市场密切相关”

首先，更高的质量使机构更具竞争力，即在市场上更加成功地抓住学生。其次，在一段时间内保持质量可以改善和维持大学的声誉，这是传统上被视为推动学生选择的一个因素。

由于高等教育机构从事各种活动并针对许多不同的具体目标，因此必须从多维视角来看待有效性。从这个意义上说，在构建综合指标时，必须能够确定大学行动的主要范围，并实施大量简单指标，以涵盖高等教育机构的整个活动范围。在这个时刻，尽管不同国家的大学系统存在相似之处，但应强调西班牙大学体制的特殊性。

为此，该分析提出了以下问题：西班牙高等教育机构官方认可的活动或具体目标是什么？

根据De la Orden等（2002），总体目标通常以广义地概括，抽象的方式，以科学，技术和经济活动的发展，文化的推广和专业培训的形式提出。然而，至少就其直接目标而言，大学机构的活动可以使用非常具体的标准来确定。特别是，这些目标出现在大学的财务规划估算中，这是对专家小组的分析结果。研究这些财务规划估计表明，西班牙公立大学基本上有六个具体的目标或行动方案，这些构成了每个机构质量效益分析的六个维度。这些目标是：教学、满足社会需求、促进国际学生流动、研究、研究生学习和为大学社区提供的服务⁵。应阐明其中两个类别。首先，社会需求的满足被认为是机构使其“资格”结构适应社会所需要的能力。其次，促进欧洲大学之间的学生流动是在欧洲高等教育所建设的更广泛框架内开展的优先行动。

图2提供了构成本文基础的理论框架。在左侧是上面列出的质量概念，通过复合材料及其组成的各个量度进行估计。右侧包含一组简单的指标，这些指标由综合指标合成，并用于操作本文所用质量的概念。部分指标是被认为在理想情况下代表每个量度，并且在每种情况下，这些指标都是输出指标。在第4节中，这些指标是定义的，并且确定了其中一些指标的数据可利用性问题。显然，将有效性分析划分为六个方面只是在概念框架内进行的，因此并不意味着这些方面和相应的简单指标实际上没有关系，甚至在统计上也没有关系。

图2 综合指标的理论框架

重要的是要注意，这些量度（或指标）都不能确保有效性。这并不意味着所有量度或所有指标都具有同等重要性。预算计划明确优先考虑教学和研究，正如撰写本文所咨询的专家

一样⁶。因此，在这种情况下，量度或指标之间的共同权重的分配是不相关的，这意味着仍然需要解决加权问题。

虽然从统计方法到专家或公众意见都有大量的建议(Nardo等2005)，但是对于确定权重的适当方法没有明确的一致意见。推导一致的加权方法的理论框架很难建立，就一套独特的加权方法达成协议是站不住脚的。即使这是可能的，还会出现进一步的根本问题；为所有被比较的单位，例如机构、国家等，考虑一个共同的加权制度，可能并不总是合理的。当试图反映像质量这样的主观概念时，这种观念所固有的主观性应该被保留而不是消除(Foster和Sen 1997)。这种运作方式在这里似乎非常相关:每一所大学都呈现出一种特定的“竞争力概况”，这是其特定历史、传统和价值体系的结果，是每一所大学的特点和指导其战略选择的方面。因此，不同的机构会有不同的价值体系，例如，在研究和教学的组合，或在低于和研究生之间的权衡。共同的重量制度不会尊重这些特点。因此，有必要寻找一套加权办法，考虑到每一所大学的特点，并使该模型能够根据其相对重要性来区分各方面和指标，同时纳入任何现有的资料。

在考虑所有这些因素后，数据包络分析（DEA）显然是部分指标汇总的最佳选择。这是因为DEA内生地确定了权重，并且对所有分析的单位进行了区分。此外，尽管DEA不需要预先确定权重，但它确实允许结合所有可用信息。在下一节中，分析了该技术的工作方式，并讨论了合成指标构建的优势。

3、DEA在复合指标构建中的应用

本文采用的构建指标方法是数据包络分析（DEA）7，这是一种使用线性规划工具的非参数化方法。DEA定义了一个最佳实践前沿，作为评估给定单元集性能的基准。性能由到最佳实践边界的距离表示，部分指标的权重是内生计算的，以使每个单元的距离最小。

由Farrell（1957）首次提出的最佳实践前沿，代表了一个单元在使用给定资源水平时所能达到的技术极限。DEA是在三个假设（Storrie和Bjurek 2000）的基础上构建边界的：正权值、不受其他任何单位支配的单元的非歧视性、最佳性能的线性组合的可行性。因此，边界是观察到的指标的包络线—样本中所有单位的组合，如果和当所有表现良好的国家都有利于包络线（Mahlberg和Obersteiner 2001）。性能指数由观察到的实际性能与最近的基准之间的相对距离给出。虽然有些指标只提供了有意义的序数解释的基础，但DEA绩效指数是一个单位向上移动到前沿所需要的所有部分指标的比例百分比增长⁸。下面的图3显示了两个部分指标和四个单位的示例。

图中显示了最佳实践边界上的单元A、B和C，而单元D位于最佳实践边界之下。因此，

A、B和C是最佳实践单元，但D执行效率不高。每一个单元的性能指标是原点与其实际观测距离的比值除以每一个单元在边界上的投影点与原点的距离。因此，对于单元A、B和C，性能分数为1，而对于单元D，性能分数为OD/OD^T，且低于1。此外，单位D的绩效评分表明了所有部分指标需要扩大的比例，使单位D达到最佳实践前沿。

当只有两个维度时，问题可以通过图形方式解决，但是当涉及更多维度时，必须解决一系列线性程序，每个单元被分析一个。因此，定义数据及其包络并计算指数的分数。单元0的优化问题可表示如下：

图3 最佳实践前沿（来源：Mahlberg和Obersteiner 2001）

其中是单位0的综合指标得分，是第个资源，是单位的第个指标。是被评估的单位数，和分别是资源和指标的数量。该模型在假设采用输出方向上与Charnes等(1978)提出的DEA分数程序的线性版本相对应。

关于模型的资源方面，需要注意的是，由于所有指标都在输出端9组合，因此考虑单个虚拟输入，即对所有单元取值1。传统上这被解释为“舵手”（Koopmans 1951；Lovell和 Pastor 1995），这是一个集体决策方法，是评估每个单位（如本案例中的国家，地区或高等教育机构）的基础。假设舵手试图将所有的部分指标引导到最高水平。Lovell和Pastor（1995）与Mahlberg和Obersteiner（2001）分别采用了资源侧具有统一向量的DEA模型。

数据包络分析最初被用作解决效率问题的一种方法，在这种情况下发现DEA应用更为常见。然而，最近DEA已被视为多维分析的工具。Mazur（1994）和Hash

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[20486]，资料为PDF文档或Word文档，PDF文档可免费转换为Word