一、AUQA的审核对象
AUQA在成立之时制定的章程对其审核对象就有所规定。由于近年来AUQA的审核活动取得了显著的成就,对国内的高等教育发展发挥着越来越大的影响,因此,无论是政府还是高等教育界的有关学者都曾进行过讨论,并认为为了统一国内质量审核工作的标准及质量,可以扩大AUQA的审核范围,即除了自行认证的高等教育机构,也就是大学和认证机构之外,从事职业教育与培训的教育机构也应该列入AUQA的质量审核范围之内。但是自2001年AUQA开始运作以来至目前,AUQA 的主要审核对象还是以下面四个方面的机构为主:
(一)澳大利亚所有自行认证的高等教育机构(SAIs)(所有大学都在其中)。
(二)联邦、州及领地的官方认证部门(认证机构)。
(三)根据2003年联邦高等教育支持法案(HESA)获准成为高等教育提供者的澳大利亚非自行认证的教育机构(HEPs)。(这些教育机构可以选择由AUQA审核,也可以选择由在HESA领导下的以高等教育机构指导者名义设置的其他机构进行审核。)
(四)其他高等教育机构。(根据合同AUQA可以对其他高等教育机构进行质量审核,但具体安排将根据AUQA与被审核方或其他相关部门之间的合同规定而单独制定。)
到2007年底,AUQA完成了第一轮对所有自行认证的教育机构(SAIs)以及认证机构的审核。从2008年起,它启动了对现有的SAIs 的第二轮审核,但是审核的范围及性质有所调整。对认证机构的第二轮审核于2010年启动。AUQA也对任何一所新近根据澳大利亚高等教育审批程序协议书要求而获得批准成立的自行认证的高等教育机构(SAIs)进行审核。
二、AUQA的审核方法
AUQA对高等教育机构及认证机构的质量审核采用的是从美国的卓越管理模式中引进的ADRI方法。ADRI 是Approach(路线)、Deployment(实施)、Results(结果)、Improvement(改善)这4个英文单词首字母的合并,代表的是AUQA 审核所关注的被审核院校或机构的组织路线、目标实施、工作结果及工作改善这四个方面。AUQA对所有机构进行的质量审核都是从这四个方面来着手进行检查的。因此,AUQA对机构进行审核后所完成的审核报告,也是从这四个方面来展开情况介绍的。
AUQA之所以选择这四个方面进行审核,是源于其对质量管理方法的一种认识。就人们对于质量管理的认识过程而言,经历了从20世纪50年代的“质量控制”到80年代的“质量保障”,再到今天的“追求质量的持续改善”这样的一个过程。AUQA采用ADRI这种方式就是“要把质量管理看成是一个综合系统的管理,从而使一个组织能不断地反省自己的工作并不断地对其加以改善”Australian Universities Quality Agency Audit Manual Version 6.0,2009(6):5,http://www。auqa。edu。au/qualityaudit/auditmanuals。。
具体来说,在“Approach(路线)”这方面的检查,指的是对被审核院校的组织使命、愿景、价值观(即它的总体目标)及有关实现这些使命、愿景及理想的具体目标和工作计划的全面考察。这些工作目标和计划一般都是通过书面文件来表达和展现的。具体需要确定的是:
1.该组织是一个什么组织?
2.它要取得一个什么样的目标?
3.在其设立组织目标的时候是否有所参照,如果有(无论是外部的还是内部的),参照了什么?
4.该组织计划如何去实现自己的目标?
5.它是否清楚自己的背景和能力?
6.该组织目标的设定是否具有合理的基准依据?
7.它制定了哪些必要的风险管理程序?
8.它的路线设置是否与组织中的人员乃至更多的相关人员商谈和沟通过?Introduction to AUQA。Audit Manual 6.0 Australian Universities Quality Agency。6.0,2009(6):6,http://www。auqa。edu。au/qualityaudit/auditmanuals。
在审核过程中,为了了解被审核院校或机构的工作路线,AUQA审核小组会与被审核方人员谈论到关于学校目标制定的方法、制定过程考虑的因素以及他们所咨询的利益相关人员等方面的情况。
在“Deployment(实施)”这一方面,审核人员关注的是被审核院校或机构的组织路线是否被执行及执行办法与效果如何。一般的审核问题包括:
1.组织路线是否以最佳的方式得以执行?有何依据?
2.该组织是根据什么标准及基准来评估执行效果的?
3.如果组织路线没有得到执行,其原因是什么?这个问题又是如何处理的?
4.员工是否都受到一定的有关组织路线与工作目标的教育与培训?在实现工作目标时,是不是所有的资源都得到了较好的运用?
在“Results(结果)”这一方面,审核人员主要关注被审核机构的工作成果,以此来确定该组织在实现其计划目标时的工作是否开展得有效。通常提出的问题有:
1.该组织是否正在达到计划的目标并已经取得预期的成效?
2.该组织是否了解自己为什么能够取得这些成就,以及是如何取得这些成就的,即:确定这些成就是不是通过他们的工作目标及工作努力所带来的?
3.这些成就在组织内部是如何报道、如何使用的?
在“Improvement(改善)”方面,审核人员主要关注该组织是否一直都在积极地致力于了解自己在A-D-R三个方面的表现状况,是否运用这些相关的情况来进行一些改善。大概提出的问题包括:
1.该组织是否明白自己应该如何改善?
2.它是如何知道的?
3.在明白了自己的改善目标后是如何采取行动的?
4.该组织是否拥有持续改善的传统?
AUQA之所以采用这样的审核模式是基于以下几方面的认识:
首先,AUQA认为学校的工作具有深刻的复杂性,仅仅根据一两个方面,甚至是三个方面的情况来对某一个问题进行质量审核,那也是完全不够的。比如“工作开展”的情况,如果不考虑工作开展的目标是什么以及它是否真的在实施目标,那仅仅审核这一个方面的情况是不够的,也是没有意义的。同样,仅仅审核结果也是不够的,因为各方利益相关人,甚至组织自身都需要确定一下某项成果的取得是因为工作目标设计而取得的,而不是偶然取得的。而且,即使某一项工作成果非常的引人注目,但如果工作开展得更加有效的话,或许工作成就会更好。因此,AUQA审核小组既关注过程也关注结果。
其次,高等教育机构的质量保障既有内部的保障也有外部的保障。这两个保障应该被看成是、也应该被用做为一个单独的整体的两个部分。把这两个保障活动整合为一体的目的就是要确保学院机构及被审核的其他部门所取得成就的质量。考虑到这一点并为了做到这一点,AUQA 采用的ADRI质量审核框架为质量审核工作提供了一个系统性的方式。
再次,为了评价院校质量保障过程是否有效果,对于外部审核机构来说有一点是很重要的,那就是要对院校或机构实施这些程序所取得的成就进行调查,因此他们也还要检查这些院校或机构在使命的完成和目标的实现方面达到了什么程度(或者对于某个认证机构来说,它在什么程度上满足了法律对它的职能要求)。受审核院校或机构也应该有一个运行的检查机制以提供相关证据表明该程序在应用而且还能够奏效,从而相关目标也能够达到或是针对某些不足之处已具有改善计划。
最后,人们一般认为所有的外部检查,无论是审核、认证还是评价,都是创造性之大敌,因为就人们认可的方法与结果而言,从谨慎的角度来看,有创造性总是太容易出错。AUQA为了避免这种风险,则鼓励院校或机构去设置具有自己特色的质量管理系统,对检查栏目中的内容也可以做一些适当的修正,而不需要大家都一成不变地遵循它。
三、审核步骤
AUQA质量审核的大致步骤如下:
(一)挑选接受审核的院校或机构及审核小组成员;
(二)与被审核院校或机构的人员讨论各项审核规定;
(三)被审核院校或机构作审核准备及递交自查报告(绩效报告文件包);
(四)审核小组召开会议讨论文件包(即文件包会议),随之审核小组提出需要更多相关文件的要求;
(五)在正式审核考察之前进行预备性考察或以其他形式对被审核方的工作安排予以肯定;
(六)正式审核考察,在此之前也会到被审核方的其他校区进行一些实地考察;
(七)审核报告的准备及定稿;
(八)善后工作安排。
有关AUQA的详细审核工作程序,可参见本书附录一。
四、审核结果
AUQA的审核结果是一份对审核情况进行分析的审核报告。
在审核结束之后,AUQA要完成一份有关审核结果的公开的书面报告。报告要对AUQA通过对审核过程中所收集的资料进行详细分析所得出的审核结果作一个大概的介绍。报告中要指出被审核院校或机构所值得称赞的做法和需要进一步改善的方面。报告不对任何个人作任何评价(无论是正面的还是反面的),也不会诉求于任何不相干的标准。报告尽量涉及所有相关领域但又不会过度追求细节材料。审核报告中不会包含内容不实在的评论或判断。因此,如果审核小组认为需要对某一件事作评论,就一定会提供支撑这一评论的相关证据,而且,只要有明确的判断就会明确表达,观点确定、态度明朗,避免含蓄与暧昧。
审核报告是一个公共性文件,版权属于AUQA,不属于审核小组或小组成员。小组是代表AUQA执行审核的,因此,只有AUQA才能够确定报告的结论和在报告中作任何的评论。只有AUQA的执行总裁及董事会的董事长才能被授权对审核工作及审核报告作公开发言。如果AUQA是与某机构签约进行审核工作的,那么审核报告的所有权就归签约机构。但是AUQA依然保留介入审核报告事宜的权利,比如在AUQA认为某个签约机构或其他方面的人对报告有公开的不当引用的情况下。
(一)审核报告内容与格式
AUQA的审核报告包含了对审核结果的总结及对各方面工作的详细评论。报告包括三个部分:表扬、肯定、建议。被审核方的绩效报告中的一些主要方面内容也有可能在审核报告中得到反映。在审核涉及的每一个领域,报告所要考虑的是:所调查的问题;被审核方在本领域的目标;相关的证据;小组的分析与结论。
表扬(Commendations):审核小组人员在进行调查时,对于发现被审核单位值得表扬的做法和发现其需要改善的地方要一样用心。所以报告中通常会包括被审核院校的突出优点,在全文中也不乏其他的赞美之辞。
肯定与建议(Afirmations and Recommendations):审核报告中的“建议”指的是审核小组认为需要改进的地方。这些建议是要提请被审核方对某一领域多加注意,而不是指示他们在哪一方面要采取什么样的行动。然而,审核小组也会提供一些可能的方式和方法的建议。有些建议也可以被看做是被审核方首先要解决的问题。与“建议”不同的另一个类别是“肯定”。“肯定”指的也是审核小组认为需要改善的领域,但该领域已经由被审核方意识到,并在其绩效报告中将它列为需要注意的问题。肯定方面,和表扬与建议方面一样,也是由审核小组以同样的方式确认的,所以被审核方一旦要确认“改善已经完成”,他就必须要拿出自己所实施的过程和足够的证据来证实这一点。而且,审核小组也会与被审核方一起就所采取的行动进行讨论并对其可能产生的效果发表意见。
有关审核报告的详细内容,可参见本书附录二:AUQA2009年公布的关于澳大利亚昆士兰大学和科廷大学的审核报告(目录)。
(二)撰写审核报告
AUQA规定撰写审核报告是审核小组中的AUQA工作人员的任务。在撰写过程中,工作人员必须反反复复地与所有其他成员共同协商,以使他们有充分的机会及时发表意见。
(三)批准审核报告
当小组全体成员对报告都感到满意时,报告就可以定稿。定稿会交到被审核院校或机构的CEO手中以便确认报告中是否有事实出入,并请他就报告的重点和表述方式发表意见。该定稿也同样会交一份到AUQA董事会主席的手中。被审核院校可以就以下几个方面提出意见:
1.对报告中的相关内容提供准确的旁证材料。
2.对于报告中的某一问题作出解释。
3.对报告中的观点提供背景推理材料和证据。
4.提出需要作恰当修正的词语。
审核组长负责把被审核方的意见交给小组其他成员及AUQA的执行董事长。在与小组长协商之后,审核组长拿出一个最终报告的初稿,就其与执行董事长和小组长商量,也可以从被审核方得到一些意见。
(四)AUQA董事会对审核报告应承担的责任
AUQA规定其董事会对审核报告的批准负有全权责任。在审核报告定稿被交到被审核方手中的时候,还有一份也会送到AUQA董事会去征求意见。一旦报告得到最后定稿就会送到董事会以获得通过(批文通常是以通信方式送达)。
作为AUQA的管理机构,董事会负责制定AUQA的工作条例并要确保这些条例规定得到执行。对审核报告尤其如此,审核报告是AUQA核心活动的对外门面,董事会要对其负最终的责任,所以每一份审核报告的对外公布,都必须由董事会批准。一份审核报告是一个复杂而又需要多方配合的工作的成果。这一过程包括:对审核文件的参考、对调查事物的判断、进行审核访谈以及经过详细的讨论得出一个均衡恰当的结论。由于董事会的成员没有介入任何的审核过程,所以董事会一致同意在考虑审核报告公布问题时,董事们除了自己在审核报告中所阅读到的内容以外,不能参照其他任何的外部证据,也不能提问或修改报告中的内容,除非是指出报告中与事实不符的地方。在这样的规定之下,董事会成员的责任就是:
1.确保AUQA的条例规定得到执行。
2.指出那些有冒犯法律条文之嫌的话语(比如:诋毁或商业机密的泄露)。
3.如果他们认为某一份审核报告没有达到AUQA所要求的认真彻底的标准,也可以发表看法。AUQA Policies 024 Review of Audit Report,www。AUQA。edu。au/aboutauqa/polies/024.
然而,作为报告的独立阅读者,董事会成员也可以就报告是否表达清楚、论据是否充分等方面发表看法。由于董事会成员和被审核院校或机构是在同一时间阅读报告定稿,所以他们真正能够对报告作上述修改的范围实际上是非常有限的,但是只要合适与可能,小组都会作相应的修改。董事会成员所提出的任何意见都会由工作人员记录在案,以便与今后的审核工作联系起来整体加以考虑。在经过较长一段时间以后,董事会成员也会就审核报告之间的一致性问题向执行董事长提出自己的看法。
(五)报告的公布
根据AUQA的章程规定,AUQA的审核报告属于公共文件。在报告对外公布的大约两周之前,在最终报告得到董事会的批准之后,被审核方的CEO会收到一份审核报告。被审核方会有一定的时间准备自己希望就该报告及审核结果对外发表的一些消息。同时这也使得被审核方有机会对报告内容作一个检查。审核小组中的AUQA工作成员负责与被审核方共同商定对外公布审核报告的日期。
在审核报告被公布的前几天,AUQA会以保密运送的方式向所选定的几家媒体送去审核报告,以便他们的报告有足够的时间为发布日的报道作准备。有些被审核方也会以同样的方式向自己的媒体发送审核报告,对此,AUQA并不表示反对。
AUQA在对外发布审核报告的时候,也同样会向一些个人发送报告,这其中包括审核小组成员和AUQA成员,还会将报告连同适当的说明一起发给一些大众媒体,以便他们发布新闻。报告同时还会被挂在AUQA的网站上。通常AUQA不会以访问被审核方的形式来正式发布对其的审核报告。
审核报告公布以后,AUQA就会邀请被审核方的联络员提供一些有关审核程序的反馈意见。AUQA董事会主席也会给被审核方的CEO打电话,口头征求他们对审核报告的反馈意见。审核小组成员会收到书面调查表以反映自己的看法,同时也可以非正式形式向在小组里的AUQA工作成员或AUQA的执行董事长反映自己的意见。这种广泛的意见征求工作,反映了AUQA自身的质量改善意识。有关对报告的反馈意见会定期送交AUQA董事会。
(六)审核报告的应用
无论是社会、联邦政府、州或领地政府还是AUQA,都希望被审核院校或机构能够根据AUQA提供的审核报告,尤其是在肯定和建议这两个项目下的内容,采取各种必要的行动。因此,AUQA对每一个被审核的院校根据审核报告提出的问题进行改善的进程实行监控。联邦政府、州或领地政府的相关机构对此进展也要有所记录。
在对非自行认证的高等教育项目实施审核的情况下,教育、就业及劳资关系部(DEEWR)会在审核报告公布之后,与各个被审核方联系,要求他们向教育、就业及劳资关系部报告审核结果及说明他们将根据审核报告提出的问题和建议作出哪些整改。部长将会根据高等教育支持法案(HESA)19-20条强制这些高等教育项目按报告中提出的建议采取行动。
AUQA对于被审核院校或机构的进步始终会保持关注,但通常却只需要被审核方递交一次正式的审核后报告。在AUQA通过审核而向被审核方提出的他们需要尽快采取措施的几个方面,AUQA会与被审核方进一步讨论并要求他们递交一份有针对性的关于初步行动所取得的结果方面的报告。如果双方认为有必要的话,审核方与被审核方都可以要求就所整改的问题递交一小套绩效材料,甚至要求进行一次有针对性的审核。
(七)改进报告
每一个被审核院校或机构都需要提交一份有关针对审核报告中的肯定与建议两个部分提出的要求进行相应整改的情况的报告。AUQA要求这种报告必须充分而详细,必须确保让一个知情人在阅读审核报告和改进报告之后,能够明白被审核方做了什么以及这些做法是否针对了AUQA审核报告中所提出的问题。AUQA不会将改进报告公之于众,也不会对其进行“审核”,AUQA关注的是改进报告是否清楚地说明了本院校或机构针对审核报告中的肯定与建议这两个部分提到的内容采取了行动与措施。如果AUQA对报告中的清楚程度感到不够满意,必要时可以要求被审核方作公开改进回应报告。
改进报告必须在被审核方自己的网站上登出,而且要一直放在网上直到下一次的审核开始为止。其间,报告内容可以允许进行升级更新并在每一次的升级更新时向AUQA做书面报告。在改进报告于网站上登出的时候,被审核方须向AUQA报告其网址。AUQA会在自己的网站上建立一个与改进报告的链接。所有参加了第一轮审核的院校和机构都必须在对其进行的审核报告公布之后的12~18个月内,公布自己针对审核报告提出的问题所进行的整改情况的报告。
对于2008年1月以后接受审核的院校和机构来说,在对其进行的审核报告公布之后的12个月,或根据报告中所规定的更短的时间内,必须公布其改进报告。
五、审核特点
AUQA 的审核重在评价院校在质量保障方面所做的工作安排,具体有以下几个方面:即路线、实施、结果及改善(Approach,Deployment,Results,Improvement),也简称为ADRI。AUQA 不是将一套外部指定的规定标准强加于被审核院校,而是将其作为审核的一个基本起点来审核该组织自身的目标。AUQA注重实现目标的进展程度,关注的是院校对目标完成情况进行的监控与改善绩效的方法。AUQA的审核总是以院校或机构根据AUQA的要求而进行的自查(或称自评、自审或自研)为基础。自查不仅能够使被审核院校为AUQA所要求提供的信息资料做好准备,甚至在AUQA还没有介入的情况下,院校就已经取得了不少的改善。
此外,AUQA在考虑被审核院校所设定的工作目标的同时,还要关注院校对高等教育质量有效保障所需要进行的外部和专业参照点的使用情况。高等院校的教学工作及其保障该项工作质量的过程必须与国家和国际上的标准相符合,认证机构的工作也必须如此。国家及其部门机构颁发了不少有关高等教育各个具体方面的工作指南、操作守则、执行手册。AUQA将会调查各院校是否认真使用了这些指南并对工作作了相应的调整,还要调查院校在这方面的工作目标的完成情况。AUQA将会搜集证据以证实院校考虑到了相关的外部参照点的要求并对此采取了相应的行动。对于澳大利亚高等教育提供者来说,这些外部目标包括认可该机构的任何法令和规定中所规定的要求,以及其他相关的法律、《高等教育机构批准程序国家协议》中所提出的要求。《澳大利亚质量框架》也是澳大利亚高等教育运行所必须参照的重要指导性标准之一。认证机构的目标包括《高等教育机构批准程序国家协议》和各种其他法令中提出的要求,而对于非自行认证院校(NSAIs)的审核则根据院校目标以及一系列由教育、科学培训部颁发的高等教育提供者质量审核手册中提出的质量审核要素进行审核。AUQA对州、领地的高等教育认证机构的审核特别注意其认可和认证的过程。要确定这些过程是否与国家高等教育审批程序协议书提出的要求一致,这些机构的评判与其他州和领地机构的评判是否一致。
六、AUQA的其他质量保障工作
AUQA是一个非常积极活跃的组织。根据AUQA的章程规定,AUQA除了进行质量审核工作之外,还从事一些其他方面的质量保障宣传与促进方面的工作,具体有:
(一)编辑与出版有关高等教育质量保障的理念与实践方面的资料。
(二)通过AUQA先进办法数据库确认、记录、编号整理并传播高等教育界有关质量保障的先进做法。
(三)提供有关质量保障与改进的建议与咨询。
(四)从事及出资聘请有关专家从事有关质量、标准与达标的研究。
(五)发现和调查当前国内高等教育界在质量与标准方面出现的问题。
(六)通过电子讨论名单或其他手段协助院校人员在网上讨论质量问题。
(七)领导澳大利亚大学质量论坛组织。
(八)主办学习班和培训班。
(九)出版论文和文章。
(十)向政府或其他机构递交有关报告。
七、AUQA的政策与规定
质量审核工作是一个系统工程,涉及的工作范围广、头绪多,而政策是各项工作得以顺利有效进行的保障。为了确保各个环节的工作能够照章进行,AUQA对其各项工作都制定了详细的规章制度,以确保其工作效率和工作质量,AUQA具体的工作条例有:
(一)关于荣誉审核员的行政安排规定policy 001
(二)有关海外活动审核的规定policy 002
(三)关于AUQA董事会及其成员的责任的规定policy 003
(四)关于车辆费用的规定policy 004
(五)关于利益冲突的规定policy 006
(六)关于信息自由的规定policy 011
(七)关于审核小组中观察员的规定policy 016
(八)关于信息保密与信息自由的规定policy 020
(九)关于审核报告检查的规定policy 024
(十)关于改进情况报告的规定policy 026
(十一)关于出差旅行住宿的规定policy 027
(十二)关于信息的传播的规定
(十三)关于审核访谈安全性的规定
(十四)关于参加AUQA董事会会议的观察员的规定
(十五)关于审核小组中观察员的规定
有关AUQA的部分政策与规定的内容可参见本书附录三。
§§第五章 AUQA的审核方法与程序