进一步对数据进行探索性因子分析,采用最大方差法正交旋转进行因素抽取,且根据 Kaiser 取特征根大于 1 的原则萃取出 4 个因子,得到因素荷重矩阵和因素间相关矩阵。 结果显示 4 个因子对问卷总变异的解释率累计达 73.2%。 再随机抽出一半的调研问卷(N=437)进行探索性因素分析,结果发现题项“在政府部门或非盈利组织从事公共事务管理工作”同时在第 1 个因子和第 2 个因子上的结构负荷量均很高,结合理论上的释义,将其归并到第二个因子中。 “MPA 研究生学风和学习行为习惯”同时在第 3 个因子和第 4 个因子上负荷较高,但因其对MPA 研究生应用型特点释义的相关度不高,将其剔除。 剔除后 KMO 值为 0.820,Bartells 球形检验近似卡方分布值是 2354.63,自由度为 420,P 小于 0.01达到显著水平,各因子的项目构成较为清晰。探索的结果表明,MPA 教育质量由四个因素构成。第 1 个因子主要反映 MPA 教育质量的软件和硬件的要求,由 8 个题项组成,其中软件投入的典型样题为“购置 MPA 日常使用软件(调研工具软件、行政能力测试平台建设、电子政务等)投入”、“支持参加国内外学术会议和交流”等。硬件投入的典型样题为“MPA 多媒体教室、案例室和讨论室建设投入”、“MPA 专业图书设置 ( 专柜 、 专区 、 专刊 ) 和电子资源”等,将这一因子命名为“教育环境保障”。第 2 个因子由 6 个题项组成,典型样题为“招生面试中实践性考察占考核 50%以上”、“ 导师具有较强的科研和实践能力”等,主要反映了 MPA 生源选拔、师资水平及师生的良性关系,故将这一因子命名为“生源和师资保障”。第 3 个因子由 10 个题项组成,典型样题为“根据学校优势和学科特色完善和调整专业方向和课程设置”、“与税务、 审计等政府职能部门合作培养人才,制定定向培养方案、设置课程”等。 进一步分析发现,上述题目均与 MPA 课程设置、实践教学等培养过程环节有关。根据 MPA 教育着眼于培养学生基本分析技巧、管理技能以及政治和社会道德责任等全方位能力的特色,将这一因子命名为“培养过程管理保障”。第 4 个因子由 4 个题项组成,典型样题为“论文注重实践性,其选题来源于导师科研或研究生本职工作,具有实际应用价值”、“ 针对热点、难点公共管理问题进行调研并有成熟的调研报告或政策建议”等。 这一因子主要反映 MPA 研究生论文情况、教育成果和用人单位反馈,因此将其命名为“MPA 培养效果评价”。综上,利用初试的数据对 MPA 教育质量的因素结构进行探索性因子分析,共得到隶属于教育质量的 4 个维度,分别是 MPA 教育环境保障、生源和师资保障、培养过程管理保障和培养效果评价保障。
为了检验测验的可行性与适合度,需要对所编制的问卷各题项进行项目分析。若区分度低,即与分量表的相关太低,则表明该项目与分量表的测试目的不一致,应删掉该条目。 在此运用决断值(CR)对4 个分量表的各题项进行区分度检验。 将问卷的得分总和按高低顺序排列,取得分前 27%的项目为高分组,得分后 27%的项目为低分组,然后求出高低二组被调查对象与每题得分平均数差异的显著性检验 T 值。 如果 T 值显著,则说明这个项目具有鉴别力,如果项目的 CR 小于等于 3(a>0.05),则表明该项不能鉴别不同受试者的反应程度,应考虑删除该题项[4]。 利用 SPSS16.0 进行计算,得到环境保障维度的区分度检验如表 2 所示。
据表 2 所示,虽然题项 25 和题项 40 在 8 个题项中决断值最低,但也达到了 T 检验的显著水平,表示 8 个题项能很好解释教育环境保障维度,具有良好的鉴别度。 同理,得到其余维度各题项的临界值。 通过区分度检验,共删除没有达到鉴别标准的 7个题项。
三、MPA 教育质量评估指标体系的正式验证和确定
要做到能够精确的测量 MPA 教育质量,必须要对形成的条目进行信度和效度测定。 因为借由具有信度和效度的工具测量得来的数据,利用适当的统计方法进行分析得出的结论,才为人接受。
1.MPA 教育质量因素结构的效度检验
效度检验能够保证量表对教育质量测验的可靠性和有效性。首先,本测试问卷的形成不仅参考了国内外学者的理论研究成果,还经过与专家的多次讨论、对被调查者进行了访问,且进行了小样本前测。说明非专业人士和专家一致认为量表具有较好内容效度。其次,用实证的方法验证量表的理论构想,检验
建构效度。这样可避免内容效度仅有逻辑分析,却无实证依据的弊端。探索性因素、量表的区分度检验已经初步说明,MPA 教育质量量表具有较好的收敛有效性和区别有效性。之后根据理论分析,界定教育质量的维度,再依据这些因素,编制若干题项,形成初步的测验,然后选择合适的样本进行施测,对所得数据进行因子分析加以检验,使得因子实际的含义与编制测验的理论相符合,说明了 MPA 教育质量量表能很好解释设定的行为特质,具有良好的建构效度。再次,进行预测效度分析。 将前几届毕业 MPA研究生在单位的受嘉奖次数、加薪和职务升迁变动作为衡量 MPA 教育效果的指标,即以此作为 MPA教育质量的绩效指标,以 MPA 教育质量为预测指标,检验教育质量对教育效果的预测能力和解释量,两者的回归分析结果如表 3 所示。从上表 3 看出,教育质量与教育效果的相关系数R 为 0.625,R2 为 24.5, 能解释教育效果 24.5%的变异量,表明 MPA 教育质量量表具有一定的预测效度。
2.MPA 教育质量评价的指标体系形成
根据以上的探索性因子分析和区分度、效度检验, 说明研制的 MPA 教育质量量表有较好的信度,且具有较好的内容效度、结构效度和预测效度,能够很好的从理论和实践解释 MPA 教育质量。依据此量表和因子分析结果,构建相应的 MPA 教育质量评价指标体系如表 4 所示。
四、结论与讨论
通过文献研究和实地访谈调研,初步提出 MPA教育质量开发量表的测量题项,并通过相关专家、前测样本的初步检验等一系列研究,完成了 MPA 教育质量评估量表的开发。 借助 SPSS16.0 对收集数据进行探索性分析、信度和效度的检验。剔除了 7 个题项后,检验结果非常理想,说明本次开发的量表有比较高的信度和效度。最后确认的 MPA 教育质量评估指标体系共有教育环境保障,师资和生源保障,培养过程管理保障和教育效果保障 4 个维度,共30 个题项。本文根据因子分析的结果所构建的 MPA 教育质量评估指标体系,为今后的 MPA 教育质量评价提供了相应的工具和手段。
参考文献
[1] 裴庆祺,姬红兵,王汉江.关于建立研究生教育质量评估体系的思考[J].中国高教研究,2004(8):22-24.
[2] 刘凡丰.教育质量的概念及评价方法 [J].学位与研究生教育,2003(1):29-33.
[3] JENNIFER G H. Assessing graduate and professional edu-cation :current realities ,future [C]. Issue 92 New Directionsfor Institutional Research-Ir. Jessy-Bass Inc.,1967.
[4] 王保进.英文视窗版 SPSS 与行为科学研究[M].北京 :北京大学出版社,2007.