评估能力:评估ASTD在学习和表现(CPLP)中的认证专业外文翻译资料

 2022-04-23 18:18:20

评估能力:评估ASTD在学习和表现(CPLP)中的认证专业

摘要：

美国培训与发展协会(ASTD)认证的专业学习和绩效(CPLP)计划是基于ASTD的能力模型，该模型概述了培训和绩效改进领域的基础能力、角色和专业领域。本研究旨在揭示胜任力模型与CPLP知识测验问题与工作产品提交的关系(两种主要用于测试CPLP申请者能力的工具)。混合定性定量方法用于确定主题、量化关系和评估问题和指导方针。多个评级机构独立分析数据并确定关键主题，而Fleiss的Kappa系数用于测量内部协议。该研究得出结论，胜任力模型与知识测验和工作产品提交指南之间存在一些差异。对CPLP计划的可能改进提出了建议。

1.背景

1.1成员国认证

美国培训与发展协会(ASTD)在学习和表现(CPLP)中设立了认证的专业人员，以提供在工作场所学习和绩效方面取得成功所需的知识、经验和标准的证据。在设计CPLP的过程中，根据Salopek(2006)的说法，ASTD认证机构对新兴的和已建立的认证项目的协会进行了基准测试，因为他们注意到新兴的项目在技术上得到了最好的应用，而对于流程和程序的既定程序有很大的借鉴意义。ASTD还得到了广泛的个人的广泛的输入，这些人有广泛的经验，他们是从业人员，以及为开发认证计划的学术和思想领袖(Salopek,2006)。CPLP计划给专业和实践者带来了好处。ASTD (2011a,b,c)调查了524名ASTD成员和625名非成员，并采访了24名CPLP的持有者、候选人以及各行各业的顶级雇主。一些引人注目的发现是:招聘经理更喜欢证书，尤其是在艰难的就业市场;87%的CPLP证书持有者报告它给了他们一个优势;82%的CPLP证书持有者报告他们的职业发展;有72%的公司希望填补ASTD工作银行的职位，更喜欢CPLP申请人;接受采访的雇主中，有100%的人表示，未来的公开职位招聘方式会更青睐CPLP证书;100%的CPLP证书持有者在他们的工作中感到更有能力和更自信，现在他们已经完成了CPLP计划(p. 3)。调查结果还显示，有近1000个工作岗位被雇主贴上“CPLP首选”的标签，而主要的招聘板块，如Monster。-com，经常有“CPLP首选”的工作职位。该认证对所有在学习和表现领域有至少3年工作经验的申请者开放。至少5年的经验是更好的，接触到多个领域的专业知识(例如，培训，人类绩效改进，管理学习功能，知识管理，继任计划等)。CPLP认证是一个漫长的过程，每年在4个测试窗口中进行(3月、5月、9月和11月)。在每个测试窗口中，个人都需要参加知识考试。知识考试由150多项选择题组成，主题涉及9个专业领域(AOE)。虽然考试的重点是知识的广度，但一些重点领域的权重比其他领域要高。关于相对权重，在2004年，超过2050年的工作场所学习和绩效专业人员评估了能力、专业知识领域(AOE)，以及在其当前工作中对有效性的重要性方面的作用(Bernthal, Colteryahn, Davis, Naughton， amp; Rothwell, 2004)。附录A通过专业知识的领域展示了考试题目的相对权重。在这150个项目中，每个测试大约有32个实验项目。为了通过知识考试，个人必须正确回答65%的非实验项目。从2005年6月到2011年12月，在25个测试窗口中进行了2571次考试。通过率为79.3%，故障率为20.7% (ASTD, 2011a,b,c)。如果申请人通过了知识考试，他们就需要提交一份工作产品，该产品代表他们在该领域的某一特定方面的专业知识，以及最近的项目工作和论文对与该领域相关的一般战略和操作问题的回答。CPLP的工作产品提交要求个人在12个总得分中至少有8个得分。从2005年6月到2011年12月，在4个测试窗口中，有1731个工作产品提交。通过率为72.7%，失败率为27.3% (ASTD, 2011a,b,c)。如果工作产品提交收到一个合格的分数，个人就会得到认证。寻求认证的个人必须支付测试费用(799 - 999美元)以及各种学习材料的可能费用，以协助测试准备工作。

1.2 胜任力模型

在创建CPLP指定之前，ASTD开发了一种能力模型，它成为了一套标准，由性能专业人员来评判(ASTD, 2011a,b,c;Salopek,2006)。这与其他专业领域如制造业(ETA, 2010)，人力资源(SHRM, 2013)，健康与安全(Chang, Chen， amp; Wu, 2012)和调解(ACR, 2011)同步，在这些领域中，专业协会发展了胜任力模型，以通知认证设计和实施。胜任力模型通常扮演的角色是提供一个专业领域的专家被识别的标准(他们可能被评估)，从而成为通过认证项目评估领域专业知识的起点。ASTD胜任力模型的开发过程如下:第一阶段:1。在2003年的国际会议和博览会上进行了75次探索性访谈，并结合了思想领袖和实践者。2。对过去的ASTD研究和超过100项能力研究进行了广泛的文献回顾。3所示。与60位主题专家、思想领袖和实践者进行深度电话访谈和专题小组讨论。4所示。运用结果，构建了胜任力模型。第二阶段:5。该草案是一项基于网络的调查的基础，以验证该模型。超过2050的受访者参与了这项调查。6。团队对调查数据进行了解释并最终确定了模型(Davis, Naughton， amp; Rothwell, 2004，第31页)。这一胜任力模型是在ASTD 2004年的书中阐述的，它是关于未来的主题:塑造新的工作场所学习和表现能力。请参阅下面的图片，以获得来自ASTD的CPLP网站的模型的可视化表示:在模型的基础上(图1)是该职业的基础能力。基础能力包括个人、人际关系、业务和管理能力。下面的问题是金字塔这一部分的重点:(1)个人与人的关系和影响，政策和变化(人际能力)有多好?(2)在不同的情况下(业务和管理)，个人分析、制定和实施决策的效果如何?(3)个人在事业上的前瞻性，以及他/她如何适应变化(个人能力)?在该模型的下一层次是9个专业领域(AOE)，包括职业规划和人才管理、指导、培训、设计培训、促进组织变革、改善人的表现、管理学习功能、管理组织知识、以及度量和评估。胜任力模型的最后和最顶层是角色。这四个角色分别是:(1)学习策略家，(2)商业伙伴，(3)项目经理，(4)专业专家。胜任力模型概述了该领域专业人才的期望水平，并已成为CPLP指定的基础。

1.3其他相关研究

几项研究(Chen,2005)关注 ASTD胜任力模型，其中许多是关于在其他国家和文化中应用ASTD胜任力模型的案例。然而，关于CPLP认证的研究非常有限。Hutchins和Burke(2007)发现，ASTD的CPLP考试材料只对转移知识进行了粗率的评估，而Williams（2013)发现了在ASTD胜任力模型中“必须具备”的能力。所有的研究均未被发现对CPLP评估过程的整体有效性进行检查，包括面部、内容、标准、结构或其他方面。另一方面，一些研究(Haynes, Richard， amp; Kubany,1995;波特amp;内克,2011;Santelices amp; Taut, 2011)研究了与其他认证工作相关的有效性问题。例如，Pecheone和Chung(2006)指出，加州教师(PACT)的绩效评估是教师个人能力的有效衡量标准。这项研究的一个发现表明，加州的教学绩效期望(TPE)标准、协议评估以及安全可靠的专业实践所需要的技能和能力之间存在很强的联系。

1.4评估框架

是否有证据支持CPLP认证的内容有效性?CPLP流程如何彻底遵循ASTD胜任力模型?CPLP流程如何将模型作为评价工具来评价该领域专业人员的素质?为了有效地评估测试与程序的内容规范的一致性，使用了一种对齐方法。在许多不同的校准方法中(Davis-Becker amp; Buckendahl,2013;傅强恩,2003;波特,2002;Webb, 1997)，作者选择使用Webb的(1997)方法，因为它最好的目标是本研究的研究目标。Davis-Becker和Buckendahl(2013)总结了韦伯在之前的研究中使用的方法论，他指出，明确的并发性、知识的深度、知识的广度和知识的平衡是评估和内容标准(p. 24)之间的一致性决定中仅有的四个要素。在本研究中，我们选择关注这四个方面。以下是内容焦点的四个具体标准的简要总结。分类并发比较了在标准和评估中出现的内容类别之间的相似性。知识一致性的深度比较了知识的深度或标准所要求的认知需求，并通过评估来衡量。知识对应的范围将标准所要求的知识广度与评估中所要求的内容进行比较。表示的平衡比较了在评估中出现的标准中对某些主题的强调。1.5。研究问题本研究的目的是评估总体CPLP的指定是否代表了ASTD的胜任力模型。研究问题包括:1。在CPLP知识考试中，ASTD胜任力模型的组成部分是否有代表性?2。ASTD胜任力模型的组成部分是否在工作产品提交中表示?我们将进一步讨论我们的分析地图的结果如何与Webb(1997)概述的对齐原则。

2.方法

采用定性定量方法对数据进行收集和分析。在分析了ASTD胜任力模型的主要定性主题之后，我们将模型与知识考试测试问题的项目代表进行了比较，以及在ASTD的CPLP公告中发现的工作产品提交标准我们通过开发一个矩阵来快速比较关于专业知识、角色和能力领域的数据之间的关系。这个过程涉及内容分析技术。内容分析“使研究人员能够间接地研究人类行为，通过对他们的交流进行分析”一个人或群体的有意识和无意识的信念、态度、价值观和想法常常在他们的交流中被揭示出来。

2.1内容分析的步骤内容分析包括以下步骤:

2.1.1确定目标

我们的研究目的是评估总体CPLP的名称是否代表了ASTD的胜任力模型。

2.1.2定义条款见表1所示

2.1.3指定分析单元

分析的单位是在ASTD胜任力模型、CPLP知识测验和CPLP工作产品提交中发现的短语。

2.1.4查找相关数据

与我们的研究相关的数据包括ASTD能力模型、CPLP学习书籍和CPLP公告。

2.1.5讨论

开发一个理由我们看是否数据来源(成员国知识考试中发现的问题的类型,和法官的评分题目使用检查工作产品提交)充分代表了美国胜任力模型,并提供方法来验证知识考试和工作产品是否提交指南很适合胜任力模型。

2.1.6开发一个抽样计划

2.1.6.1知识考试

我们随机抽取了CPLP学习书籍中九个专业领域的三个问题，总共有27个问题。考试一个例子或真或假的问题是“根据PBT模型,学习者必须证明知识或技能之前离开类或指令”,和一个多项选择问题是“下面哪个不是一个最佳实践知识管理在一个组织的例子吗?(a)信息分块，(b)测量，(c)显性知识，或(d)协作。2.1.6.2工作产品提交

对于工作产品的细分，在9个AOEs中，有以下6个领域被ASTD包括:设计学习、提供培训、改善人类绩效、测量和评估、管理学习功能、促进组织变革。我们分析了六个AOEs中的每一个的等级，其中包括四个部分:项目关系、规划、产出和结果。示例工作产品文章问题提供培训效果范围规划范畴包括:“描述你解决了物流的规划步骤的学习环境,材料,和媒体使用的培训活动”,“你是什么信息对参与者的背景、经验和统计之前的课程?你是如何利用这些信息准备交付的?包括在你的回答内容，便利的风格，和任何意外事件，限制，或你所处理的限制。

2.1.7制定编码分类

我们的编码分类反映了ASTD能力模型信息的三个部分:AOEs、基础竞争和角色。内容分析过程涉及到使用现有的编码分类和重新测试，具体称为演绎内容分析(Elo，2008)。研究中使用的方法可以与归纳内容分析相比较，归纳内容分析是在没有理论可用的研究中使用的，研究人员必须从数据中归纳出分类(Zhangamp; Wilde, 2009)。在附录A和B中可以找到演绎内容分析的分类矩阵。

2.1.8检查

可靠性评级机构之一三位研究者独立分析了这些数据，以“评估两个或更多分类器之间的协议”。这三位研究人员是这份手稿的合著者，并在教学系统技术的研究生阶段接受过培训。他们都参加了评估的高级课程，并写了几篇关于评估培训和绩效改进的论文。在内容分析中，可靠性是一个关键问题。可靠性被认为是内容研究中客观性的主要测试(Rourke, Anderson, Garrison， amp; Archer, 2001)。Fleiss的kappa是用来测量内部可靠性的，而不是科恩的kappa，因为Cohen的kappa只适用于两个raters (Fleiss, 1971)。Fleiss的kappa适用于任意数量的评分者。这里的分类评分是一个不同意的量表。在下面的图2,三大评级机构(n)分配63项矩阵比较主题之间的关系在数据有关领域的专业知识,角色和能力同意/不同意类别(k)。对于工作产品,评级机构分配42项(6效果范围共有7能力和角色)同意/不同意类别。这些类别在列中呈现，而63项在行中呈现。有关专业领域的数据被描述为“s1”、“s2”、“s9”。三个基本能力分别被标记。 (即四个角色。学习战略家、商业伙伴、项目经理和专业专家被分别称。每个单元格对应的是rater是否表示某个特定的AOE代表了某个基本的能力，而一个1是“同意”的，而一个0是“不同意”的。

协议可以被认为是这样的，如果固定数量的人将同意/不同意的等级分配给一些项目，那么kappa将会给出一个度量标准的一致性。

2.1.9分析数据

在对能力模型与测试问题之间的关系进行了分类矩阵分析之后，我们对数据进行了定性分析。研究人员把注意力集中在具有高可靠性的项目上，以确定考试题目和工作产品提交问题的主题，但如果考虑到怀疑的好处，即使是微弱的显示(只有一个评分者)也会被考虑。根据Patton(1990)和Sandelowski(1993, 1995)的分析，有两种方法来构造一个矩阵进行分析。可以从符合分类框架的数据中选择一个方面

全文共9345字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[13414]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可： Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版

您可能感兴趣的文章