641907EROXXX10.1177/2332858416641907Cope and KalantzisShort Title
research-article2016
AERA Open
April-June 2016, Vol. 2, No. 2, pp. 1–shy;19
DOI: 10.1177/2332858416641907
copy; The Author(s) 2016. http://ero.sagepub.com
Big Data Comes to School: Implications for Learning, Assessment, and Research
Bill Cope
University of Illinois
Mary Kalantzis
University of Illinois
The prospect of “big data” at once evokes optimistic views of an information-rich future and concerns about surveillance that adversely impacts our personal and private lives. This overview article explores the implications of big data in education, focusing by way of example on data generated by student writing. We have chosen writing because it presents particular complexities, highlighting the range of processes for collecting and interpreting evidence of learning in the era of computer-mediated instruction and assessment as well as the challenges. Writing is significant not only because it is central to the core subject area of literacy; it is also an ideal medium for the representation of deep disciplinary knowledge across a number of subject areas. After defining what big data entails in education, we map emerging sources of evidence of learning that sepa-rately and together have the potential to generate unprecedented amounts of data: machine assessments, structured data embedded in learning, and unstructured data collected incidental to learning activity. Our case is that these emerging sources of evidence of learning have significant implications for the traditional relationships between assessment and instruction. Moreover, for educational researchers, these data are in some senses quite different from traditional evidentiary sources, and this raises a number of methodological questions. The final part of the article discusses implications for practice in an emerg-ing field of education data science, including publication of data, data standards, and research ethics.
Keywords: big data, assessment, research methods, research ethics, education
Big data has become a much-used phrase in public discourse, optimistically as well as controversially. In more optimistic moments, big data heralds “a revolution that will transform how we live, work, and think” (Mayer-Schouml;nberger amp; Cukier, 2013), changing the way we do business, participate in government, and manage our personal lives. In moments of anxiety, we worry about the effects upon our lives of sur-veillance by corporations and governments (Podesta, Pritzker, Moniz, Holdern, amp; Zients, 2014). In education, we have wit-nessed a similar range of promises and anxieties about the coming era of big data. On the one hand, it is claimed that big data promises teachers and learners a new era of personalized instruction, responsive formative assessment, actively engaged pedagogy, and collaborative learning. On the other hand, critics worry about issues such as student privacy, the effects of profiling learners, the intensification of didactic pedagogies, test-driven teaching, and invasive teacher-accountability regimes. Whether onersquo;s orientation is optimis-tic or anxious, all agree that the changes are substantial and that we educators have yet barely explored the implications.
This article maps the nature and consequences of big data in education. We set out to provide a theoretical overview of new sources of evidence of learning in the era of big data in education, highlighting the continuities and differences between these sources and traditional sources, such as stan-dardized, summative assessments. These sources also sug-gest new kinds of research methodology that supplement and in some cases displace traditional observational and experimental processes.
We ground this overview in the field of writing because it offers a particularly interesting case of big data in education, and it happens to be the area of our own research (Cope amp; Kalantzis, 2009; Kalantzis amp; Cope, 2012, 2015b).1 Not only is writing an element of “literacy” as a discipline area in schools; it is also a medium of for knowledge representation, offering evidence of learning across a wide range of curricu-lum areas. This evidence has greater depth than other forms of assessment, such item-based assessments, which elicit learner response in the form of right and wrong answers. Writing, in contrast, captures the complex epistemic performance that
Creative Commons CC-BY: This article is distributed under the terms of the Creative Commons Attribution 3.0 License (http://www.creativecommons.org/licenses/by/3.0/) which permits any use, reproduction and distribution of the work without further
permission provided the original work is attributed as specified on the SAGE and Open Access pages (https://us.sagepub.com/en-us/nam/open-access-at-sage).
Cope and Kalantzis
underlies disciplinary practices. Examples of such disciplin-ary practices that are best represented in writing include argu-ment in science, information texts in technical subjects, worked examples in math, and documentation in computer code. Writing is also a medium for the representation of affect in self-reflective, metacognitive, and critical student texts. Most relevantly for this article, writing pushes the boundaries of new measurement technologies and processes, illustrating the range of possibilities in the collection and analysis of evi-dence of learning in technology-mediated learning environ-ments (Cope, Kalantzis, McCarthey, Vojak, amp; Kline, 2011; Dawson amp; S
剩余内容已隐藏，支付完成后下载完整资料
附录A 译文
大数据步入校园：对学习，评估和研究的意义
摘要
“大数据”的前景如何，不同的人有不同的看法，许多人对其抱着乐观积极的态度，认为我们会拥有一个信息丰富的未来，但也有人觉得这会对个人的隐私造成不利。本文以学生写作产生的数据为例，旨在讨论大数据对教育行业的意义何在。之所以选择写作是因为其特殊的复杂性可以很好地体现计算机辅助下数据评估，数据收集的过程及其面临的挑战。当然写作的重要性不仅是因为它是核心文化学科领域的中心，更是因为它是多个不同领域传达更加深刻的知识的理想媒介。在定义了可以代表教育行业大数据的样本后，我们整理了新兴学习数据的来源，包括机器评估、嵌入学习中的结构化数据和学习活动附带产生的非结构化数据，这些来源不管是单独算还是加起来都会产生前所未有的数据量。我们的结论是，这些新兴的学习数据来源会对传统教育行业中评估和指导的关系产生重大影响。此外，对于教育研究者来说，这些数据与传统数据某种意义上说来源大不相同，这就引出了一些方法论问题。文章最后也讨论了数据科学新兴领域在教育行业的实践意义，包括数据发布、数据标准化和研究伦理。
关键词 大数据，评估，研究方法，研究伦理，教育
无论人们对它的态度是乐观还是有争议的，大数据已成为公开讨论中一个经常使用的短语。从乐观的角度说，大数据预示着“一场将改变我们的生活，工作和思维方式的革命”，它改变了我们开展工作，参与政府和管理个人生活的方式。但随之而来的焦虑是我们担心公司和政府监督我们日常生活带来的影响。在教育行业，我们对即将到来的大数据时代有类似的期待和忧虑。一方面，大数据为教师和学生带来了个性化教学，响应式评估，积极参与教学法和协作学习的新时代。另一方面，评论家担心学生隐私，学习者概况的影响，强化说教教学，驱动测试的教学以及侵入性教师责任制带来的一系列问题。我们每个人的想法不同，但是几乎所有人都同意这将是一场巨变，而我们的教育研究人员却很少探索过其中的含义。
本文论述了大数据在教育领域的性质和结果。我们将理论地概述突出教育大数据时代新的学习评估来源与传统来源（如标准化的总结性评估）之间的连续性和差异。这些来源还指出了新的研究方法，可以在某些情况下取代传统地观察和实验地过程。
我们将这一概述放在写作领域是因为它提供了一个特别有趣的教育大数据案例，而且这恰好又是我们自己研究擅长的领域。写作不仅是学校里一个学科领域的“认识”元素；它还是一种知识表达的媒介，为大量课程地学习提供凭依。这比其他形式的评估，例如基于项目的评估，具有更大的深度，这些评估会以对错答案的形式引起学生的注意。相比之下，写作则抓住了学科实践背后复杂的认知表现。像科学论述、技术学科的信息文本、数学方面的工作实例和计算机代码中的文档这些规律性做法的案例最好以书面形式表现出来。写作也是自我反思、元认知和批判性学生文本中情感表达的媒介。最有关联的是，本文的写作突破了新测量技术和过程的界限，说明了在学习环境中收集和分析学习证据的可能性范围。写作为我们提供了可在研究学习过程中附带收集有深度和广度的数据的例子。
文章分四个部分，每个部分都以写作为例，但同时有一些写作和写作评估之外的概括。第一个部分，我们尝试对科技媒介学习环境中出现的数据类型进行分类。其次，我们探讨了这些数据在学习和评估中，特别是在写作中的形成性评估和探究性学习中的应用。第三，我们考察了这些数据扩展来源的方式，发现大数据和学习分析方法可以补充传统的定量和定性研究方法。最后，我们考虑这些发展对包括数据访问、数据共享和研究伦理的研究基础设施的影响。
为了给这个阶段下一个定义，教育中的“大数据”分为：
- 在数字媒介、网络互联的学习环境中有目的地或偶然地记录或互动，因为数据点较小，记录是连续的，其容量可能非常大；
- 可记录，可分析的各类数据；
- 这些数据的可获取性和持久性，可能（a）立即可用于形式评估或适应性教学重新校准，以及（b）持续用于开发学习者简介和纵向分析；
- 数据分析，或是基于学生和教师反馈、机构帐户能力、教育软件设计、学习资源开发和教育研究等数据特定特征的综合与演示。
短短几年内，出现了两个以解决大数据引起的一系列问题新的教育分支学科，每一个分支学科都有不同的教育数据挖掘和学习分析。
我们将下一节中讲述的“非结构化数据”是教育数据挖掘的领域主要集中点，我们试图分析和解释如何从大型和噪声数据集，例如日志文件、击键、点击流数据和自然语言中的讨论线程中学习。学习分析领域往往更关注我们所描述的结构化数据，包括“被设计”的数据模型，例如，智能导师、游戏、模拟和基于评估准则的同行评审。这些子领域都有自己的会议、期刊，新兴设计师和研究人员社区。但在实践中，这些领域是交叉重叠的。因此，与其试图将本文中各个子学科分开，不如将该领域作为一个整体来解释为“教育数据科学”。
计算机辅助学习的证据
学习环境
在以计算机为媒介的教育环境中，学习数据可以从多方来源中收集。我们希望将这些来源分为三大类，每一类都能提供一系列学科领域关于学习写作和写作学习的数据。
在这些主流教育数据类别中，技术和数据类型有巨大的差异。在计算机辅助学习环境中短时间生成这些数据是有可能的。不同的是连续生成的可能性、它们的多样性，以及分析跨不同来源聚合和集成的数据集的可能性。
机器评估
在过去的几十年里，传统的评估方法在计算机化的过程中有两个主要领域发生了变化：计算机自适应测试（CAT）中的选择反应测试和从简短的回答到扩展性的论文的供应反应测试的自然语言处理领域。
CAT扩展了长期存在的项目反应理论，在该理论中，学生对测试项目的正确程度会根据学生知道或理解的内容（潜在的认知特征）和项目的相对难度的变化而变化。计算机辅助测验根据学生回答的正确与否，慢慢为他们提供更难或更容易的问题。这样的测试跨度范围更广，达到准确的分数速度更快，更有挑战性，因为没有两个学生最终参加完全相同的测试，这为学生提供了更加准确的标定分数。计算机诊断测试（CDT）允许对测试中的主题区域进行编码，并对测试中涉及的subdo主干内的分数进行分解。在读写能力领域，CAT评估最常被用于阅读理解能力测试，事实上，阅读理解能力常常成为读写能力的代表，而不去管写作能力。CAT和CDT评估也可以用来测试写作的一些特定特征，如语法和词汇。
这些测试方法和技术越来越多地应用在教学实践中，例如，电子教科书中的章末测试、在线阅读程序中的理解测试、学习管理系统进行的测验。这些课程中的测试可以作为支持有适应性、自我督促和个性化的学习决策点，就像做了一个询问“这个学生准备好继续学习了吗？”。“现阶段每个学生每年可能会回答上千个这样的问题，这样合起来的测试数据量是前所未有的。通过这种方法，可以通过一系列临时和总结性评估工具来确定学生具体的优劣，这形成了一种学生进步的全新观点。
有一种新的提供学生对问题的即时反馈，从而服务于形成性评估功能反应项目。机器学习技术也可以应用于在使用中改进的基于项目的评估。例如，新设计的项目，甚至是教师开发的尚未验证的项目，都可以与确定其难度的测试良好混合，学生也可以根据自己所想提供反馈（正确的想法/错误的答案或错误的思维/正确的答案都可能会促使改进设计项目）。这些发展更好地支持了项目开发和评估。此外要全面了解学习者的进步，还要建立一个全面的学习者进步观，需要做大量的工作来发展本体论，这些本体论规定了多个评估项目的语义（什么是潜在的认知特征？）并支持详细的标准映射（确切地说，课程中包括了什么？）。
如今，自然语言处理技术对简短回答和长文章的响应评估评分可靠性已经和人类打分可靠性相当。写作评估的最大障碍或许就是人为评分的成本，这不仅包括人们阅读学生测试脚本的时间，还包括评分员的培训和审核以确保跨期可靠性。这就是为什么直到现在，基于项目的阅读理解一直被认为是认识能力的代表。不仅美国共同核心国家标准（CCSS）要求在信息素质课程中重新平衡写作地位；他们还认识到写作在包括科学、社会研究、技术科目等一系列课程领域的重要性。结果，读写教学重点从主要的接受模式（阅读）重新平衡，提高了生产模式（写作）的相对重要性。这种再平衡与积极参与和创造力的大众必备的“21世纪技能”相一致。因此，开展更有效、更有价值的写作评估是一个至关重要的挑战。
自然语言处理程序为写作评估提供了两种通常相互配合使用的工具：统计语料库比较和分析性文本解析。在统计语料库比较中，给计算机一个人类分级文本的语料库来进行“训练”；机器比较新文本，并根据人类分级文本的统计相似性对它们进行分级。在分析性文本解析的情况下，计算机被设定搜索语言特征，例如文本衔接的标记、词汇的范围和复杂性，以及单词聚类和频率的潜在语义。
研究表明，统计语料库会比总结性评估产生更加可靠的回顾性得分。然而，它的局限性在于无法提供具体的有意义的反馈，而且它的一些措施会让结果不合理。例如，文本的长度、较长的句子和词汇的多样性对分数有显著影响。文句分析能够提供像语言特征的特定提示一类有意义的反馈，例如语音或简单的技术性词汇。在大数据环境下，很明显语言特征的潜在数量与语言本身的复杂性一样大。在形成性评估的背景下，自然语言处理的关键是提供有意义的建议，以减少可能与终结性分析或与学生即使学习相关的大数据。机器解析技术的新兴发展领域包括概念主题建模、映射论点结构和情绪分析。
结构化、嵌入式数据
计算机辅助教学（CAT）和自然语言处理扩展了选择反应和提供反应评估的长期方法，而计算机辅助学习可以支持生成被作为教材的创新形式的结构化数据。在这里，我们重点介绍了三种不同的技术和教学过程：程序定义的机器反应；机器介导的组织和结合，人类争论定义反应和分布式机器学习。
程序定义的过程非常适合于高度结构化的领域，在这些领域中，学习数据可以从正确错误的答案中找到。典型的例子有智能导师、学习游戏和模拟程序，它们更多成功地用于正式结构的领域，如代数或化学。就写作而言，程序定义的过程可用于解决语言学习中相对清晰的方面，例如刚识字中的语音，以及一系列写作常用的词汇和语言惯例。写作导师还可以在写作过程中从大纲到修订的不同阶段，战略性地安排正式开工或游戏活动。
潜在的智能导师、教育游戏和模拟程序是一种认知模型，它展示了想要预测一系列的学习路径领域的元素。在这些情况下，学习分析需要依赖于知识追踪或学习路径追踪。VanLehn举例说明了这个过程，描述了构成智能导师根基的内部和外部反馈回路：内部回路由执行任务的一个步骤组成，该步骤生成正确或错误的响应、基于该响应的反馈，或者在一些表示不确定或错误的情况下生成提示。然后，在外部循环中，根据学生的反应决定下一个合适的任务。在每个决策点可能有多条“正确”路径的情况下，决策树可能很复杂，导航路径也可能不同。然而，每一步的备选方案都受到该领域在认识、直接语言“事实”方面的特殊性质的限制。
程序定义学习技术的最新发展包括使用潜在语义分析来“阅读”简短书面回答的会话导师和使用机器学习方法基于历史数据的自动提示生成。在所有这些场景中，伴随学生群体的不断发展，数据的巨大性都源于大量的数据点。这些数据点可以通过即时反馈的形式使得学生和教师在语义上简单易读。随着时间的推移和许多学生（一个班级，软件的所有用户，人口统计）数据的大小成比例地增长。学生间在教学上各种差异也可以通过知识追踪可视化清晰可见。
论点定义的过程涉及非形式推理，它允许在一定范围内有一系列不同的结论。这与形式逻辑形成了对比，在形式逻辑中，正确论点的难以表达是可能的-过程驱动的数字学习环境的基本逻辑。非形式推理依赖复杂的上下文环境，这涉及人的判断，要求人在面其他的推理的同时，明确自己的推断，因此很有可能引发冲突。非形式推理的例子有证据支持的主张、伦理推理、审美判断、批判性分析和自我反省。学校层面的推断包括科学或历史论证、意见性文本、信息和解释，以及在美国CCSS中使用文本类型术语进行的书面叙述。在高等教育中，这类推理的例子还有临床案例分析、法律论证、商业案例研究、程序框架内的工业建筑设计、环境分析、认知自我反省、计算机代码文档，数学和社会问题的有效解决方案。这类领域中的争议不代表“任何事情都会发生”；相反的仍有讨论其他可能性的余地。
这些开放式推理是代表写作的理想过程，以捕捉多模态知识表示的丰富性，在数字媒体时代，这些多模态知识的表示非常适合于包括嵌入式媒体，如图表、视频、数据集和公式在内的一系列的学科。基于准则的评估是使评估过程系统化的一种方法。长期的学术实践中，作家和评论家在匿名的情况下构成一定程度的客观性。研究表明，当标准制定的同时等级和分数被明确规定下，研究的可靠性会提高。在这些条件具备的情况下，评级的平均值接近专家评级。大规模开放在线课程中的同行评审就是一个突出的例子，匿名课程参与者在明确规定评审标准和评级标准的情况下的判断可达专家水平。使用一个简单的、位于云上的源服务，可以实现另一个很难管理的过程：匿名化、运行域化和多个审阅者的同时交互。这些服务空间还被设计用于收集定量定性的数据、分配反馈和综合结果。评审也可以从多个角度进行调整和汇总-同行、个人、专家，教师，还可以根据不同的评审评分进行校准。计算机介导的审查过程管理了包括多重审查、多重审查者角色、多重审查标准、定量评级加定性评级，以及通过版本历史记录跟踪进度在内的各种复杂的社会问题。这些机器调解过程的结果表明，严格的多角度审查作为一个常规
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[410002]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
