教学设计成果评价方法

无论是教学设计方案还是学习材料，这些设计成果一般在推广使用之前，要在小范围内使用，测定它的可行性、适用性和有效性以及其他情况，来检验方案并不断修改、完善方案，使教学设计过程及其成果更趋有效。教学设计成果的评价一般也包括形成性评价和总结性评价两种形式，但它不同于其它评价的主要特点在于教学设计成果的评价主要以形成性评价为主，也就是说，教学设计成果要在其形成的同时对其加以评价。

形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学设计。形成性评价开始于分析阶段，持续于选择和设计阶段，如果计划中还有试用阶段，那么还将持续到实施过程的前期。

总结性评价是整个评价过程逻辑上的第二步，以帮助组织确定是否将“汤”加到绩效改进的“菜单”上。“当厨师在品尝汤的时候，这就是形成性评价；而由顾客品尝汤时，则是总结性评价。”（转引自：Stolovitch. H & Keeps.E，1992).

总结性评价是证明教学设计有效性或不足最客观的办法，包括充分的收集信息并利用这些信息作出利用的决策。从根本上讲，总结性评价着眼于教学设计的结果，并力图回答两个问题：

l       教学设计是否真正解决了教学问题？

l       教学设计是否优化了教学？获得了比较理想的教学效果？
在总结性评价阶段对数据的收集和分析都比形成性评价更正规。它可能采用一些形成性评价时用过的同样工具，如访谈、观察、小组过程以及调查。但和形成性评价不同的是，总结性评价在很大程度上依赖测试与测量的策略和统计分析来评价教学设计的效果，并为决策提供客观的依据。通常是由外来的专业评价人员来执行总结性评价。


教学设计结果的形成性评价
无论是教学设计方案还是学习材料，这些设计成果一般在推广使用之前，要在小范围内使用，测定它的可行性、适用性和有效性以及其他情况，来检验方案并不断修改、完善方案，使教学设计过程及其成果更趋有效。教学设计成果的评价一般也包括形成性评价和总结性评价两种形式，但它不同于其他评价的主要特点在于教学设计成果的评价主要以形成性评价为主，也就是说，教学设计成果要在其形成的同时对其加以评价。
一、教学设计结果的形成性评价
形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学设计。形成性评价开始于分析阶段，持续于选择和设计阶段，如果计划中还有试用阶段，那么还将持续到实施过程的前期。
1．教学设计形成性评价的方法
形成性评价通常包括六个阶段：自我评价、专家评议、一对一评价、小组评价、实地试验、进行中的评价。需要说明的是，在这里用“阶段”这个词是为了帮助设计人员明确：在实施上述形成性评价的时候，要注意前后的关系。通常情况下，这些方法是依次实施的，当然，在设计实践中，可能不会实施所有的形成性评价方法，如一般的课堂教学设计的形成性评价很少进行一对一评价、小组评价，专家评议、实地试验等方法经常被用于一些公开课、研讨活动；而在企业环境中，形成性的实施相对完整一些。
（1）自评（Design Review，初始排错）
设计者、开发者或设计团队中的一些成员在将方案呈现给专家或使用者评价之前对其进行评价。这一过程通常被称作“内部评议”，一般是在外部评价之前进行。
为使自评更有效，设计开发者应完成以下任务：
l         制定一套评价标准。这套标准可以和针对专家、使用者评议的一样，也可存在差别，但应尽可能涵盖所有教学过程中教师和学生会关注的所有项目，以及设计团队需要解决的所有设计和开发问题。
l         将所有设计成果先搁置几天以便于形成结果与意图的距离。
l         成为准执行者并试行这套方案。
l         记录各种积极和消极的反馈。
（2）专家评议（Expert Review）
主要指邀请一些内容专家、教学设计专家或者相关领域的专家，针对教学设计各要素的选择或设计提供信息，并（或者）在方案实施之前对其中的各个草拟要素进行评议：
l         方案中所涉及的教学内容是否是正确的、最新的？
l         方案中的所有观点是否是一致的？
l         提供的案例、实践练习、反馈是否是真实而准确的？
l         教学方法是否符合并反映现代教育观念和教育理论？
l         教学的内容、方法以及所用的教学资源是否适用于教学对象？
对于课堂教学这一层次的设计成果专家评议，往往采用说课的方式；对产品或系统这两个层次的专家评议，通常采用专家评议会的方式。教学设计人员要认真记录每个专家的详细意见，并对这些评议结论进行“再检查”，从中找出仍然存在的问题，对方案和学习材料进行修改。
（3）一对一评价（One-to-One Review）
一对一评价有时也被称为对教学设计成果的诊断性评价阶段。在这个阶段中，设计人员往往需要和三名或者三名以上具有代表性的学习者一起工作，从单个的学习者身上采集数据并修正教学材料，其目的是确定并改正教学中存在的明显错误，并从学习者那里获得对教学内容的最初使用数据和反馈。这是设计者首次从学习者的角度出发，对他们在设计和开发过程中所做的决策进行审视，来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。这个阶段的评价可以从以下几个方面进行（Walter O Dick, Lou Carey, James O. Carey，2000）：
l         明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？
l         影响力：教学对于学习者个体的态度和达到教学目标有没有影响？在态度方面，需要确定学习者是否意识到学习和自身是密切相关的、自己能够通过适当的努力就可以达到目标、对学习经历感到有趣并满意；在学习成就感方面，可以通过后测了解学习者是否能回忆起学习的信息、是否能完成任务，具体的方法可以是书面练习、口头回答教师的提问或者是完成一件事、一个作品。
l         可行性：如果得到所需的资源（如时间、教学情境），教学的可行性有多大？可行性主要考虑学习者的能力水平、教学媒体和教学环境，如学习者的成熟度、独立性和动机水平如何影响完成教学所需的时间，学习者能否或者轻易地学会所要求的专业设备操作或技能，学习环境是否令学习者感到舒服，在规定时间内传递教学的成本是否合理等等。
一对一评价的过程关键在于它是一个交互的过程。设计人员要参与学习者的学习过程，观察学习者的参与情况，并在预先设定好的时机，和学习者讨论材料中呈现的内容。因此，在每次进行一对一试验之前，设计师都应该制定一个策略，决定交互该如何进行，如何向学习者进行说明，如何让学习者知道什么时候可以和评估人员讨论，如何鼓励学习者放松地谈论设计方案和学习材料。这就要求设计师有比较强的交流能力，能够在自己和学习者之间建立友好信任的关系，并进行有效的交流。
一对一评价收集数据的途径有观察记录、和学习者讨论中的记录、教学完成后的问卷和测验。在交流和记录的过程中，设计人员不仅要知道问题所在，而且还要了解问题的具体内容、学习者为什么会出现这种反应以及评估人员对此作出的解释，因为后者往往更能提供改进教学清晰度的有用信息。
很明显，每次一对一试验都只有一个学习者参加。学习者无需从大量学习者中随机抽取样本，只要挑选几个能够代表目标人群的学习者。在实际评价中，可以从高于平均水平、处于平均水平和低于平均水平各一个，如果有必要，也可以在完成了对这三个学习者的初步评价后再多挑选几个学习者进行一对一评价。在选择学习者的时候，既要考虑其知识和能力的水平，也要关心其他与学习者的成绩密切相关的特征，如学习者的态度、先前的经验、学习的风格等。
通过一对一评价，教学中的严重错误都会暴露出来，有些可以马上进行修改。但由于选择的学习者是有差异的，从每个人身上得来的数据都可能是不一样的，因此有些问题可能不会立即修改，需要等到其他学习者重新试验后或者小组评价后才会作出改动。
（4）小组评价（Small-Group Evaluation）
小组评价阶段往往是由8～20个目标人群的典型代表组成学习小组，利用教学材料自行学习，然后通过对他们的测试来采集所需要的数据。小组评价有两个主要目的，一个是确定在一对一评价后所做的改动是否有效；另一个是确定教学中还存在哪些问题，是否能适用真实的目标群。
小组评价往往需要收集两个方面的数据（Walter O Dick, Lou Carey, James O. Carey，2000）：
l         教学有效性：教学有效性主要包括学习者在前测和后测的成绩以及对教学的态度。前测一般包括入门技术和教学目标，后测测定学习者在教学目标上的表现，可以通过测试或练习获得；对教学的态度信息主要是通过态度问卷和后续访谈来获取。
l         教学可行性：一般包括学习者完成教学和所要求的绩效评测所需的时间以及在特定条件下实施教学的成本及可行性；实施或管理教学者的态度。
小组评价的基本过程和一对一评价中所采用的截然不同。在一对一评价中，评价人员始终和学习者处于互动的状态；而在小组评价中，评价人员（或者教师）在向学习者作出必要的说明和解释后（如果有前测就先进行前测），就按照方案中规定的实际教学方法、过程组织教学过程，在各个过程中，评估人员要尽可能少地干预。只有当教学环境出现问题以至于使教学过程无法按照方案继续下去的时候，评估人员才进行一定的干预，并且将出现的问题和解决方法如实记录。正是因为如此，在教学实施后的态度问卷中要尽可能详尽地包含教学方案的各个部分，包括教学设计的各个要素、教学实施中的问题以及他们对教学的改进建议，如：

教学设计成果的形成性评价

教学设计成果的评价既有一般教学评价的共性，也有其本身的特点。对教学设计成果的评价也有形成性评价和总结性评价，但一般都以前者为主。这里的形成性评价与教学过程的形成性评价除了评价对象不同，基本方法是一致的。所谓教学设计成果，可以是一种新的教学方案，也可以是一套新的教学材料，如教科书、教学录像、计算机课件等，这些设计成果在推广使用之前，最好先在小范围内试用，测定它的可行性、适用性和有效性，以及其他情况。
教学设计成果的形成性评价通常包括制定评价计划、选择评价方法、试用设计成果和收集资料、归纳和分析资料、报告评价结果等几项工作。

  １、制定评价计划

  制定设计成果的评价计划是项重要的基础工作，它将对以下四项工作作出详细说明，即在教学活动的每个环节中应收集何种资料才能确定成果的哪些地方是成功的、有效的，哪些地方是失败的、待改进的，应建立怎样的标准来解释收集的资料，应选择什么人来做成果的试用者；评价需要什么条件。

（1）确定收集资料的类型
  （2）确定评价标准
  （3）选择被试人员
  （4）阐明试用成果的背景条件



  ２、选择评价方法

  不论收集那种类型的资料都要借助某些方法，在教学设计成果的形成性评价中，主要使用测验、调查和观察三种评价方法。这三种方法在收集资料方面各有特长，如测验适宜于收集认知目标的学习成绩资料，调查适宜于收集情感目标的学习成绩资料；观察适宜于收集动作技能目标的学习成绩资料。此外，调查和观察还经常被用来收集教学过程的各种资料；前者适宜于收集学生、教师和管理人员对教学的反应资料；后者适宜于收集设计成果的使用是否按预先计划进行的资料。

在形成性评价所需收集的资料中，学习成绩资料面广量大，而且它所借助的评价方法与总结性评价又是通用的，因此格外受到有关研究者的重视。下面的表罗列了各种学习目标的成绩资料与适用的评价方法的对应关系，可供选用评价方法时参考。 学习目标  评价方法
知道 各种客观测验、标准测验
理解  论文测验、选择测验、面谈调查
创造力  论文测验、问题情景测验、面谈调查
鉴赏力  论文测验、问卷调查、面谈调查
读、写、算  各种客观测验、标准测验、观察
会话或讨论技能  各种客观测验、人际关系测验
动作或实验技能  观察、客观测验
态度、习惯、适应性 观察、面谈调查、问卷调查
职业能力倾向  能力测验、观察、面谈调查





  ３、试用设计成果和收集资料

  这是两项不同性质的工作，但几乎是同时进行的。其基本步骤是：

（1）向被试者说明须知
  （2）试行教学
  （3）观察教学
  （4）后置测验和问卷调查



  ４、归纳和分析资料

  通过上述的观察、测验和问卷，评价者获得了一系列所需的资料，为了便于分析，可以根据需要将这些资料归纳在表。

制成图表后，评价者应对资料作一次初步分析：拿各类数据与评价标准作比较，考察各种现象的相互关系。经过分析，可能会发现一些重要问题，随即应对它们加以解释，并通过恰当的途径证实自己的解释。例如，当几种评价工具提供的数据对设计成果的某些方面显示出共同的趋势，而这种趋势与预期的教学目标相悖时，将予以特别关注。设计者可就这些问题咨询、访问教育学家、心理学家、学科专家和有经验的教师，或与被试师生进行个别面谈或集体座谈。这些访谈的目的是让各方人士对初步分析结果和改进意见加以证实。为此，设计者应持有虚心、诚恳、坦率和求实的态度，而当该成果遭到激烈批评时，还应保持冷静，以使所有被访者都能毫无保留地谈出意见。

最后可将访谈结果与初步分析结果综合起来，对评价资料作进一步的深入分析，并在此基础上酝酿修改设计成果的方案。



  ５、报告评价结果

教学设计成果形成性评价的一般过程
无论是上述哪一种形成性评价方法，通常都包括制定计划、选择评价方法、试用设计成果和收集资料、归纳和分析资料、报告结果等几项工作。
（1）制定评价计划
这是教学设计成果评价的准备阶段。在该阶段主要是要确定评价活动的目的、评价对象、评价的指标体系和在何种情况下从事评价和实施评价后所必须做出的决策程度，以及在什么时候、什么地方实施测量，获取信息以及如何组织等工作。一份完整的评价计划主要包括：
l         确定评价对象和评价目标
l         设计要评价内容的评价指标体系，如评价的是教学材料，一般可以从教育性、科学性、技术性、艺术性和经济性等角度建立具体的指标体系。
l         确定收集信息的类型和方法，以及处理统计数据的技术手段。形成性评价需要收集的信息主要包括教学目标的达成情况（一般采用学生的学习成绩）、学习者和教师的态度以及教学过程的实施情况，收集这些信息的方法有测验、问卷调查、访谈、观察、师生的反思报告等。
l         选择被试并阐明成果的背景条件。说明选择被试的条件、人数等，并解释教学设计成果的试用是在什么背景下进行的，需要什么条件支持等。
（2）实施评价计划
教学设计成果评价的实施阶段，主要包括以下工作：
（1）收集评价信息：这是一项基础工作，也是评价中工作量最大的工作。评价者要根据评价指标体系，逐项收集信息，全面、客观、真实地掌握评价对象的情况。在一对一评价、小组评价和实地试验等评价中，还要组织教学过程。
（2）整理评价信息
整理评价信息也就是对收集的信息进行汇总整理。通过采用观察、测验、访谈和问卷等方法，评价者收集到一系列所需的资料。为了便于分析，可以根据需要，将测量的数据资料进行统计处理，制成图表。制成图表后，评价者应对资料做进一步初次分析，拿各类数据与评价标准做比较，考察各种现象的相互关系。经过分析，可能会发现一些重要问题，随即应对它们加以解释，并通过恰当的途径证实自己的解释。例如，当几种评价工具提供的数据对设计成果的某些方面显示出共同的趋势，而这种趋势与预期的教学目标相悖时，将予以特别关注。设计者可就这些问题咨询、访问教育学家、心理学家、学科专家和有经验的教师，或与被试（师生）进行个别面谈或集体座谈。这些访谈的目的是让各方人士对初步分析结果和改进意见加以证实。为此，设计者应持有虚心、诚恳、坦率和求实的态度，而当该成果遭到激烈批评时，还应保持冷静，以使所有被访者都能毫无保留的谈出意见。最后可将访谈结果与初步分析结果综合起来，对评价资料做进一步的深入分析，并在此基础上酝酿修改设计成果的方案。

接上：

（3）处理评价结果——进行评价成果报告
由于修改设计成果的工作不一定马上就进行，也不一定由原设计者来做，因此需要把设计和评价的有关情况和结论形成书面报告。在这里，评价者需根据评价报告的性质和报告的读者对象来确定报告的内容、形式。报告可以是正式的，也可以是非正式的；可以是描述性的，也可以是数据分析的。在向有关部门通报评价结果时，评价者所要做的不仅仅只是提出报告、表明结果，还应该展示他们是如何对资料做出解释，是如何从分析中得出结论以及他们对解决问题的建议。评价报告的内容一般包括：设计成果的名称和宗旨、使用的范围和对象、试用的要求和过程、评价的项目和结果及结果的分析、修改的建议和措施、参评者的名单和职务，以及评价的时间等等。评价报告以简明扼要为宜，具体资料如：各种数据、访谈记录、分析说明等可以作为附件。
上面提出的一些评价的要素和步骤，但这只是对教学过程的一种静态分析。在实际教学活动过程，各要素之间并不是独立的、互不联系的。以往人们对教学过程的研究，习惯于采取以分析思维为主导的研究方法，只重视对教学的各部分分别进行细致的研究，而忽视对各个部分相互关系的研究。因此，对各部分相互关系的研究即教学结构的研究和设计可以帮助我们从整体上去综合的认识和探讨教学设计模式中各种因素之间的关系及其多样化的表现形态，有利于我们从动态的角度去把握教学设计过程的本质和规律，无论是在指导实践还是在理论研究上都具有十分重要的意义。




影响形成性评价的一些因素

教学设计过程的形成性评价部分会因为教学理论方法和哲学观的不同而不同。但不管怎样，你都不能靠推测来说明你的教学材料具有有效性，而必须要用学习者来测试这些材料。因此，你要尽可能搜集最真实反应材料有效性的数据。在计划和实施数据搜集过程时，设计师还要对形成性评价的环境和参与评价的学习者做如下几方面的考虑。

（1）环境方面的因素

环境方面的因素不仅要考虑物理环境因素，还要考虑心理环境因素。在进行评价时，评价人员要确保所有技术设备都要能有效地运行。很多教师就是在使用新材料时因为新材料要用到的设备不能正常运作而受挫，结果是从学习者处得来的数据无效，教师也只得到了为了试验材料必须要保证设备良好运作的教训。此外，在一对一评价、小组评价阶段，尤其是一对一评价时，能否促使学习者畅所欲言，真诚地表达自己的意见，除了有良好的物理环境外，如安静并且便于集中学习者注意力的环境，还必须要有良好的心理环境，能够使学生感到轻松，愿意产生一种信任感。

（2）学习者方面的因素

在形成性评价的任何阶段选择参与评价的学习者时，都要避免完全依赖教师对学习者入门知识的判断。只要可能，都要进行入门知识测试，以确定被试是否为该教学材料目标人群的一份子。经验表明，由于各种原因，教师有时候对被推荐参加形成性评价研究的学习者的教学准备情况估计不准，所以要尽可能地去确定学习者的入门知识，同时还要考虑如何去对待入门技能水平不同的学习者。

（3）评估人员方面的因素

在进行小组评价、实地试验等的过程中，尤其是实地试验中，方案实施者往往是教师，教师的教学能力、对方案的理解力以及所具备的技能等都不尽相同，可能会使评价的结果产生一定的偏差。另一方面，评价的结果也许并不如预想的那么有效，这可能会导致设计人员对自己工作的不满意，会产生失望感，这也会在一定程度上影响评价的结果，尤其是一对一评价的结果。此时，需要设计人员清醒地认识到正、负反馈的各自的价值。

（4）形成性评价实施中的条件因素

这些因素包括时间、经费、人员安排等的问题，如当一对一评价没有办法实施时，设计人员可能会采用找人通读材料并用问卷进行调查的替代性方法，这也会影响评价的结果。

对于设计师来说，基本原则就是形成性评价是一定要进行的，问题是何时、何地、以何种方式进行。有时候有充足的时间和资源进行形成性评价，但是在不可能这么做的时候，设计师也有责任想方设法通过各种途径，尽可能多地搜集有关教学各个方面的信息，以便教学能得到适当地改进。