学员档案：Z 同学，某高校产品设计方向艺术硕士。学位论文围绕一类日用产品的两个设计方案展开，核心章是对两套方案做比较与择优。盲审意见集中在一处：方案优劣的判断只有结论没有依据，"更美观""更合理""体验更好"反复出现，但没有说明依据什么维度评价、由谁评价、评价结果是否可靠。经过重建评价体系、补做评审与测试后，论文通过盲审。
一、"更好"不是一个可以论证的结论
我们第一次读 Z 同学的评价章，看到的是这样的写法：方案 A 的整体视觉更统一，方案 B 的造型语言略显杂乱；方案 A 的使用体验更流畅，因此更优。
问题不在于这些判断对不对，而在于它们无法被检验。审稿人的疑惑很实在：统一的标准是什么？流畅由谁体验出来的？如果换一个人来评，结论会不会反过来？设计研究要在学术框架里成立，就必须回答这些问题。
二、评价维度要从研究目标里长出来
Z 同学一开始想直接用一份通用的设计评价量表。我们没有同意，因为这会造成新的问题：通用指标看似全面，但与本研究的核心目标未必相关，评价结果无法回答论文真正想回答的问题。
正确做法是从研究目标反推维度。这项研究的落点是"面向特定使用场景的方案择优"，那么评价维度至少应当覆盖：功能达成度、操作负荷、场景适配、视觉识别与情感反馈。每个维度都要写清楚它在研究目标里的位置，以及为什么需要被纳入评价。
- 功能达成度：方案是否支持核心任务顺利完成。
- 操作负荷：完成同一任务的步骤数、认知负担与出错可能。
- 场景适配：在目标使用场景（时间、空间、干扰条件）下的适用表现。
- 视觉与情感反馈：包括识别效率与主观偏好，但必须用可测量的方式收集。
三、把维度拆成可观察的题项
维度只是分类，真正的评价工具是题项。我们把每个维度拆成若干条可观察、可回答的题目，例如"能否在不看说明的情况下完成首次装配""操作过程中是否需要二次调整"。
这里有一个原则：避免笼统的总体评价题，比如"您对这个方案的整体满意度如何"。这类题目虽然容易得到分数，但无法说明分数来自哪里，出了问题也无从改进。相反，具体题项的结果可以直接指向设计修改点。
四、专家与用户的角色不同，不能混在一起统计
我们设计了两条评价线。专家评审侧重专业判断与实现可行性，邀请若干位领域从业者独立打分，事前统一评分口径，评分过程中互不交流。用户测试侧重真实使用表现，让目标用户完成设定的任务，记录任务完成情况、耗时与出错次数，再辅以简短的主观量表。
把专家分数与用户分数加在一起求平均，是很多设计论文的常见做法，但两者回答的是不同问题：专家判断"这样设计合不合理"，用户回答"这样设计好不好用"。混在一起统计，等于把两个问题揉成了一个说不清的答案。
因此本文的数据分析分两条线报告，只在讨论部分对照两者的异同，重点分析专家看好而用户体验不佳（或反之）的情形，这些分歧往往指向设计中最值得讨论的部分。
五、一致性检验：让评价结果可信
补做的关键一步是多位评价者之间的一致性检验。我们计算了评分者间一致性系数，说明评分口径统一后评价结果具有可接受的稳定性。同时报告了各题项得分的分布情况，包括均值、离散程度与极端值，而不是只给一句"总体评价良好"。
这一步的意义在于，它把"我觉得"变成了"一组独立评价者在统一口径下给出的一致性判断"。对盲审专家来说，这是论文从个人观点转向研究结论的分界线。
六、评价结果要能反推设计决策
评价不是终点。论文最后新增了一节，逐条说明评价结果如何影响方案定稿：哪些题项得分低、对应哪个设计细节、做了怎样的修改、修改后是否复测。这样一来，评价体系与研究贡献就连成了一条线——评价工具本身也是这项研究的产出之一。
七、结果
修改稿重建了评价体系，新增专家评审与用户测试两条数据线，并补充了一致性检验与结果分析，论文通过盲审。Z 同学的体会是：设计研究最难的不是做出方案，而是把"我认为好"变成"有依据地论证为什么好"。
八、复盘建议
- 评价维度要从研究目标反推，不要直接套用通用清单。
- 把维度拆成可观察题项，避免"整体满意度"这类无法定位问题的题目。
- 专家评审与用户测试回答不同问题，分开报告，不要简单相加求平均。
- 多评价者必须做一致性检验，并说明评分口径统一的过程。
- 报告得分分布与离散程度，不要只写"评价良好"。
- 评价结果要能反推具体设计修改，并在修改后复测形成闭环。
（本案例已脱敏整理，仅用于呈现学术辅导的常见路径，不代表任何具体机构或个人；文中过程与结果均为中性描述，不构成对投稿结果的承诺。）