2020年美赛C题“数据的财富”思路解析及优秀论文解读

真题原文

问题C：数据的财富

在其创建的在线市场中，亚马逊为客户提供了对购买进行评分和评价的机会。个人评级-称为“星级”-使购买者可以使用1（低评级，低满意度）到5（高评级，高满意度）的等级来表示他们对产品的满意度。此外，客户可以提交基于文本的消息（称为“评论”），以表达有关产品的更多意见和信息。其他客户可以根据这些评论提交有帮助或无帮助的等级（称为“帮助等级”），以协助他们自己的产品购买决策。公司使用这些数据来深入了解其参与的市场，参与的时间以及产品设计功能选择的潜在成功。

阳光公司计划在在线市场上推出和销售三种新产品：微波炉，婴儿奶嘴和吹风机。他们已聘请您的团队担任顾问，以识别过去客户提供的与其他竞争产品相关的评分和评论的关键模式，关系，度量和参数，以：

1）告知其在线销售策略；

2）识别潜在重要的设计特征，以提高产品的吸引力。Sunshine Company过去曾使用数据为销售策略提供信息，但他们以前从未使用过这种特殊的组合和数据类型。Sunshine Company特别感兴趣的是这些数据中的基于时间的模式，以及它们是否以有助于该公司制造成功产品的方式进行交互。

为了给您提供帮助，Sunshine的数据中心为您提供了该项目的三个数据文件：hair_dryer.tsv，microwave.tsv和pacifier.tsv。这些数据代表在数据指示的时间段内，在亚马逊市场上出售的微波炉，婴儿奶嘴和吹风机的客户提供的评分和评论。还提供了数据标签定义的词汇表。提供的数据文件包含您应用于此问题的唯一数据。

要求

1.分析提供的三个产品数据集，以使用数学证据来识别，描述和支持有意义的定量和/或定性模式，关系，量度和参数，这些数据将在有助于评估阳光的星级，评论和帮助等级之内和之间公司在其三项新的在线市场产品中取得了成功。

2.使用您的分析解决阳光公司市场总监的以下特定问题和要求：

a.一旦三种产品在在线市场上出售后，就可以根据评级和评论确定最能为Sunshine Company跟踪的数据度量。

b.在每个数据集中识别并讨论基于时间的度量和模式，这些度量和模式可能表明产品在在线市场中的声誉在上升或下降。

c.确定最能表明潜在成功或失败产品的基于文本的度量和基于评级的度量的组合。

d.特定星级会引起更多评论吗？例如，在看到一系列低星级评级之后，客户是否更有可能撰写某种类型的评论？

e.诸如“热情”，“失望”之类的基于文本的评论的特定质量描述符是否与评分水平紧密相关？

3.写一两页的信给阳光公司市场总监，总结您团队的分析和结果。包括针对您的团队最有信心地推荐给市场总监的结果的具体理由。

您的提交应包括：

•一页的摘要表

•目录

•一页到两页的信

•您的解决方案不超过20页，最多包含24页的摘要表，目录和两页的信件。

注意：参考列表和任何附录不计入页数限制，应在完成解决方案后出现。您不应使用未经版权法限制使用的未经授权的图像和材料。确保您引用了想法的来源和报告中使用的材料。

词汇表

帮助等级：表示在决定是否购买该产品时特定产品评论的价值。

奶嘴：一种橡胶或塑料的舒缓装置，通常为乳头状，提供给婴儿吸吮或咬咬。

审查：对产品的书面评估。

星级：在系统中给出的分数，该分数使人们可以对具有多个星级的产品进行评分。

附件：问题数据集

Problem_C_Data.zip提供的三个数据集包含产品用户评分和通过Amazon Simple Storage Service（Amazon S3）从Amazon客户评论数据集提取的评论。hair_dryer.tsv微波炉.tsv pacifier.tsv

赛题分析

这次的c题是一个纯粹的数据挖掘的题

涉及到的 知识有：

• 文本情感分析

• 文本聚类（可选）

• 关联分析

• 拟合（或者神经网络预测）

基础分析：

• 基础星级评定模型。

  首先从数据中15个变量中筛选有效变量，分析每个变量的分布，构建STAR_RATING关于投票数、消费类型、消费者来源等的关系。你们的模型可以是定性以及定量的。该问题最终落脚在对三种产品的模式分析，简单的excel 处理后每个队都能出些工作量。亮点在模式挖掘的有效性及图表的美观上。

• 知识挖掘模型（自然语言处理）

  第二问工作量较大。对于每种产品，要求分析①星级评定的主要影响指标（主成分分析，层次聚类、因子分析等模型），②每种模式基于时间的声誉变化（时间序列分析），③确定基于文本的衡量标准（注意是标准，需要制定规则），来给出相应成功或者失败的暗示。（如评论中某些词语出现的频率+时间序列的某种模式=某产品要凉）。问题二可分开建立多个模型。

• 写一份1-2页的信，向市场总监提供你们的文本挖掘结果，要有数据支撑（图表）。

  M奖分界点：针对模型分析结果，给出改善某产品声誉或者销量的建议

题目解析

问题一

问题原文

• Analyze the three product data sets provided to identify, describe, and support with mathematical evidence, meaningful quantitative and/or qualitative patterns, relationships, measures, and parameters within and between star ratings, reviews, and helpfulness ratings that will help Sunshine Company succeed in their three new online marketplace product offerings.

• 分析提供的三个产品数据集，根据识别，描述和支持的数学证据，确定有意义的定量和/或定性的模式、关系、度量和参数，这些数据将在星级，评论和帮助等级之内和之间进行，这将有助于Sunshine 公司在他们的三个新的在线销售的产品取得成功。

参考思路

• 思路①：

  分析数据集，将数据集中的文本进行文本数据分析，然后用Spss软件建立回归模型，自变量为 评价星级、有用性投票、评论，因变量为产品上线后是否会取得成功。

• 思路②：

  首先，对数据集进行 完整性、冗余度等筛选，然后利用python或者MATLAB对评价的词频进行统计，最后再预测一个方程来拟合数据，得到每个评语对应的权重。总之，最重要的是先对评价做词频统计！

• 思路③：

  运用数据挖掘和文本挖掘算法，利用python等对题中所给的数据库建立客户评价分析系统，最后得到产品上线后取得成功的概率。

问题二

问题原文

• Use your analysis to address the following specific questions and requests from he Sunshine Company Marketing Director:

• 使用您的分析解决阳光公司市场总监的以下特定问题和要求：

• a. Identify data measures based on ratings and reviews that are most informative for Sunshine Company to track, once their three products are placed on sale in the online marketplace.

• a. 一旦三种产品在在线市场上出售后，根据评级和评论来识别数据度量，这对于Sunshine Company最为有用。

• b. Identify and discuss time-based measures and patterns within each data set that might suggest that a product’s reputation is increasing or decreasing in the online marketplace.

• b. 在每个数据集中识别并讨论基于时间的度量和模式，这些度量和模式可能表明产品在在线市场中的声誉在上升或下降。

• c. Determine combinations of text-based measure(s) and ratings-based measures that best indicate a potentially successful or failing product.

• c. 确定最能表明潜在成功或失败产品的基于文本的度量和基于评级的度量的组合。

• d. Do specific star ratings incite more reviews? For example, are customers more likely to write some type of review after seeing a series of low star ratings?

• d. 特定的星级评级是否会引发更多的评论?例如，在看到一系列的低星级评价后，客户更有可能写一些评论吗?

• e. Are specific quality descriptors of text-based reviews such as ‘enthusiastic’,‘disappointed’, and others, strongly associated with rating levels?

• e. 基于文本的评论的特定质量描述符，如“热情”、“失望”等，是否与评级水平密切相关?

参考思路;

• 2.a 思路

  预测三种产品上市后，根据对阳光公司产品的数据追踪，确定最有用的评级（星级和帮助等级）和评论的组合。即用问题一中的模型求出什么星级加什么帮助等级和什么评论就是最有用的组合。或者通过数据分析假设出一种综合评价机制，类似于Google发明的一个名为 pagerank的量——它可以度量网页的重要程度，从而对用户想搜索的网页进行排序。

• 2.b 思路

  在模型中添加时间这一度量模式。用拟合曲线预测随着时间的增长，客户选购物品时，评级和评价的变化趋势。再通过挖掘筛选后的数据绘画出随着年份的增加三种产品在在线市场上评级的高低（声誉的高低）。最重要的是一定要考虑到time-based这个概念，即你的指标应该是可以随时间表示或可视化的，并且还必须得是动态的。

• 2.c 思路

  此问是求最能表明潜在成功或失败的产品的评级和文本（评论）的组合，与a有些相似。即从最有用的组合中通过对比挑选出最能表示成功和失败的评级和文本组合。这一问可以考虑用第一问做出的词频统计结合文本情感分析来做。

• 2.d 思路

  此问主要讨论星级与评论之间的关系，还是会用到挖掘筛选过的文本数据。对数据进行统计分析，看各个星级与评论文本的相关性。这里需要划分文本类型，可以通过词频统计自己赋值权重，也直接粗暴地通过通过特征词语（good， bad）划分。

• 2.e 思路

  最后一小问就是结合对对文本数据的分析，可以去d题连着一起做，只需要找出词频最高的一些词并与评级做相关性分析即可。

问题三：

• 写一篇小报告！

优秀论文解读：摘要页

想获取以上完整版2020年美赛C题优秀论文，请添加下方数乐君微信，备注：2020C，即可获取。

备赛之余不要忘了报名参加美赛！

2023年MCM/ICM美国大学生数学建模竞赛正在报名中

保研加分、综测评奖

【截止到北京时间19:00，当前2023美赛报名接近7000支队伍通过数模乐园美赛报名队伍已经全部处理完下发至队长邮箱，各参赛队伍及时登录队长邮箱查收报名成功相关文件并登录官网核对参赛信息，报名人数持续增长，提前报名提前充分备赛。

由于报名参加美赛的同学不具备Visa或国际支付方式，以及缺乏一定的参赛经验，为了更好的提升参赛者的获奖率，数模乐园继续推出2023年美赛辅助报名及证书打印并邮寄的服务。 2022年 通过数模乐园辅助报名中， 4支 队伍斩获2021 Outstanding Winner奖（其中一支获得SIAM Award冠名奖；另外3支获得Outstanding Winner奖），O奖获奖率同比增长 50% ，整体参赛获奖率达99.3%， 2021年 助力1支队伍获得 1万美元 奖学金。数模乐园已累计为 10万 多人以上同学完成了美赛辅助报名服务！已成为 国内最大的美赛辅助报名平台！

竞赛报名

或复制下方报名官网进行报名：http://www.nmmcm.org.cn/match_detail/23

进群领取历年美赛真题及培训资料，进群备注：学校+专业

通过数模乐园报名完成后，数模乐园会在工作时间内将报名成功的邮件发送至参赛队伍的队长邮箱里，（和你报名时间顺序有关系，报名日期越早，收到的邮件就越早，所以很多同学一开始没有很强的备赛意识，表示不是很急，结果报名的比较晚，但是还特别想快速的收到报名成功的邮件，这里要告诫一下这类同学，越到最后，报名的队伍就越多，所以为了避免造成报名拥堵及邮件接收延迟问题，强烈建议同学们需要提前完成报名工作，每年这类问题经常会有发生）邮件中包含2023年美赛参赛指南、数模乐园赠送的备赛大礼包以及518密训课程等内容。

正在冲刺美赛的同学们不要错过领取资源包！

为你成功之路加把油！