Meesho利用Amazon SageMaker推动通用喂送排名器的建设

在这篇文章中，我们探讨了Meesho如何利用Amazon SageMaker构建一个通用喂送排名器。这个基于机器学习的解决方案不仅提高了使用者参与度，还提升了转化率，最终推动了企业增长。以下是我们的重点：

Meesho是印度增长最快的电子商务公司，自2015年成立以来，致力于让网络商务对每个人都可及。Meesho提供微型、小型和中型企业及个体企业家接触数百万的潜在客户，并提供超过30个类别及超过900个子类别的选择。为了提升用户体验，Meesho希望创建一个通用喂送排名器(GFR)，以个性化和相关的产品推荐来有效展示每位用户的产品。

解决方案概述

为了个性化用户的喂送内容，我们分析了大量的历史数据，提取出包括浏览模式和兴趣等的见解。这些宝贵的特征被用来构建排名模型。GFR在实时考虑地理位置、先前的购物模式、获取渠道等多种因素来个性化每个用户的喂送内容。

为了提供多样且相关的推荐，GFR还从不同渠道中获取候选产品，包括利用已有的用户偏好、探索新奇产品、流行商品以及最新上架的产品。

GFR架构如下：

该架构可分为模型训练和模型部署两部分，以下部分会详细介绍这两个组件及相关的AWS服务。

模型训练

Meesho使用AWS EMR和Apache Spark来处理数以亿计的数据点。其中一个主要挑战是如何进行分布式训练。我们采用了Dask一个与Python库原生集成的分布式数据科学计算框架，以扩展训练工作到整个集群。通过分布式训练，我们将训练时间从数天缩短到数小时。

我们使用了一个离线特征存储来保持所有特征值的历史记录，并存储训练的模型产物在Amazon S3中，方便访问和版本管理。

在模型训练中，我们第三步使用时间抽样策略来创建训练、验证和测试数据集，并重点评估模型性能的各种指标。

模型部署

Meesho使用SageMaker推断端点，并启用自动扩展进行训练模型的部署。SageMaker提供了便捷的部署进程并支持多种机器学习框架。我们还自订了推断映像以满足特定需求，并推送至AWS Elastic Container Registry。

我们建立了一个内部的A/B测试平台，便于我们即时监察A/B测试指标。透过A/B实验，我们观察到平台转化率增长约35的效果，进一步提升了用户打开应用的频率。

我们定期跟踪各种偏差，例如特征偏差和先前偏差，以防止模型性能下降。

模型部署后的推荐工作流程如下所示：

结论

Meesho成功实施了基于SageMaker的通用喂送排名器，为每位用户提供了高度个性化的产品推荐，显著改善了用户参与度并提升了转化率，进一步促进了企业增长。得益于AWS服务，我们的机器学习生命周期运行时间显著缩短，从几个月减少到几周，提高了团队的效率和生产力。

通过这个先进的喂送排名器，Meesho能够持续提供量身定制的购物体验，为顾客增添更多价值，实现其普及电子商务的使命。

我们感谢Meesho数据科学总监Ravindra Yadav和AI负责人Debdoot Mukherjee的持续支持和指导，他们对这一成功作出了重要贡献。

想了解更多关于SageMaker的信息，请参考Amazon SageMaker开发者指南。

作者介绍

Utkarsh Agrawal 目前担任Meesho的高级数据科学家，曾在多个领域工作，包括推荐系统、时间序列等。

Rama Badrinath 目前担任Meesho的首席数据科学家，曾在人机学习、图像AI等领域工作。

Divay Jindal 目前担任Meesho的首席数据科学家，具有推荐系统和动态定价的经验。

Venugopal Pai 是AWS的解决方案架构师，帮助客户优化其在AWS上的应用。