(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111499434.7 (22)申请日 2021.12.09 (65)同一申请的已公布的文献号 申请公布号 CN 113902132 A (43)申请公布日 2022.01.07 (73)专利权人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 刘睿智　章昊　孙式松　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允　方秀琴 (51)Int.Cl. G06N 20/00(2019.01)审查员 苏玉兰 (54)发明名称 负反馈行为预测模型训练方法、 消息推送方 法及设备 (57)摘要 本公开关于负反馈行为预测模 型训练方法、 消息推送方法及设备， 该方法包括： 监听推送消 息对应的反馈信息； 从目标样 本终端对应的候选 推送消息记录中确定距离当前时间最近的目标 候选推送消息记录； 该目标样 本终端为连续预设 数量个推送消息没有监听到对应反馈信息的样 本终端； 从目标候选推送消息记录中确定用于生 成正样本的正样本消息记录； 从剩余候选推荐消 息记录中确定用于生成负样本的负样本消息记 录； 根据正样本和负样本训练预设机器学习模 型， 得到负反馈行为预测模型； 其中， 负反馈 行为 是指在收到推送消息后关闭消息推送通知 的行 为。 本公开提高了针对负反馈行为的训练样本的 准确性， 提高了训练后模型对于负反馈行为预测 的准确性。 权利要求书5页 说明书17页 附图6页 CN 113902132 B 2022.05.24 CN 113902132 B 1.一种负反馈行为预测模型训练方法， 其特 征在于， 包括： 监听推送消息对应的反馈信息； 所述反馈信息是到达信号， 所述到达信号是样本终端 收到所述推送消息且展示所述推送消息时返回的； 从目标样本终端对应的候选推送消息记录中确定距离当前时间最近的目标候选推送 消息记录； 所述目标样本终端为连续预设数量个推送消息 没有监听到对应反馈信息的样本 终端， 所述 候选推送消息记录指监听到反馈信息的推送消息对应的推送消息记录； 从所述目标候选推送消息记录 中确定正样本消息记录， 并根据 所述正样本消息记录生 成正样本； 从剩余候选推荐消息记录 中确定负样本消息记录， 并根据 所述负样本消息记录生成负 样本； 所述剩余候选推荐消息记录是指除所述目标候选推送消息记录之外的候选推荐消息 记录； 根据所述正样本和所述负样本训练预设机器学习模型， 得到负反馈行为预测模型； 其 中， 负反馈行为是指在收到推送消息后关闭消息推送通知的行为。 2.根据权利要求1所述的负反馈行为预测模型训练方法， 其特征在于， 所述从所述目标 候选推送消息记录中确定正样本消息记录， 包括： 将满足预设条件的所述目标候选推送消息记录确定为正样本消息记录； 所述预设条件 包括以下至少之一： 所述目标候选推送消息记录对应的样本终端， 在第 一历史时间段内的候选推送消息记 录的数量超过第一预设数量阈值， 所述第一历史时间段是指当前时间之前的第一预设时间 段； 历史正样本消息记录对应的样本终端中不包含所述目标候选推送消息记录对应的样 本终端； 与所述目标候选推送消息记录对应的样本终端的通信连接错误次数不超过预设次数 阈值。 3.根据权利要求1所述的负反馈行为预测模型训练方法， 其特征在于， 所述根据 所述正 样本消息记录生成正样本包括： 根据所述 正样本消息记录确定第一负反馈行为相关特 征； 根据所述第一负反馈行为相关特 征， 生成所述 正样本； 其中， 所述第一负反馈行为相关特征包括以下至少之一： 所述正样本消息记录中推送 消息的推送消息类型、 推送时间， 所述正样本消息记录对应样本终端的历史推送消息列 表、 所述正样本消息记录对应样本终端在预设时间段内的推送消息数量； 所述根据所述负 样本消息记录生成负 样本包括： 根据所述负 样本消息记录确定第二负反馈行为相关特 征； 根据所述第二负反馈行为相关特 征， 生成所述负 样本； 其中， 所述第二负反馈行为相关特征包括以下至少之一： 所述负样本消息记录中推送 消息的推送消息类型、 推送时间， 所述负样本消息记录对应样本终端的历史推送消息列 表、 所述负样本消息记录对应样本终端在所述预设时间段内的推送消息数量。 4.根据权利要求1~3中任一项所述的负反馈行为预测模型训练方法， 其特征在于， 所述 方法还包括：权　利　要　求　书 1/5 页 2 CN 113902132 B 2响应于向所述样本终端发送所述推送消息的事件， 按照预设数值增量增加所述样本终 端对应计数器的计数； 在监听到所述推送消息对应的反馈信 息时， 重置所述推送消息对应样本终端的计数器 的计数， 并根据所述反馈信息对应的推送消息生成所述样本终端的候选推送消息记录 。 5.根据权利要求4所述的负反馈行为预测模型训练方法， 其特征在于， 所述方法还包 括： 获取所述样本终端对应 计数器的当前计数； 在所述当前计数超过所述预设数量的情况下， 确定所述样本终端为所述目标样本终 端。 6.一种消息推送方法， 其特 征在于， 包括： 获取针对消息 接收终端的待推送消息； 根据所述待推送消息， 确定所述消息接收终端对应的负反馈行为相关特征； 其中， 负反 馈行为是指在收到推送消息后关闭消息推送通知的行为； 将所述消息接收终端对应的负反馈行为相关特征输入至负反馈行为预测模型进行负 反馈行为预测， 得到负反馈行为指标； 所述负反馈行为指标表征所述消息接 收终端在接 收 到所述待推送消息后关闭消息推送通知的概 率； 根据所述负反馈行为指标与 预设指标阈值的比对情况， 向所述消息接收终端发送所述 待推送消息； 其中， 所述负反馈行为预测模型是根据权利要求1~5中任一项所述的负反馈行为预测 模型训练方法训练得到的。 7.根据权利要求6所述的消息推送方法， 其特征在于， 所述根据 所述负反馈行为指标与 预设指标阈值的比对情况， 向所述消息 接收终端发送所述待推送消息， 包括： 在所述负反馈行为指标未超过所述预设指标阈值的情况下， 向所述消息接收终端发送 所述待推送消息 。 8.根据权利要求7 所述的消息推送方法， 其特 征在于， 所述方法还 包括： 在所述负反馈行为指标超过所述预设指标阈值的情况下， 确定第 二历史时间段内向所 述消息接收终端发送的推送消息的数量； 所述第二历史时间段是指当前时间之前的第二预 设时间段； 在所述数量未超过第二预设数量阈值时， 向所述消息 接收终端发送所述待推送消息 。 9.根据权利要求7或8所述的消息推送方法， 其特征在于， 在 向所述消息接收终端发送 所述待推送消息之前， 所述方法还 包括： 确定向所述消息 接收终端最近一次发送的推送消息的发送时间； 确定所述当前时间与所述发送时间之间的时间差值； 在所述时间差值不小于预设时间差 阈值的情况下， 执行所述向所述消息接收终端发送 所述待推送消息的步骤。 10.根据权利要求6所述的消息推送方法， 其特征在于， 所述根据 所述待推送消息， 确定 所述消息 接收终端对应的负反馈行为相关特 征包括： 根据所述待推送消息确定第三负反馈行为相关特 征； 根据所述第 三负反馈行为相关特征， 确定所述消息接收终端对应的负反馈行为相关特权　利　要　求　书 2/5 页 3 CN 113902132 B 3