建议屏蔽小程序爬虫用户

本帖最后由 tony 于 2021-1-28 09:43 编辑

小程序每次提交审核后都会生成很多无用的用户，特征是3字中文姓名。有时一次就100多，严重影响了真正有有效用户的管理，如下图：（到网上度娘一下，有很多用户提出这个烦恼，很多是crmeb用户，这说明贵司的产品市场占有率还挺高）

通过微信官网得知，这些是微信爬虫用户，如下图：也可以参考链接 https://developers.weixin.qq.com ... 5587908a9a88c05bc09

这些爬虫是用来索引网页，建立搜索库的，当用户的搜索词条触发该索引时，小程序的页面将可能展示在搜索结果中。经我测试都是审核成功后，微信来索引小程序是否有新增内容，而不是审核人员。我们个人解决的办法是：

1、通过微信收录设置禁止被收录，这样减少了潜在的曝光机会，显然是不可行的

2、是通过sitemap.json 配置禁止爬虫爬取需要授权页面，也有难度，文件太多，一旦有一个需要授权页面不禁止，就又会被写入用户数据库，也不知道爬虫讲不讲武德。

3、文档说明了：

爬虫访问小程序内页面时，会携带特定的 user-agent：mpcrawler 及场景值：1129

就以上说明，官方能否优化一下程序，在检测到浏览器包含以上特征时，判定为微信蜘蛛用户，可以只给授权但是不把用户信息写入数据库，来达不增加小程序爬虫用户的目的。

请官方评估，谢谢。

请登录后查看