【唐山沐品网络有限公司】网址：http://www.tsmupin.com 电话：17717756869 邮箱：3167166228@qq.com 咨询热线：0315-5256660

　　地址：唐山市路北区建设北路与龙富南道交叉口东行100米(国际会展中心)

　　通过sitemap来主动提交小程序页面的方法，同时还采用了技术手段来主动抓取小程序页面，百度公开课上专业人士详细分享了百度搜索引擎蜘蛛抓取小程序网页的技术实现方法。

　　sitemap这个词的话，对于以前当过站长的人来话这个词并不陌生，sitemap指的是我当前网站有哪些资源可以让搜索引擎进行抓取和收录，可以让爬虫进行有针对性的抓取。

　　百度搜索引擎可以去收录内容，就需要在后台来去提交的sitemap。

　　我们约定sitemap的形式是TXT的格式，文件里面的每一行是的一个页面URI，URI里面包含的路径+query两部分组成。我们举一些例子，比如说我们的业务订单的详情页，那么它的路径是pages，它的参数是ID等于一个订单号这样的一个形式。

　　我们会基于开发者提交的sitemap会自动补全的的Web化的house，从而生成一个Web化页面来供spider来进行爬行抓取。这里面有一点是需要特另强调的，我们可能会面对同一个路径会承载着海量页面的这样的一些场景。

　　我们也建议开发通过线上脚本的方式来生成sitemap，sitemap每天是有配额的，我们规定每个唐山小程序的每天的配额是存量页面是5万条，增量的页面是3000兆。

　　sitemap的这种形式是开发者主动提交的，同时我们的爬虫也会基于首页来进行主动的发现。那么我们会针对Web化做一些特殊的优雅处理。

　　因为Web化唐山小程序是一个单页面网站，所以说不存在锚点这类的信息，那么我们会将页面的可点击区域增加了一个特定的class，来进行模拟的点击，模拟点击触发的跳转行为，并且通过爬虫注入的一个全局函数来对页面的URL进行上报，供爬虫来收集和后续的收录。同时我们也在爬虫环境优化了我们的登陆逻辑，我们默认下在以游客模式，不会因为页面跳转而影响爬虫的抓取行为。

【唐山沐品网络有限公司】网址：http://www.tsmupin.com 电话：17717756869 邮箱：3167166228@qq.com 咨询热线：0315-5256660

　　地址：唐山市路北区建设北路与龙富南道交叉口东行100米(国际会展中心)
联系我时，请说是在唐山便民网看到的，谢谢！