还原一淘价格战数据抓取全过程

  • 时间:
  • 浏览:0
  • 来源:3分彩_3分彩平台_3分彩网投平台

商品信息每15-150分钟更新一次 可追溯两年前历史价格

  8.15价格战期间,一淘网实时发布了对各大B2C电商的比价监测数据,那一淘网怎么要能保证时间的及时性与准确性呢?据一淘网工程师黑侠透露,在8.15价格战期间,“价格擂台”页面亲戚朋友电及3C数码等品类商品的价格数据更新频率高达到了15分钟一次。

  黑侠介绍,一淘搜索引擎的工作原理与通用搜索累似 ,都还要经过抓取、抽取、入数据库、建索引、以及页面展示等流程。对于购物搜索来说,搜索引擎蜘蛛就等于是一淘派出的“价格情报员”,一淘通过搜索蜘蛛自动浏览购物网站的商品页面,整理所有购物网站的商品信息,抽取出商品标题、商品价格、商品图片等重要信息存入数据库,并建成索倒排引,在用户搜索事先,来自于不同商家的,符合用户搜索关键词的商品信息就会一一展示出来了。

  在8.15价格战期间,一淘蜘蛛对于参与价格战的亲戚朋友电、3C数码产品价格的抓取频率高达5分钟一次,再经过抽取、索引、页面展现等过程,“擂台”页面商品的价格刷新频率在15分钟至150分钟左右,全程真实、透明的再现了价格战“战况”。

  除了时实监测当前的商品价格信息外,一淘从去年始于了了英语 就经常保持着对重要商品、热门商品价格变化状态的记录,很久,对于那此价格变化频繁的商品,一淘也要能在第一时间将商品价格变化趋势通过价格“曲线图”等妙招展现给消费者。很多,不很久8.15价格战前夜的商品价格,即使是两年事先的价格信息,一淘都都还要追查出来。

  据了解,目前一淘网的收录的购物网站数量因为超过11500家,也很久说,一淘网向这11500家购物网站都通过技术手段派出了“价格情报员”。而目前一淘网数据库中的商品总数量因为超过10亿件,一淘网还要每天帮助用户从海量的商品中及时准确的发现真正物美价廉的商品;除了商品价格信息外,一淘网还收录了超过2亿条商品的评论、新闻、资源等其它导购信息。

  除了通过技术抓取保证实际的时实准确外,与商家合作由商家主动提供数据也是一种生活 妙招。据了解,目前一淘因为与当当、凡客、1号店等国内超过99%的购物网站建立了良好的合作关系,合作购物网站数量超过11150家,那此商家前会 主动、定时向一淘网提供商品数据,保证用户要能第一时间看了商家的促销、降价等信息。

  据黑侠透露,在一淘日常的比价搜索中,大慨要能保证重要商家及商品价格信息平均每小时刷新一次;而对于一点冷门网站及商品来说,价格的更新频率也大慨在每天一次左右。