致力于为用户提供真实的
主机测评数据及优惠信息

刚那个通用爬虫有感

网友 mengdodo 说:

如果MJJ一起参与到爬虫会怎么样,百度不作为,MJJ一起参与**超越呢?
利用大家手里的机器一起动起来,用k8s做集群,数据分摊到每台JJ上,**开放接口给大家,按照贡献度分配调用频次会怎么样,想想都激动哦~

网友 minota 说:

搜索引擎的难点在于爬虫吗?根*不是,在于如何把用户想要的**呈现给他,在于内容结构的存储**、如何对输入做分词、如何索引到最相关的**,爬虫只是最简单的第一步罢了

网友 mengdodo 说:

很刑很可铐吗

网友 DaShi 说:

做的再好也没人用啊

网友 jshkk 说:

激动归激动,你别*了就好

网友 xuanruo0710 说:

用歪了谁负责?出机器的人背锅?

网友 Sage 说:

这种规模需要有个专门的团队**的

网友 钱多多 说:

爬虫爬得欢,**要坐穿;数据玩的溜,牢饭吃个够

网友 bios125674** 说:

k8s不会啊

网友 委员 说:

1、基于众筹的事不大可能做起来 2、只是为了方便搞数据,简单修改下就能适配新的源。3、大站/应用已经不提供列表页了,只能逐级爬,爬到没有新**l完事

赞(0) 打赏
未经允许不得转载:爱主机 » 刚那个通用爬虫有感
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址