网友 mengdodo 说:
如果MJJ一起参与到爬虫会怎么样,百度不作为,MJJ一起参与**超越呢?
利用大家手里的机器一起动起来,用k8s做集群,数据分摊到每台JJ上,**开放接口给大家,按照贡献度分配调用频次会怎么样,想想都激动哦~
网友 minota 说:
搜索引擎的难点在于爬虫吗?根*不是,在于如何把用户想要的**呈现给他,在于内容结构的存储**、如何对输入做分词、如何索引到最相关的**,爬虫只是最简单的第一步罢了
网友 mengdodo 说:
很刑很可铐吗
网友 DaShi 说:
做的再好也没人用啊
网友 jshkk 说:
激动归激动,你别*了就好
网友 xuanruo0710 说:
用歪了谁负责?出机器的人背锅?
网友 Sage 说:
这种规模需要有个专门的团队**的
网友 钱多多 说:
爬虫爬得欢,**要坐穿;数据玩的溜,牢饭吃个够
网友 bios125674** 说:
k8s不会啊
网友 委员 说:
1、基于众筹的事不大可能做起来 2、只是为了方便搞数据,简单修改下就能适配新的源。3、大站/应用已经不提供列表页了,只能逐级爬,爬到没有新**l完事