手机浏览器扫描二维码访问
第1741章 别被技术细吓住（第1页）
办公室的白板上写满了字。
李明的粉笔停在半空，眉头皱成一个疙瘩。
他转身看向另外四个同伴，又看看坐在会议桌旁的贾瀞雯。
“贾总，这个‘网页爬虫’的概念……我们研究了三天，还是有点不明白。”他放下粉笔，拍了拍手上的粉灰，“文档上说，要让程序像蜘蛛一样在网上爬，自动发现和收集网页。
但具体怎么实现？”
张涛推了推眼镜，翻开陈浩写的技术框架文档：“这里写了一些思路--从几个种子网站开始，提取页面上的链接，然后访问这些链接，再提取新链接。
理论上可行，但实际做起来问题很多。”
“什么问题？”贾瀞雯问。
“比如，有些网站不允许被访问。”说话的是王磊，团队里最年轻的一个，北大研究生在读，“还有，网页格式千奇百怪，怎么准确提取链接？再比如，如果程序陷入死循环怎么办？”
贾瀞雯点点头。
这些她也不懂，但她知道该问谁。
“今天先到这里。”她看看表，“晚上我打电话问问陈总。
大家继续研究其他部分，分词算法那边有进展吗？”
张涛摇摇头：“更难。
英文有空格分隔单词，中文是连在一起的。
‘中华人民共和国’怎么分？是‘中华’‘人民’‘共和国’，还是‘中华人民’‘共和国’？不同的分法，意思差别很大。”
会议室里一阵沉默。
五个年轻人你看看我，我看看你，都从对方眼里看到同样的困惑--这个项目，比他们想象的要难得多。
晚上八点，贾瀞雯在办公室拨通了陈浩的电话。
“喂？”陈浩的声音有点喘，背景里有嘈杂的人声。
“在忙？”
“刚下戏，换衣服呢。”陈浩走到安静的地方，“说吧，今天遇到什么问题了？”
贾瀞雯把白天的讨论复述了一遍。
陈浩听完，笑了：“正常，这些确实是难点。
你记一下，我一个个说。”
贾瀞雯拿起笔。
“第一，爬虫的伦理问题。
我们要遵守rbt协议，就是网站根目录下的一个文本文件，告诉爬虫哪些页面可以访问，哪些不行。
这个必须遵守，不然我们会惹麻烦。”
“第二，网页格式问题。
现在网页主要是htl，虽然各家写法不一样，但基本结构是固定的。
链接都在＜ahref=＞标签里，用正则表达式可以提取。”
贾瀞雯打断：“正则表达式是什么？”
“一种文本匹配的方法。”陈浩解释，“比如你要找所有以‘
元素降临：我为暗黑系代言 重生表白失败，校花急了 失业群演在无限流游戏里做c 尚飨 无限之律者：连接过去，引导未来 冷王嫡妃 【伪母子】驯养失败了 全民觉醒：F级天赋吊打一切 都市：高冷校花喊我少爷 完蛋！被困在百合黄游出不去了 湛南希 至尊魔法师 军训第一天，校花学姐对我表白 一人之下：开局获得济癫传承！ 刁蛮丫头不刁蛮 乖女孩 战双帕弥什-BG同人文 另一条世界线，废土之下的囚禁日记 开局介绍人妖，古人傻眼了 区区24根【西幻】 私以为【百合 】
色间道
穷小子楚帅，先赚了一个极品级二奶，却原来是间谍精英，然后，一个大陆女警官凌小杰好有暗恋他，可是，穷小子还有一个比鸟齐飞的原配初恋，还有一个女朋友的死党小魔女蓝菲，还有几乎是后宫佳丽如云，不过，一个个美眉都有好神秘的身份，你中有我，我中有你...
开挂
不牛逼不拉风的低端业余玩家甄浪，被班花拒绝后，偶然得到一块来历神秘的智能芯片。从此，一个游戏界的传奇诞生了。那神一样的操作妖一样的走位魔一样的意识，令无数高端玩家失声惊呼挂了吧？事实证明，甄浪注定是泡不到班花的男人。因为，千姿百态的系花院花校花，风情各异的美女老师女神主播，纷纷闯进了他的生活火爆...
都市超级医仙
左手惊天医术右手至强武功，携带百年记忆，重生回归都市，这一世，定要纵横无敌执掌一切，登临苍穹之巅！...
潜龙
6远本是一个普通的学生，但有一天，他忽然成了龙，从此之后，他就开始牛逼起来本书已经上架，求订阅求评论求互动求推荐票求金钻求收藏！给我几分钟，让我们一起见证一个高中生的传奇！各位书友要是觉得潜龙还不错的话请不要忘记向您...
功夫皇帝逍遥游(功夫皇帝艳福星)
一个落魄的大学生阴差阳错地灵魂穿越到了古代，稀里糊涂地做了皇子，又发动政变赶走太子当上了皇帝，从此便过上了锦衣玉食声色犬马的生活。但他却不满足，他要做一个全能型的功夫皇帝因此，他拜武林宗师学习武功，又向江湖术士讨取御女秘方，美艳绝伦的妃子欲望强烈的宫女温婉恬静的皇后妖艳迷人的异族美女野性十足的江湖侠女，各种类型的美女纷纷被他男人的功夫征服金钱权利和美女一个都不能少！想爽的，还等什么呢？本书保证精彩，敬请放心收藏，推荐！...
超神妖孽
神界第一高手，有‘贱神’之称的云飞扬被镇压万载，破土重生，痛定思痛，梦想收尽天下各色美女！泡妞，我是认真的。云飞扬道。姑娘，你愿意嫁给我？清纯可爱邻家女刁蛮任性大小姐成熟妩媚女导师冷若冰山大师姐腹黑毒辣女魔头，这些，统统是我云飞扬的女人！妖孽群529642893...