手机浏览器扫描二维码访问
第1741章 别被技术细吓住（第1页）
办公室的白板上写满了字。
李明的粉笔停在半空，眉头皱成一个疙瘩。
他转身看向另外四个同伴，又看看坐在会议桌旁的贾瀞雯。
“贾总，这个‘网页爬虫’的概念……我们研究了三天，还是有点不明白。”他放下粉笔，拍了拍手上的粉灰，“文档上说，要让程序像蜘蛛一样在网上爬，自动发现和收集网页。
但具体怎么实现？”
张涛推了推眼镜，翻开陈浩写的技术框架文档：“这里写了一些思路--从几个种子网站开始，提取页面上的链接，然后访问这些链接，再提取新链接。
理论上可行，但实际做起来问题很多。”
“什么问题？”贾瀞雯问。
“比如，有些网站不允许被访问。”说话的是王磊，团队里最年轻的一个，北大研究生在读，“还有，网页格式千奇百怪，怎么准确提取链接？再比如，如果程序陷入死循环怎么办？”
贾瀞雯点点头。
这些她也不懂，但她知道该问谁。
“今天先到这里。”她看看表，“晚上我打电话问问陈总。
大家继续研究其他部分，分词算法那边有进展吗？”
张涛摇摇头：“更难。
英文有空格分隔单词，中文是连在一起的。
‘中华人民共和国’怎么分？是‘中华’‘人民’‘共和国’，还是‘中华人民’‘共和国’？不同的分法，意思差别很大。”
会议室里一阵沉默。
五个年轻人你看看我，我看看你，都从对方眼里看到同样的困惑--这个项目，比他们想象的要难得多。
晚上八点，贾瀞雯在办公室拨通了陈浩的电话。
“喂？”陈浩的声音有点喘，背景里有嘈杂的人声。
“在忙？”
“刚下戏，换衣服呢。”陈浩走到安静的地方，“说吧，今天遇到什么问题了？”
贾瀞雯把白天的讨论复述了一遍。
陈浩听完，笑了：“正常，这些确实是难点。
你记一下，我一个个说。”
贾瀞雯拿起笔。
“第一，爬虫的伦理问题。
我们要遵守rbt协议，就是网站根目录下的一个文本文件，告诉爬虫哪些页面可以访问，哪些不行。
这个必须遵守，不然我们会惹麻烦。”
“第二，网页格式问题。
现在网页主要是htl，虽然各家写法不一样，但基本结构是固定的。
链接都在＜ahref=＞标签里，用正则表达式可以提取。”
贾瀞雯打断：“正则表达式是什么？”
“一种文本匹配的方法。”陈浩解释，“比如你要找所有以‘
乖女孩 全民觉醒：F级天赋吊打一切 元素降临：我为暗黑系代言 战双帕弥什-BG同人文 另一条世界线，废土之下的囚禁日记 完蛋！被困在百合黄游出不去了 冷王嫡妃 私以为【百合 】 一人之下：开局获得济癫传承！ 尚飨 军训第一天，校花学姐对我表白 开局介绍人妖，古人傻眼了 都市：高冷校花喊我少爷 重生表白失败，校花急了 无限之律者：连接过去，引导未来 区区24根【西幻】 失业群演在无限流游戏里做c 至尊魔法师 刁蛮丫头不刁蛮 湛南希 【伪母子】驯养失败了
提前登陆三百年
新书从获得奇遇点开始宇宙深处飞来一座浩瀚无垠的大陆，从此整个世界都不一样了。同时陈荣火脑海里还突然出现了一本古书，按照古书的指引，他提前其他人三百年登陆到了新界。同样在书籍的指引下，在新界中，他的左手也变得不一样了。他从地下挖出一颗夜明珠，啪的一声，夜明珠被他捏碎，但是夜明珠的‘夜光属性’却留在了他手里。琢磨了...
快穿：炮灰打脸攻略
炮灰是什么？雪兰告诉你，炮灰是用来打别人脸的。凭什么炮灰就要为男女主的感情添砖加瓦，凭什么炮灰就要任人践踏？凭什么炮灰就要为男女主献上膝盖？凭什么炮灰就要成为垫脚石？炮灰不哭，站起来撸！本文男女主身心干净，秉持着宠宠宠的打脸原则，男主始终是一个人哦！...
六零俏佳人
新书我家夫人又败家了已发求收藏，古代美食文，么么哒前世，盛夏怨恨家人的无情抛弃，为贺家人那群白眼狼付出所有，最后却落了个草席一裹，抛尸荒山的下场！重生回到悲剧尚未开始，盛夏发誓今生不会再将真心错付！哪怕吃树皮啃草根，她也要留在家人身边，同甘共苦！改写命运！一家人同心协力，走上致富的康庄大道！携手冷面男神...
武炼巅峰
武之巅峰，是孤独，是寂寞，是漫漫求索，是高处不胜寒逆境中成长，绝地里求生，不屈不饶，才能堪破武之极道。凌霄阁试炼弟子兼扫地小厮杨开偶获一本无字黑书，从此踏上漫漫武道。...
穿越大周(武唐风流)
李逸飞，大唐前太子李贤之子，因其父被武则天毒害，从小就被逍遥老人收养，十年之后，学艺有成的李逸飞下山报仇，最后经过与武则天的一番较量终于将女皇降服，成功光复李唐江山，揽江山美人于一身，享受人间帝王之风流。...
不朽界祖
元祖破天战诸界，青血染天万古流帝钟敲日震寰宇，一肩担尽古今愁！一个地球小子，得无上传承，他踏遍诸天万界，他会尽亿万天骄！他一点点的寻找地球先辈的足迹，焱灭鸿蒙界，炎帝已成了亘古传说，极道星辰界，秦蒙二字已成了禁忌，九源浑天界，罗城主已化为了不朽雕塑，荒古断天界，荒天帝已消失在万古时空中作者自定义标签豪门位面嚣张重生...