狮子小说网

手机浏览器扫描二维码访问

第17章 爬虫(第1页)

“接下来,就是试试获取小说的内容了。”

接下来,他开始编写程序以获取小说的详细信息和内容。

由于小说内容比较庞大,他决定把获取内容的频率放低。

毕竟是在奶茶店,店里面还有不少的人在使用着店里面提供的IFI。

如果他瞬时间向服务器的请求量过大,其他人的网络,基本上就会陷入瘫痪的状态。

他现在只是手痒痒了,想试试手,真正要爬取到足够多的小说数据,至少需要好几天的时间。

“接下来,就是见证奇迹的时刻。”

他开始启动他的爬虫程序,程序开始在小说网站上爬取小说的内容。

无数本小说的内容文字一闪而过,便进入了数据库之中。

“哟,还有点意思。”

他现,在爬取的过程中,点娘小说网站的反爬虫机制还算是不错,他的爬虫程序很快就被封禁了。

针对Ip的。

不过,他快升级了他的爬虫程序,加入了无数的Ip池,以及强大的识别验证码能力,使其更难被网站检测到。

“咦,看来我这掌握的五级信息技术,比我想象之中的要强!”

经过一番小小的折腾,点娘都市小说分类下的数百万本小说,全部进入了他的数据库里面。

“最强的点娘的反爬虫机制也不过如此。看来获取数据集的过程,会比我想象的简单不少。“

”那现在就是时间的问题了,等我爬取到足够多的小说数据集,就可以开始训练我的写小说aI模型了!”他心中充满了自信。

现在,就让小说模型先跑着吧。

今天是周末,奶茶店的人比往常多上不少,等到了快要歇业的时间里,铺子里还有不少的人。

林小玲没办法,只好延长了奶茶店的营业时间。

连带的,王卿一遍看着aI模型的训练,一遍记着单词。

“喂,我要下班了,咱们一起走吧。”

王卿还沉迷于互联网世界的新奇时,林小玲的声音传了上来。

他抬头一看,“都已经十二点了啊。”

“等我一会儿。”

“好,我在门口等你。”

林小玲没有上楼去,今天太累了,她就在楼下等着王卿收拾东西。

“怎么还没出来呀。”

她在店门口等了两三分钟,王卿那边还没有动静,就想上楼去看看。

还没有走到门口,便看到他扛着一台巨大的电脑主机和一个显示器,不禁笑了起来。

王卿嘴里喘着粗气,额头上挂着一粒粒细密的汗珠,身上的衬衫湿漉漉的贴在了背上。

他双手抱着一台电脑主机和一个显示器,像只蚂蚁一样艰难地从二楼的楼梯上下了来。

热门小说推荐
全民领主:我的兵种变异了

全民领主:我的兵种变异了

万界崩毁,重归一界。全民降临原始大6,成为领主,为生存而战。降临之初,每个人都会获得一个初始领地,招募兵种,强大领地。完了,我随机到野兽系的领地,只能招募狼崽!我也差不多,亡灵系的,初始兵种小骷髅!机械工厂是什么鬼?只给个机关鸟让人怎么活?哈哈,你们算好的了,听说植物系的初始兵种最惨,有人随机到小树苗,一点战斗力都没有!林佑看着这些不断飘过的消息,又看了看自己领地信息上植物系三个大字,哭了。这还怎么玩?可渐渐的,他就现自己招募出来的小树苗,它会变异!...

修仙归来的千岁小祖宗恋爱了

修仙归来的千岁小祖宗恋爱了

一千年前,清虚真人路过地球的时候,见到一个资质极佳的小女孩,有些可惜这么好的资质生在地球,便收为了徒弟,带去了修仙界。一千年后,渡劫大佬升仙,小徒弟李清琳凭借着良好的资质和资源修炼到了渡劫。渡劫,与天同寿。再进一步便是升仙。李清琳却不屑,升仙又有何用,去到仙界不过是最低等仙人。现在已经与天同寿了,何苦还为难自己。小修仙归来的千岁小祖宗恋爱了...

天灾末世别怕,她有空间能修仙

天灾末世别怕,她有空间能修仙

简介关于天灾末世别怕,她有空间能修仙林琅被未婚夫和闺蜜算计出卖,眼睁睁看着自己被身异处。幸遇得祖先法器溯回重生流感极寒干旱洪涝异兽孢子觉醒人祸伴着天灾接踵而至重生归来,没钱怎么办?没事没事,去捡钱就行。财的林琅哐哐囤物资。在末世里惬意生活。重来一世,林琅有足够的资本有怨报怨有仇报仇有恩报恩。...

诸天之宗师凶猛

诸天之宗师凶猛

这里有最精彩的剧情!这里有最恢弘的世界观!这里有最热血沸腾的战斗!一起来探索神秘浩瀚的宇宙!战斗到最后,只为了一句我来自银河!!书友群1o48o24886(2ooo粉丝值可加)...

穿越异界,我被文道吸干

穿越异界,我被文道吸干

简介关于穿越异界,我被文道吸干你曾听过满堂花醉三千客,一剑光寒十四洲。可是你可见过三千剑修齐舞剑,一剑冲霄破九幽?你曾听过一片孤城万仞山,春风不度玉门关。可你曾见过,凌空虚现千里壁,阻挡妖蛮百万兵?...

重生颠覆你江山

重生颠覆你江山

前世,我深情错付,因爱为你筹谋半生,负了家人唯独不负你,而你一场阴谋使得我家破人亡,不得好死,慕容潇,沈若姬若有来世定要你们血债血偿,不得好死。对不起,慕容楚,今生负你,若有来世,必以深情相许,宁负天下不负你一朝重生,灭渣男,虐渣女,以诡异的医术拯救黎明百姓,以权谋算计天下人,慕容楚你战功赫赫,权谋无双,我带着前世重生颠覆你江山...

每日热搜小说推荐