php-Beanbun爬虫

yangdong

文档和资源代码：

http://www.beanbun.org/#/

composer下来之后：

新家sart.php文件
代码如下：

[PHP] 纯文本查看 复制代码

<?php
require_once(__DIR__ . '/vendor/autoload.php');

use Beanbun\Beanbun;
$beanbun = new Beanbun;
$beanbun->seed = [
    'http://bbs.fologde.com/forum.php',
    'http://bbs.fologde.com/forum.php?mod=viewthread&tid=381&extra=',
    'http://bbs.fologde.com/forum.php?mod=viewthread&tid=380&extra=',
];
$beanbun->afterDownloadPage = function($beanbun) {
    file_put_contents(__DIR__ . '/' . md5($beanbun->url), $beanbun->page);
};
$beanbun->start();

运行方法：
cmd  ：  php sart.php

也可以用apache 运行
运行后，会生成三个无后缀的文件  

这些文件的内容就是那三个网址其中一个的源码：

在获取到源码后，将文件内容读取到变量中，利用正则获取到自己想要的内容

再用上上一篇文章的获取文章部分url的方法，就可以获取到某些网站的内容，再添加到自己的数据库中