风哥教程

培训 . 交流 . 分享
Make progress together!

你怎么看“开放三胎政策”

[复制链接]
内容发布:suger| 发布时间:2021-6-1 16:16:48
三胎政策可是这两天微博上的热搜词呀!不少网友的朋友圈都被这个话题刷屏了吧?三胎的开放是为了解决我们国家老龄化严重的问题。不过看了很多的评论和观点大都是在吐槽这个政策,还有一大群人不理解现在很多人连一胎都不愿意生居然会想着放开三胎的。
今天我们就通过python分析下近几年中国的人口出生率,关于我国人口的数据来源,可以从“国家数据”网站中获取。这是一个由国家统计局提供的网站,里面有很多国家公开的数据信息!获取到数据之后,我们先将数据清洗,提取出我们需要的数据。但是在采集的的过程中,我们发现网站采取了防爬取技术,如果我们一直用同一个代理IP爬取这个网页,很有可能IP会被禁止访问网页,为了达到正常抓取信息的目的我们就需要挂代理,像我们比较懒的人可以试试动态转发模式的代理,例如我们现在采集国家数据使用的这家就比较好。
附上完整代码:
<?php    // 要访问的目标页面    $url = "http://data.stats.gov.cn/";    $urls = "https://data.stats.gov.cn/";    // 代理服务器(产品官网 www.16yun.cn)    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");    // 代理身份信息    define("PROXY_USER", "16HLEITE");    define("PROXY_PASS", "859431");    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);    // 设置 Proxy tunnel    $tunnel = rand(1,10000);    $headers = implode("\r\n", [        "Proxy-Authorization: Basic {$proxyAuth}",        "Proxy-Tunnel: ${tunnel}",    ]);    $sniServer = parse_url($urls, PHP_URL_HOST);    $options = [        "http" => [            "proxy"  => PROXY_SERVER,            "header" => $headers,            "method" => "GET",            'request_fulluri' => true,        ],        'ssl' => array(                'SNI_enabled' => true, // Disable SNI for https over http proxies                'SNI_server_name' => $sniServer        )    ];    print($url);    $context = stream_context_create($options);    $result = file_get_contents($url, false, $context);    var_dump($result);    // 访问 HTTPS 页面    print($urls);    $context = stream_context_create($options);    $result = file_get_contents($urls, false, $context);    var_dump($result);?>






上一篇:Scrapy爬虫之美团
下一篇:海量新闻数据采集
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • 实战PHP与MySQL权威指南PDF电子书下载
  • 大数据技术与应用入门培训教程(电子版下载
  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • Oracle OCP认证考试IZ0-053题库共712题数据
  • MySQL5权威指南(第3版)PDF电子版下载
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
快速回复 返回顶部 返回列表