风哥教程

培训 . 交流 . 分享
Make progress together!

圣诞节需要买圣诞树吗?

[复制链接]
内容发布:suger| 发布时间:2021-12-24 16:26:30
圣诞节又到了,又是一个天上飞着驯鹿、家里摆着圣诞树、树下还有礼物的日子。上班路上看到很多店家都在店里摆了一颗挂满礼物盒的圣诞树,很多朋友也会在网上购买一颗小小的圣诞树来过一个氛围感满满的圣诞节。
今天我们就使用python爬虫技术看下淘宝上圣诞树的价格信息,给大家做个参考。在爬取数据前我们需要了解,像淘宝这样大的电商网站,怎么可能是简答的爬虫随随便便就能获取到数据的。淘宝的反爬机制是非常严的,如果爬虫程序做的不够好,也就只能获取少量的数据。对于反爬机制的应对,今天我们主要讲下网站限制ip访问改怎么解决。一般情况下都是加代理,但是代理的选择也是很重要的,网上的代理千千万,真正靠谱的只有那么几家。像某牛云就是其中一家。我们就以他们提供的爬虫代理访问淘宝获取数据,简单的代理使用部分如下:
<?php    // 要访问的目标页面    $url = "https://www.taobao.com/";    $urls = "https://www.taobao.com/";    // 代理服务器(产品官网 www.16yun.cn)    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");    // 代理身份信息    define("PROXY_USER", "16AHZUZZ");    define("PROXY_PASS", "758977");    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);    // 设置 Proxy tunnel    $tunnel = rand(1,10000);    $headers = implode("\r\n", [        "Proxy-Authorization: Basic {$proxyAuth}",        "Proxy-Tunnel: ${tunnel}",    ]);    $sniServer = parse_url($urls, PHP_URL_HOST);    $options = [        "http" => [            "proxy"  => PROXY_SERVER,            "header" => $headers,            "method" => "GET",            'request_fulluri' => true,        ],        'ssl' => array(                'SNI_enabled' => true, // Disable SNI for https over http proxies                'SNI_server_name' => $sniServer        )    ];    print($url);    $context = stream_context_create($options);    $result = file_get_contents($url, false, $context);    var_dump($result);    // 访问 HTTPS 页面    print($urls);    $context = stream_context_create($options);    $result = file_get_contents($urls, false, $context);    var_dump($result);?>
代理的使用部分对很多新手小伙伴来说是很有学习价值的,关于更多的示例可以关注下官网https://www.16yun.cn/help/。


回复

使用道具 举报

1框架
高级模式
B Color Image Link Quote Code Smilies |上传

本版积分规则

热门文章教程

  • Hadoop实战培训教程09_Hadoop集群环境搭建
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • MySQL5权威指南(第3版)PDF电子版下载
  • 实战PHP与MySQL权威指南PDF电子书下载
  • Oracle19c数据库发布与下载地址
快速回复 返回顶部 返回列表