博客
关于我
python 原生cookie 转化为字典cookie
阅读量:282 次
发布时间:2019-03-01

本文共 1679 字,大约阅读时间需要 5 分钟。

在实际开发中,获取并处理浏览器中的cookie值是一个常见但复杂的任务。尤其是在不同浏览器之间切换时,cookie的格式和处理方式可能会有所不同。以下是关于如何在Python中处理cookie值并使用requests库进行爬虫的详细方法。

一、获取浏览器中的cookie值

在现代浏览器中,cookie值通常以键值对的形式存储,形式类似于cookie_name=cookie_value。通过右键点击浏览器中的cookie选项,可以直接复制这些值并粘贴到代码中。

然而,除了直接复制外,某些浏览器(如火狐)导出的cookie值可能包含编码后的特殊字符,这些字符需要经过处理才能正确使用。因此,使用Python脚本来自动解析cookie值是一个更可靠的方法。

二、Python脚本处理cookie值

以下是一个示例Python脚本,用于解析并存储cookie值:

cookie = 'cna=xaYUEGbE2X0CAd7f2Qhq4DAA; thw=cn;nk=%5Cu65E0%5Cu58F0%5Cu6EF4%5Cu5BF9%5Cu767D; l_g=Ug%3D%3D; cookie17=UonZBGCaYSPQhQ%3D%3D; l=AiIimIoKS0HVED4ao4GprqAT8qKEcyaN; isg=AkxMGzVSdzRypWPIho7m3FdsHapqgvAvBpI7WaYNWPeaMew7zpXAv0KDp47z'cookieDict = {}cookies = cookie.split("; ")for co in cookies:    co = co.strip()    if '=' in co:        key, value = co.split('=', 1)        value = value.replace('"', '')        cookieDict[key] = value

三、使用requests库进行爬虫

在获取了cookie值后,可以将它们添加到requests库的请求头中,从而模拟浏览器的行为进行爬虫。以下是一个示例:

import requestscookieDict = {    'cna': 'xaYUEGbE2X0CAd7f2Qhq4DAA',    'thw': 'cn',    'nk': '%u65E0%u58F0%u6EF4%u5BF9%u767D',    'l_g': 'Ug%3D%3D',    'cookie17': 'UonZBGCaYSPQhQ%3D%3D',    'l': 'AiIimIoKS0HVED4ao4GprqAT8qKEcyaN',    'isg': 'AkxMGzVSdzRypWPIho7m3FdsHapqgvAvBpI7WaYNWPeaMew7zpXAv0KDp47z'}url = 'http://www.tianya.cn/'response = requests.get(    url,    cookies=cookieDict)response.raise_for_status()

四、注意事项

  • cookie的编码:确保cookie值已经正确解码。如果cookie值中包含URL编码的字符,需要在请求时使用原始字符。
  • Session对象:如果需要保持cookie不变,可以使用requests.Session()对象,并在每次请求时传递cookie参数。
  • 处理异常:在发送请求前,使用response.raise_for_status()方法检查响应状态码,避免由于网络问题或错误请求而导致程序崩溃。
  • 五、优化建议

  • 代码格式化:在实际使用前,建议对代码进行格式化处理,确保可读性。
  • 错误处理:添加异常捕获机制,确保程序在遇到无法解析的cookie值时能够平滑处理。
  • 版本控制:将cookie处理逻辑封装到函数中,方便维护和扩展。
  • 通过以上方法,可以有效地获取和使用浏览器中的cookie值,实现爬虫任务。

    转载地址:http://baio.baihongyu.com/

    你可能感兴趣的文章
    Node.js 在个推的微服务实践:基于容器的一站式命令行工具链
    查看>>
    Node.js 实现类似于.php,.jsp的服务器页面技术,自动路由
    查看>>
    Node.js 异步模式浅析
    查看>>
    node.js 怎么新建一个站点端口
    查看>>
    Node.js 文件系统的各种用法和常见场景
    查看>>
    Node.js 的事件循环(Event Loop)详解
    查看>>
    node.js 简易聊天室
    查看>>
    Node.js 线程你理解的可能是错的
    查看>>
    Node.js 调用微信公众号 API 添加自定义菜单报错的解决方法
    查看>>
    node.js 配置首页打开页面
    查看>>
    node.js+react写的一个登录注册 demo测试
    查看>>
    Node.js中环境变量process.env详解
    查看>>
    Node.js之async_hooks
    查看>>
    Node.js升级工具n
    查看>>
    Node.js卸载超详细步骤(附图文讲解)
    查看>>
    Node.js卸载超详细步骤(附图文讲解)
    查看>>
    Node.js基于Express框架搭建一个简单的注册登录Web功能
    查看>>
    Node.js安装与配置指南:轻松启航您的JavaScript服务器之旅
    查看>>
    Node.js安装及环境配置之Windows篇
    查看>>
    Node.js安装和入门 - 2行代码让你能够启动一个Server
    查看>>