锐客网

  1. 首页 > 睿知 > >

python线程池并发爬虫，python 怎样实现 多线程并发

经验分享睿知

1 ， python 怎样实现 多线程并发python线程有两种,类或者函数后者很简单,就跟pthread一样用啊 。不要打印就好了，或者你自己维护一个print加个自旋锁第三个从但是开始就没看懂既然要加print那一定要加锁了，否则是没办法既然你想搞一个控制线程 ， 那就由它来打印咯
2，python多线程爬取文件怎么设置超时重连你可以试试直接使用开源的爬虫库scrapy ， 原生支持多线程 ， 还可以设定抓取速率 ， 并发线程数等等参数；除此之外，scrapy对爬虫提取HTML内容也有良好的支持 。有道的api有限制，同一ip访问频率不可过高 ， 你可以更换ip访问试试，也可以每个线程中sleep几秒
3 ， python 爬虫加入线程池问题大致思路就是下面了，如果这都看不懂 ， 转行吧 。import threadingimport Queueclass MyThread(threaing.Thread): def __init__(self, queue, name=None): self._queue = queue if name: self.name = name pass def run(self): while q.empty(): passqueue = Queue()for i in xrange(100): queuq.put(i)threads = []for i in xrange(10): threads.append(MyThread(queue, str(i)))for i in threads: i.start()【python线程池并发爬虫，python 怎样实现 多线程并发】
4，Python并发编程之创建多线程的几种方法Django: Py Web应用开发框架Diesel：基于Greenlet的事件I/O框架Flask：一个用Py编写的轻量级Web应用框架Cubes：轻量级Py OLAP框架Kartograph.py：创造矢量地图的轻量级Py框架Pulsar：Py的事件驱动并发框架Web2py：全栈式Web框架Falcon：构建云API和网络应用后端的高性能Py框架Dpark：Py版的SparkBuildbot：基于Py的持续集成测试框架Zerorpc：基于ZeroMQ的高性能分布式RPC框架Bottle: 微型Py Web框架Tornado：异步非阻塞IO的Py Web框架webpy: 轻量级的Py Web框架Scrapy：Py的爬虫框架谁说python多线程支持不好，比起ruby，比起perl，好的不要太多 。python有很多实现多线程的方法：1.挂锁2.queue 队列3.信号机也可以自己构建循环缓冲区我自己总结的构建线程的一些思路：抽象出共享空间，就是读线程和写线程均要访问的那块区域--临界区域，在这个对象里面设置读方法和写方法，并挂锁 ， 也就说不能有2个或者2个以上的线程同时操作共享区域，挂锁 的时候注意死锁问题 。这就是基本的线程同步了 ， 如果要加上缓冲就要考虑记录每个线程操作到什么位置，就是位置信息 。代码不贴了，看我blog里面有几个写python的http://hi.baidu.com/linuxbird只要记得几个思路就可以了5，Python用asyncio模块做协程异步IO爬虫功能为啥我这两个模块下的随着node.js的盛行 ， 相信大家今年多多少少都听到了异步编程这个概念 。Python社区虽然对于异步编程的支持相比其他语言稍显迟缓，但是也在Python3.4中加入了asyncio，在Python3.5上又提供了async/await语法层面的支持，刚正式发布的Python3.6中asynico也已经由临时版改为了稳定版 。下面我们就基于Python3.4+来了解一下异步编程的概念以及asyncio的用法 。什么是协程通常在Python中我们进行并发编程一般都是使用多线程或者多进程来实现的 ， 对于计算型任务由于GIL的存在我们通常使用多进程来实现，而对与IO型任务我们可以通过线程调度来让线程在执行IO任务时让出GIL，从而实现表面上的并发 。其实对于IO型任务我们还有一种选择就是协程，协程是运行在单线程当中的“并发”，协程相比多线程一大优势就是省去了多线程之间的切换开销，获得了更大的运行效率 。Python中的asyncio也是基于协程来进行实现的 。在进入asyncio之前我们先来了解一下Python中怎么通过生成器进行协程来实现并发 。example1我们先来看一个简单的例子来了解一下什么是协程(coroutine) ， 对生成器不了解的朋友建议先看一下Stackoverflow上面的这篇高票回答 。换汤不换药，但专有关键字也许会比借用 yield from 的语义更明确 。个人不看好 asyncio 系的一点是官方似乎完全没有考虑（或没有引导）大量现有民间库该如何兼容（或迁移），甚至连 3.5 标准库的 smtpd 等都还是 2.x 遗留的实现 。asyncio 还只是个裸壳子 。（不过这个似乎也是官方推广 python 3 过程中一贯不负责任的作风 ， 现有的利用 six 库兼容 2.7+ / 3.2+ 的攻略也是民间总结出来的，官方此前推荐是那个完全没有可用性的 lib2to3）搜一下：Python用asyncio模块做协程异步IO爬虫功能，为啥我这两个模块下的代码错误这么多！

    推荐阅读


    上一篇：tcp报文段的格式及协议分析,TCP报文段首部格式详解

    下一篇：如何将HPM208DW恢复至出厂设置