Golang协程并发爬取图片源码，仅供学习

1. package main
3. import (
4.         &*uot;fmt&*uot;
5.         &*uot;io/ioutil&*uot;
6.         &*uot;net/http&*uot;
7.         &*uot;os&*uot;
8.         &*uot;regexp&*uot;
9.         &*uot;strconv&*uot;
10.         &*uot;st**ngs&*uot;
11.         &*uot;sync&*uot;
12.         &*uot;time&*uot;
13. )
15. var (
16.         reImg        = `https?://[^&*uot;]+?(\.((jpg)|(png)|(jpeg)|(gif)|(bmp)))`
17.         taskChan     chan st**ng                                                      // 记录任务完成的通道
18.         imgChan      chan st**ng                                                      // 图片通道
19.         waitG**up    sync.WaitG**up                                                   // 协程会涉及到并发，这个的作用具体的可百度
20.         pageStart    int            = 1                                               // 从第几页开始
21.         pageSize     int            = 30                                              // 扫描页数
22.         DownLoadPath st**ng         = &*uot;D:/HBuilderX/p**ject/GolangP**ject/爬虫小案例/img/&*uot; // 此处是图片下载的地址，需要修改为你们自己的地址
23. )
25. func main() {
26.         fmt.P**ntln(&*uot;从第几页开始&*uot;)
27.         fmt.Scanln(&pageStart)
29.         fmt.P**ntln(&*uot;扫描页数&*uot;)
30.         fmt.Scanln(&pageSize)
32.         taskChan = make(chan st**ng, pageSize) // 给管道缓冲值
33.         imgChan = make(chan st**ng, 100000)    // 给管道缓冲值
35.         for i := pageStart; i < pageStart+pageSize; i++ {
36.                 waitG**up.Add(1)
37.                 go getWebBody(i) // 获取地址的body
38.         }
40.         waitG**up.Add(1)
41.         go handleImg() // 处理img
43.         waitG**up.Add(1)
44.         go checkOk()
46.         waitG**up.Wait()
48.         fmt.P**ntln(&*uot;执行完毕,回车退出&*uot;)
49.         var input st**ng
50.         fmt.Scanln(&input)
51. }
53. func getWebBody(i int) {
54.         **l := &*uot;https://www.bizhizu.cn/shouji/tag-%E5%8F%AF%E7%88%B1/&*uot; + strconv.Itoa(i) + &*uot;.html&*uot;
55.         resp, err := http.Get(**l)
56.         if err != nil {
57.                 fmt.P**ntln(err)
58.         }
59.         defer resp.Body.Close() // 此处不可少，否则会造成内存泄露或者溢出问题
61.         body, _ := ioutil.ReadAll(resp.Body)
63.         re := regexp.MustCompile(reImg) // 正则匹配图片地址
65.         result := re.FindAllSt**ngSubmatch(st**ng(body), -1)
67.         p**ntln(&*uot;第&*uot; + strconv.Itoa(i) + &*uot;页找到数据&*uot; + strconv.Itoa(len(result)) + &*uot;条&*uot;)
69.         for _, v := range result {
70.                 imgChan <- v[0] // 把得到的数据写到 管道 里
71.         }
73.         taskChan <- **l
75.         waitG**up.Done()
76. }
78. // 处理图片方法
79. func handleImg() {
80.         for **l := range imgChan {
81.                 fileName := GetFilenameF**mUrl(**l)
82.                 result := DownloadFile(**l, fileName)
83.                 if result {
84.                         fmt.P**ntf(&*uot;已下载完毕 %v \n&*uot;, **l)
85.                 } else {
86.                         fmt.P**ntf(&*uot;下载失败 %v \n&*uot;, **l)
87.                 }
88.         }
89.         waitG**up.Done()
90. }
92. // **管道任务是否完成
93. func checkOk() {
94.         count := 0
95.         for {
96.                 **l := <-taskChan
97.                 fmt.P**ntf(&*uot;完成爬取：%v \n&*uot;, **l)
98.                 count++
99.                 if count == pageSize {
100.                         close(imgChan)
101.                         close(taskChan)
102.                         break
103.                 }
104.         }
106.         waitG**up.Done()
107. }
109. // 截取**l名字
110. func GetFilenameF**mUrl(**l st**ng) (filename st**ng) {
111.         // 返回最后一个/的位置
112.         lastIndex := st**ngs.LastIndex(**l, &*uot;/&*uot;)
113.         // 切出来
114.         filename = **l[lastIndex+1:]
115.         // 时间*解决重名
116.         timePrefix := strconv.Itoa(int(time.Now().UnixNano()))
117.         filename = timePrefix + &*uot;_&*uot; + filename
118.         ret**n
119. }
121. // 下载文件方法
122. func DownloadFile(**l st**ng, filename st**ng) bool {
123.         var err er**r
124.         resp, err := http.Get(**l)
125.         if err != nil {
126.                 fmt.P**ntln(err)
127.         }
128.         defer resp.Body.Close()
129.         bytes, err := ioutil.ReadAll(resp.Body)
130.         if err != nil {
131.                 fmt.P**ntln(err)
132.         }
134.         if _, err := os.Stat(DownLoadPath); os.IsNotExist(err) {
135.                 // 必须分成两步
136.                 // 先创建文件夹
137.                 os.Mkdir(DownLoadPath, 0777)
138.                 // 再修改权限
139.                 os.Chmod(DownLoadPath, 0666)
140.         }
142.         filename = DownLoadPath + filename
143.         err = ioutil.W**teFile(filename, bytes, 0666)
144.         if err != nil {
145.                 ret**n false
146.         }
147.         ret**n true
148. }

网友 Twice 说：

人生苦短，我用PYTHON

网友 Mr.Bean 说：

支持看到了if err 舒服了