不知有没有遇到过这种情况，看代码全都会，上手写就崩溃。当打开pycharm的那一刻，呵欠连连，头昏脑胀，脑袋里再也想不起任何一行代码。这种情况在我不长的程序学习生涯，还真挺印象深刻。
  如何把有效信息，从这个网址当中给提取出来。打开检查工具，我们在Elements里查看这个网页，是怎样的结构。以下厨房网站[http://www.xiachufang.com/explore/](http://www.xiachufang.com/explore/)为例：打开Elements，它会默认展开body，其余都关闭。我的鼠标悬停在<div class="page-outer">…<div> == $0上，所以你看到下方限制的路径，就是：html > body > div.page-outer。其中.所代表的正是class。提取`<a>`标签。接着，先用`text`拿到它的文本，再使用`[href]`获取到半截URL，和[http://www.xiachufang.com)](http://www.xiachufang.com/)做拼接即可。菜名是<a>标签内的文本，URL是<a>标签里属性href的值，食材藏身于<p class="ing ellipsis">。最后，它们三者的最小共同父级标签，是<div class="info pure-u">。

思路一：我们先去爬取所有的最小父级标签<div class="info pure-u">，然后针对每一个父级标签，想办法提取里面的菜名、URL、食材。
获取与解析
提取最小父级标签
一组菜名、URL、食材
TIPS: 当我们在用text获取纯文本时，获取的是该标签内的所有纯文本信息，不论是直接在这个标签内，还是在它的子标签内。纯文本可以这样做，但如果是要提取属性的值，是不可以的。父标签只能提取它自身的属性值，不能提取子标签的属性值。

写循环，存列表

引用requests库

import requests

引用BeautifulSoup库

from bs4 import BeautifulSoup

获取数据

res_foods = requests.get('http://www.xiachufang.com/explore/')

解析数据

bs_foods = BeautifulSoup(res_foods.text,'html.parser')

查找最小父级标签

list_foods = bs_foods.find_all('div',class_='info pure-u')

创建一个空列表，用于存储信息

list_all = []

for food in list_foods:
tag_a = food.find('a')
# 菜名，使用strip()函数去掉多余的空格
name = tag_a.text.strip()
# 获取URL
URL = 'http://www.xiachufang.com'+tag_a['href']
tag_p = food.find('p',class_='ing ellipsis')
# 食材，使用strip()函数去掉多余的空格
ingredients = tag_p.text.strip()
# 将菜名、URL、食材，封装为列表，添加进list_all
list_all.append([name,URL,ingredients])

打印

print(list_all)

思路二：我们分别提取所有的菜名、所有的URL、所有的食材。然后让菜名、URL、食材给一一对应起来（这并不复杂，第0个菜名，对应第0个URL，对应第0组食材，按顺序走即可）。

引用requests库

import requests

引用BeautifulSoup库

from bs4 import BeautifulSoup

获取数据

res_foods = requests.get('http://www.xiachufang.com/explore/')

解析数据

bs_foods = BeautifulSoup(res_foods.text,'html.parser')

查找包含菜名和URL的<p>标签

tag_name = bs_foods.find_all('p',class_='name')

查找包含食材的<p>标签

tag_ingredients = bs_foods.find_all('p',class_='ing ellipsis')

创建一个空列表，用于存储信息

list_all = []

启动一个循环，次数等于菜名的数量

for x in range(len(tag_name)):
# 提取信息，封装为列表。
list_food = [tag_name[x].text.strip(),tag_name[x].find('a')['href'],tag_ingredients[x].text.strip()]
# 将信息添加进list_all
list_all.append(list_food)

打印

print(list_all)

确认目标-分析过程-代码实现，是我们做每一个项目的必经之路。未来在此基础上，还会有许多演化，但基础都是这些。
将想要的数据分别提取，再做组合是一种不错的思路。但是，如果数据的数量对不上，就会让事情比较棘手。比如，在我们的案例里，如果一个菜有多个做法，其数量也没规律，那么菜名和URL的数量就会对不上。
寻找最小共同父级标签是一种很常见的提取数据思路，它能有效规避这个问题。但有时候，可能需要你反复操作，提取数据。
所以在实际项目实操中，需要根据情况，灵活选择，灵活组合。我们本关卡所做的项目，只是刚刚好两种方式都可以爬取。
text获取到的是该标签内的纯文本信息，即便是在它的子标签内，也能拿得到。但提取属性的值，只能提取该标签本身的。
在爬虫实践当中，其实常常会因为标签选取不当，或者网页本身的编写没做好板块区分，你可能会多提取到出一些奇怪的东西。
当遇到这种糟糕的情况，一般有两种处理方案：数量太多而无规律，我们会换个标签提取；数量不多而有规律，我们会对提取的结果进行筛选——只要列表中的若干个元素就好。