接上篇:
6. 搜索文档数 (1) find_all(name, attrs, recursive, text, **kwargs) Find_all()方法搜索当前tag的所有tag子节点,并判断是否符合过滤器条件。 1) name参数 name参数可以搜索所有名字为name的tag,字符串对象将被自动忽略。 A. 传字符串 最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的标签: 输出: B. 传正则表达式 如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的 match() 来匹配内容.下面例子中找出所有以b开头的标签,这表示和标签都应该被找到:
输出: C. 传列表 如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有标签和标签: 输出:
D. 传True True 可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点: 输出:
E. 传方法 如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False。 下面方法校验了当前元素,如果包含 class 属性却不包含 id 属性,那么将返回 True:
将这个方法作为参数传入 find_all() 方法,将得到所有
输出: 2) keyword参数 如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的"id"属性,用例: 输出: 使用多个指定名字的参数可以同时过滤tag的多个属性,用例:
输出: 在这里我们想用 class 过滤,不过 class 是 python 的关键词,这怎么办?加个下划线就可以,用例: 输出:
3) text参数 通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True, 用例:
输出:
4) limit参数 find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果. 文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量,用例: 输出:
5) Recursive参数 调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False . (2)find( name , attrs , recursive , text , **kwargs ) 它与 find_all() 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果 (3)find_parents() find_parent() find_all() 和 find() 只搜索当前节点的所有子节点,孙子节等.。find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容。 (4)find_next_siblings() find_next_sibling() 这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代,,find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点 (5)find_previous_siblings() find_previous_sibling() 这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代,,find_previous_siblings() 方法返回所有符合条件的前面的兄弟点,,find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点。 (6)find_all_next() find_next() 这2个方法通过 .next_elements 属性对当前 tag 的之后的 tag 和字符串进行迭代,,find_all_next() 方法返回所有符合条件的节点, find_next() 方法返回第一个符合条件的节点。 (7)find_all_previous() 和 find_previous() 这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代,,find_all_previous() 方法返回所有符合条件的节点, find_previous()方法返回第一个符合条件的节点。
|