Andy's blog

在获取标签下文本内容的处理上xpath与bs4还是有比较大的区别的，下面先看一个简单的比较：

先上网页源码：

<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>测试bs4</title>
</head>
<body>
    <div>
        <p>百里守约</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>苏轼</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="赵匡胤" target="_self">
            <span>this is span</span>
        宋朝是最强大的王朝，
        不是军队的强大，而是经济很强大，
        国民都很有钱</a>
        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

xpath解析：

import os
import requests
from lxml import etree

tree = etree.parse('./poet.html')
content = tree.xpath('//div[@class="song"]//text()')
print(content)

输出结果：

['\n\t\t', '李清照', '\n\t\t', '王安石', '\n\t\t', '苏轼', '\n\t\t', '柳宗元', '\n\t\t', '\n\t\t\t', 'this is span', '\n\t\t宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱', '\n\t\t', '总为浮云能蔽日,长安不见使人愁', '\n\t\t', '\n\t']

可以看到，xpath将所有的换行符，空格都原样输出了，当我们想获取文本时，这显然不是我们的预期。

我们再看看bs4：

from bs4 import BeautifulSoup
fp = open('./poet.html','r', encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
t = soup.find('div', class_='song')
print(t.text)

fp.close()

输出结果：

李清照
王安石
苏轼
柳宗元

this is span
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱
总为浮云能蔽日,长安不见使人愁

可以看到，虽然有空格，但是并不是空格的源格式，而是经过处理后的空格。

在xpath中要怎么处理这些换行，空格呢？
经过网络搜索，发现有个string方法，但这个方法用起来比较费劲，下面来看看：

tree = etree.parse('./poet.html')
content = tree.xpath('//div[@class="song"]')
for c in content:
    c = c.xpath('string(.)').strip()
    print(c)

输出结果：只有文字了。但是这个

李清照
        王安石
        苏轼
        柳宗元

            this is span
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱
        总为浮云能蔽日,长安不见使人愁

Xpath 去掉文本中的空格换行符