中文文档： https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

BeautifulSoup4 是 HTML/XML 分析器的主要功能是分析和提取 HTML/XML 中的数据。

在 python3 中安装 BeautifulSoup4 方法如下：

pip3 install beautifulsoup4 

Beautiful Soup支持Python标准库中的HTML如果我们不安装它，分析器还支持一些第三方分析器 Python 会使用 Python默认分析器，lxml 建议安装分析器更强、更快。

BeautifulSoup 文档中两者的定义如下：

  find_all(tag, attributes, recursive, text, limit, keywords)
  
  find(tag, attributes, recursive, text, keywords)
  

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

html = urlopen('http://www.pythonscraping.com/pages/page3.html')
bs = BeautifulSoup(html, 'html.parser')
images = bs.find_all('img',
                     { 
        'src': re.compile('\.\.\/img\/gifts\/img.*\.jpg')})
for image in images:
    print(image['src'])

全面彻底地抓取网站的常用方法是从一个顶级页面(比如主页)开始，然后搜索该页面上 的所有内链，形成列表。之后，抓取这些链接跳转到的每一个页面，再把在每个页面上找 到的链接形成新的列表，接着执行下一轮抓取。

• 一个函数 getLinks，可以用一个 /wiki/< 词条名称 > 形式的维基百科词条 URL 作为参数， 然后以同样的形式返回一个列表，里面包含所有的词条 URL。

• 一个主函数，以某个起始词条为参数调用 getLinks，然后从返回的 URL 列表里随机选 择一个词条链接，再次调用 getLinks，直到你主动停止程序，或者在新的页面上没有词 条链接了。

  完整的代码如下所示:

from urllib.request import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re

random.seed(datetime.datetime.now())

def getLinks(articleUrl):
    html = urlopen('http://en.wikipedia.org{}'.format(articleUrl))
    bs = BeautifulSoup(html, 'html.parser')
    return bs.find('div', { 
        'id': 'bodyContent'}).find_all('a',
                                                          href=re.compile('^(/wiki/)((?!:).)*$'))
links = getLinks('/wiki/Kevin_Bacon')
while len(links) > 0:
    newArticle = links[random.randint(0, len(links) - 1)].attrs['href']
    print(newArticle)
    links = getLinks(newArticle)

通过观察几个维基百科页面，包括词条页面和非词条页面，比如隐私策略页 面，就会得出下面的规则。

• 所有的标题(所有页面上，不论是词条页面、编辑历史页面还是其他页面)都是在 h1 → span 标签里，而且页面上只有一个 h1 标签。

• 前面提到过，所有的正文文本都在 div#bodyContent 标签里。但是，如果我们只想获取 第一段文字，可能用 div#mw-content-text → p 更好(只选择第一段的标签)。这个规则 对所有内容页面都适用，除了文件页面(例如，https://en.wikipedia.org/wiki/File:Orbit_ of_274301_Wikipedia.svg)，它们不包含内容文本(content text)部分。

• 编辑链接只出现在词条页面上。如果有编辑链接，都位于 li#ca-edit 标签的 li#ca- edit → span → a 里面。

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()

def getLinks(pageUrl):
    global pages
    html = urlopen('http://en.wikipedia.org{}'.format(pageUrl))
    bs = BeautifulSoup(html, 'html.parser')
    try:
        print(bs.h1.get_text())
        print(bs.find(id='mw-content-text').find_all('p')[0])
        print(bs.find(id='ca-edit').find('span')
              .find('a').attrs['href'])
    except AttributeError:
        print("页面缺少一些属性!不过不用担心!")
    for link in bs.find_all('a', href=re.compile('^(/wiki/)')):
        if 'href' in link.attrs:
           if link.attrs['href'] not in pages:  # 我们遇到了新页面
               newPage = link.attrs['href']
               print('-' * 20)
               print(newPage)
               pages.add(newPage)
               getLinks(newPage)

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()

def getLinks(pageUrl):
    global pages
    html = urlopen('https://github.com/chakra-core/ChakraCore/labels/Bug{}'.format(pageUrl))
    bs = BeautifulSoup(html, 'html.parser')
    for link in bs.find_all('a', href=re.compile('^(\/chakra-core\/ChakraCore\/issues\/)[0-9]+')):
        if 'href' in link.attrs:
           if link.attrs['href'] not in pages:  # 我们遇到了新页面
               newPage = link.attrs['href']
               print('-' * 20)
               print(newPage)
               pages.add(newPage)
               getLinks(newPage)

getLinks('')

 conda install -c conda-forge scrapy

• 一个蜘蛛(spider)就是一 个 Scrapy 项目，和它的名称一样，就是用来爬网(抓取网页)的

• “爬虫”(crawler)表示“任意用或不用 Scrapy 抓取网页的程序”

https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义以下三个属性:

• name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
• start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
• parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

• scrapy.cfg: 项目的配置文件
• tutorial/: 该项目的python模块。之后您将在此加入代码。
• tutorial/items.py: 项目中的item文件.
• tutorial/pipelines.py: 项目中的pipelines文件.
• tutorial/settings.py: 项目的设置文件.
• tutorial/spiders/: 放置spider代码的目录.

Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:

• /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
• /html/head/title/text(): 选择上面提到的 <title> 元素的文字
• //td: 选择所有的 <td> 元素
• //div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

为了配合XPath，Scrapy除了提供了 Selector 之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

• xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
• css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
• extract(): 序列化该节点为unicode字符串并返回list。
• re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

在查看了网页的源码后，您会发现网站的信息是被包含在 第二个 <ul> 元素中。

我们可以通过这段代码选择该页面中网站列表里所有 <li> 元素:

response.xpath('//ul/li')

网站的描述:

response.xpath('//ul/li/text()').extract()

网站的标题:

response.xpath('//ul/li/a/text()').extract()

以及网站的链接:

response.xpath('//ul/li/a/@href').extract()

之前提到过，每个 .xpath() 调用返回selector组成的list，因此我们可以拼接更多的 .xpath() 来进一步获取某个节点。我们将在下边使用这样的特性:

for sel in response.xpath('//ul/li'):
    title = sel.xpath('a/text()').extract()
    link = sel.xpath('a/@href').extract()
    desc = sel.xpath('text()').extract()
    print title, link, desc

mysql -u root

密码为：12345678

输入show databases;命令，显示所有数据库

mysql> show databases;

mysql> create database studb;

在上面显示的数据库中，实例中使用studb数据库，输入下面命令：

mysql> use studb;

mysql> create table test

  -> (

  -> sid varchar(20) not null primary key,

  -> sname varchar(20) not null,

  -> sddress varchar(40)

  -> );

mysql> desc t_stu;

打印结果：

+---------+-------------+------+-----+---------+-------+
| Field   | Type        | Null | Key | Default | Extra |
+---------+-------------+------+-----+---------+-------+
| sid     | varchar(20) | NO   | PRI | NULL    |       |
| sname   | varchar(20) | NO   |     | NULL    |       |
| address | varchar(50) | YES  |     | NULL    |       |
+---------+-------------+------+-----+---------+-------+
3 rows in set (0.02 sec)

mysql> insert into t_stu
    -> select 's001' , 'jin' , 'changzhou'
    -> union
    -> select 's002' , 'tom' , 'yangzhou'
    -> union
    -> select 's003' , 'kate' , 'suzhou'
    -> ;

mysql> select * from t_stu;

查看结果：

| sid  | sname | address  |
+------+-------+----------+
| s001 | jin   | wuhan    |
| s002 | tom   | shanghai |
| s003 | kate  | suzhou   |
+------+-------+----------+
3 rows in set (0.01 sec)

mysql> update t_stu set sname = "fby" where sid = "s001";

删除表中sid = “s002”的数据

mysql> delete from t_stu where sid = "s002";

from urllib.request import urlopen
from io import StringIO
import csv

data = urlopen('http://pythonscraping.com/files/MontyPythonAlbums.csv').read().decode('ascii', 'ignore')
dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
for row in csvReader:
    print(row)

https://blog.csdn.net/atnanyang/article/details/70832257

1.列合并两个csv文件

import pandas as pd
df1 = pd.read_csv('dataset/easy29.csv')
df2 = pd.read_csv('dataset/easy210.csv')
 
frames = [df1, df2]
all_csv = pd.concat(frames)

2.通过追加的方式合并csv文件。

with open('1.csv','ab') as f:
f.write(open('2.csv','rb').read())#将2.csv内容追加到1.csv的后面

3.在将多个csv文件拼接到一起的时候，可以用Python通过pandas包的read_csv和to_csv两个方法来完成。这里不采用pandas.merge()来进行csv的拼接，而只是通过简单的文件的读取和附加方式的写入来完成拼接。

3.1

import pandas as pd
for inputfile in os.listdir(inputfile_dir):
    pd.read_csv(inputfile, header=None)　　　　　　　　　　　　　　　　 　　 #header=None表示原始文件数据没有列索引，这样的话read_csv会自动加上列索引
    pd.to_csv(outputfile, mode='a', index=False, header=False)　　　　　　#header=0表示不保留列名，index=False表示不保留行索引，mode='a'表示附加方式写入，文件原有内容不会被清除

3.2

# 将该文件夹下的所有文件名存入列表
csv_name_list = os.listdir('E:\jupyternotebook_space\yimiaodatas')
# 获取列表的长度
length = len(csv_name_list)

# 读取第一个CSV文件并包含表头，用于后续的csv文件拼接
f= open(csv_name_list[0],encoding = "utf-8")
df = pd.read_csv( f) 

# 读取第一个CSV文件并保存
df.to_csv( "E:\jupyternotebook_space\Alldatas.csv",index=False)

# 循环遍历列表中各个CSV文件名，并完成文件拼接
for i in range(0,length):
    f= open(csv_name_list[i],encoding = "utf-8")
    df = pd.read_csv( f )
    df.to_csv("E:\jupyternotebook_space\Alldatas.csv",index=False, header=False, mode='a+')

有如下表格，需要在最左侧新增一列为“序号”，编号从1开始

代码如下：

#打开文件
import pandas as pd
df = pd.read_excel(r'test.xlsx')
#序号列为从1开始的自增列，默认加在dataframe最右侧
df['序号'] = range(1,len(df)+1)
#对原始列重新排序，使自增列位于最左侧
df = df[['序号','seats','price','price-sign']]
#输出
df.to_excel('test_new.xlsx',index=False)

https://blog.csdn.net/qq_38410428/article/details/82792730

• etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。(修复html文件中代码，把缺的头或尾节点补齐；)
• etree.tostring()：输出修正后的结果，类型是bytes