Python第九周+第十周

• 筆記
• 第九周作業
• 第十周期末測試

筆記

數據表示→數據清洗→數據統計→數據可視化→數據挖掘→人工智能
-數據表示：采用合適方式用程序表達數據
-數據清洗：數據歸一化、數據轉換、異常值處理
-數據統計：數據概要理解，數量、分布、中位數等
-數據可視化：直觀展示數據內涵的方式
-數據挖掘：從數據分析獲得知識，產生數據外的價值
-人工智能：數據/語言/圖像/視覺等方面深度分析與決策

數據分析
Numpy：表達N維數組的最基本庫
-Python接口使用，C語言實現，計算速度優異
-Python數據分析及科學計算的基礎庫，支撐Pandas等
-提供直接的矩陣運算、廣播函數、線性代數等功能
Pandas：Python數據分析高層次應用庫
-提供了簡單易用的數據結構和數據分析工具
-理解數據類型與索引的關系，操作索引即操作數據
-Python最重要的數據分析功能庫，基于Numpy開發
△Series=索引+一維數據
△DataFrame=行列索引+二維數據
Scipy：數學、科學和工程計算功能庫
-提供了一批數學算法及工程數據運算功能
-類似MATLAB，可用于如傅里葉變換、信號處理等應用
-Python最主要的科學計算功能庫，基于Numpy開發
功能：傅里葉變換類、信號處理類、線性代數類、圖像處理類、稀疏圖壓縮類、稀疏圖運算類、優化算法類

數據可視化
Matplotlib：高質量的二維數據可視化功能庫
-提供了超過100種數據可視化展示效果
-通過matplotlib.pyplot子庫調用各可視化效果
-python最主要的數據可視化功能庫，基于Numpy開發
Seaborn：統計類數據可視化功能庫
-提供了一批高層次的統計類數據可視化展示效果
-主要展示數據間分布、分類和線性關系等內容
-基于Matplotlib開發，支持Numpy和Pandas
Mayavi：三維科學數據可視化功能庫
-提供了一批簡單易用的3D科學計算數據可視化展示效果
-目前版本是Mayavi2，三維可視化最主要的第三方庫
-支持Numpy、TVTK、Traits、Envisage

文本處理
PyPDF2：用來處理pdf文件的工具集
-提供了一批處理PDF文件的計算功能
-支持獲取信息、分隔/整合文件、加密解密等
-完全Python語言實現，不需要額外依賴，功能穩定

#兩個文件整合成一個文件 from PyPDF2 import PdfFileReader, PdfFileMerger merger=PdfFileMerger() input1=open("document1.pdf","rb") input2=open("document2.pdf","rb") merger.append(fileobj=input1,pages=(0,3)) merger.merge(position=2,fileobj=input2,pages=(0,1)) output=open("document-output.pdf","wb") merger.write(output)

NLTK：自然語言文本處理第三方庫
-提供了一批簡單易用的自然語言文本處理功能
-支持語言文本分類、標記、語法句法、語義分析等
-最優秀的Python自然語言處理庫

from nltk.corpus import treebank t=treebank.parsed_sents("wsj_0001.mrg")[0] t.draw()

Python-docx：創建或更新Microsoft Word文件的第三方庫
-提供創建或更新.doc.docx等文件的計算功能
-增加并配置段落、圖片、表格、文字等，功能全面

from docx import Document document=Document() document.add_heading("Document Title",0) p=document.add_paragraph("A plain paragraph having some") document.add_page_break() document.save("demo.docx")

機器學習
Scikit-learn：機器學習方法工具集
-提供一批統一化的機器學習方法功能接口
-提供聚類、分類、回歸、強化學習等計算功能
-機器學習最基本且最優秀的Python第三方庫
TensorFlow：AlphaGo背后機器學習計算框架
-谷歌公司推動的開源機器學習框架
-將數據流圖作為基礎，圖節點代表運算，邊代表張量
-應用機器學習方法的一種方式，支撐谷歌人工智能應用

import tensorflow as tf init=tf.global_variables_initializer() sess=tf.Session() sess.run(init) res=sess.run(result) print("result:",res) MXNet：基于神經網絡的深度學習計算框架 -提供可擴展的神經網絡及深度學習計算功能 -可用于自動駕駛、機器翻譯、語音識別等眾多領域 -Python最重要的深度學習計算框架

霍蘭德人格分析雷達圖

#HollandRadarDraw import numpy as np import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams['font.family']='SimHei' radar_labels = np.array(['研究型(I)','藝術型(A)','社會型(S)',\'企業型(E)','常規型(C)','現實型(R)']) #雷達標簽 nAttr = 6 data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],[0.85, 0.35, 0.30, 0.40, 0.40, 0.30],[0.43, 0.89, 0.30, 0.28, 0.22, 0.30],[0.30, 0.25, 0.48, 0.85, 0.45, 0.40],[0.20, 0.38, 0.87, 0.45, 0.32, 0.28],[0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #數據值 data_labels = ('藝術家', '實驗員', '工程師', '推銷員', '社會工作者','記事員') angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False) data = np.concatenate((data, [data[0]])) angles = np.concatenate((angles, [angles[0]])) fig = plt.figure(facecolor="white") plt.subplot(111, polar=True) plt.plot(angles,data,'o-', linewidth=1, alpha=0.2) plt.fill(angles,data, alpha=0.25) plt.thetagrids(angles*180/np.pi, radar_labels,frac = 1.2) plt.figtext(0.52, 0.95, '霍蘭德人格分析', ha='center', size=20) legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1) plt.setp(legend.get_texts(), fontsize='large') plt.grid(True) plt.savefig('holland_radar.jpg') plt.show()

從Web解析到網絡空間

網絡爬蟲
Requests：最友好的網絡爬蟲功能庫
-提供了簡單易用的類HTTP協議網絡爬蟲功能
-支持連接池、SSL、Cookies、HTTP(S)代理等
-Python最重要的頁面級網絡爬蟲功能庫

import requests r=requests.get("https://api.github.com/user",auth=("user","pass")) r.status_code r.headers["content-type"] r.encoding r.text

此外
Scrapy：優秀的網絡爬蟲框架
-提供了構建網絡爬蟲系統的框架功能，功能半成品
-支持批量和定時網頁爬取、提供數據處理流程等
-Python最主要且最專業的的網絡爬蟲框架
pyspider：強大的Web網頁爬取系統
-提供了完整的網頁爬取系統構建功能
-支持數據庫后端、消息隊列、優先級、分布式架構等
Python最重要的網絡爬蟲類第三方庫

Web信息提取
Beautiful Soup：HTML和XML的解析庫
-提供了解析HTML和XML等Web信息的功能
-又名beautifulsoup4或bs4，可以加載多種解析引擎
-常與網絡爬蟲庫搭配使用，如Scrapy、requests等
Re(regular expression)：正則表達式解析和處理功能庫
-提供了定義和解析正則表達式的一批通用功能
-可用于各類場景，包括頂點的Web信息提取
-是Python最重要的標準庫之一，無需安裝

Python-Goose：提取文章類型Web頁面的功能庫
-提供了對Web頁面中文章信息/視頻等元數據的提取功能
-針對特定類型Web頁面，應用覆蓋面較廣
-Python最主要的Web信息提取庫

from goose import Goose url="http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html" g=Goose({"use_meta_language":False,"target_language":"es"}) article=9.extract(url=url) article.cleaned_text[:150]

Web網站開發
Django：最流行的Web應用框架
-提供了構建Web系統的基本應用框架
-MTV模式：模型（model）、模板（template）、視圖（views）
-Python最重要的Web應用框架，略微復雜的應用框架

Pyramid：規模適中的Web應用框架
-提供了簡單方便構建Web系統的應用框架
-不大不小，規模適中，適合快速構建并適度擴展類應用
-Python產品級Web應用框架，起步簡單可擴展性好

from wsgiref.simple_server import make_server from pyramid.config import Configurator from pyramid.response import Response def hello_world(request):return Response("Hello World!") if __name__=="__main__":with Configurator() as config:config.add_route("hello","/")config.add_view(hello_world,route_name="hello")app=config.make_wsgi_app()server=make_server("0.0.0.0",6543,app)server.server_forever()

Flask：Web應用開發微框架
-提供了最簡單構建Web系統的應用框架
-特點是：簡單、規模小、快速
-Django>Pyramid>Flask

from flask import Flask app=Flask(__name__) @app.route("/") def hello_world():return "Hello, World!"

網絡應用開發
WeRoBot：微信公眾號開發框架
-提供了解析微信服務器消息及反饋消息的功能
-建立微信機器人的重要技術手段
aip：百度AI開放平臺接口
-提供了訪問百度AI服務的Python功能接口
-語音、人臉、OCR、NLP知識圖譜、圖像搜索等領域
-Python百度AI應用的最主要方式
MyQR：二維碼生成第三方庫
-提供了生成二維碼的系列功能
-基本二維碼、藝術二維碼和動態二維碼

圖形用戶界面
PyQt5：Qt開發框架的Python接口
-提供了創建Qt5程序的Python API接口
-Qt是非常成熟的跨平臺桌面應用開發系統，完備GUI
-推薦的Python GUI開發第三方庫
WxPython：跨平臺GUI開發框架
-提供了專用于Python的跨平臺GUI開發框架
-理解數據類型與索引的關系，操作索引即操作數據
-Python最重要的數據分析功能庫，基于Numpy開發
PyGObject：使用GTK+開發GUI的功能庫
-提供了整合GTK+、WebKitGTK+等庫的功能
-GTK+：跨平臺的一種用戶圖形界面GUI框架
-實例：Anaconda采用該庫構建GUI

游戲開發
PyGame：簡單的游戲開發功能庫
-提供了基于SDL的簡單游戲開發功能及實現引擎
-理解游戲對外部輸入的響應機制及角色構建的交互機制
-Python游戲入門最重要的第三方庫
Panda3D：開源、跨平臺的3D渲染和游戲開發庫
-一個3D游戲引擎，提供Python和C++兩種接口
-支持很多先進特性：法線貼圖、光澤貼圖、卡通渲染等
-由迪士尼和卡尼基梅隆大學共同開發
cocos2d：構建2D游戲和圖形界面交互式應用的框架
-提供了基于OpenGL的游戲開發圖形渲染功能
-支持GPU加速，采用樹形結構分層管理游戲對象類型
-適用于2D專業級游戲開發

虛擬現實
VR Zero：在樹莓派上開發VR應用的Python庫
-提供大量與VR開發相關的功能
-針對樹莓派的VR開發庫，支持設備小型化，配置簡單化
-非常適合初學者時間VR開發及應用
pyovr：Oculus Rift的Python開發接口
-針對Oculus VR設備的Python開發庫
-基于成熟的VR設備，提供全套文檔，工業級應用設備
-Python+虛擬現實領域探索的一種思路
Vizard：基于Python的通用VR開發引擎
-專業的企業級虛擬現實開發引擎
-提供詳細的官方文檔
-支持多種主流的VR硬件設備，具有一定通用性

圖形藝術
Quads：迭代藝術
-對圖片進行四分迭代，形成像素風
-可以生成動圖或靜圖圖像
-簡單易用，具有很高展示度
ascii_art：ASCII藝術庫
-將普通圖片轉為ASCII藝術風格
-輸出可以是純文本或彩色文本
-可采用圖片格式輸出
turtle：海龜繪圖體系
Random Art

玫瑰花繪制

import turtle as t # 定義一個曲線繪制函數 def DegreeCurve(n, r, d=1):for i in range(n):t.left(d)t.circle(r, abs(d)) # 初始位置設定 s = 0.2 # size t.setup(450*5*s, 750*5*s) t.pencolor("black") t.fillcolor("red") t.speed(100) t.penup() t.goto(0, 900*s) t.pendown() # 繪制花朵形狀 t.begin_fill() t.circle(200*s,30) DegreeCurve(60, 50*s) t.circle(200*s,30) DegreeCurve(4, 100*s) t.circle(200*s,50) DegreeCurve(50, 50*s) t.circle(350*s,65) DegreeCurve(40, 70*s) t.circle(150*s,50) DegreeCurve(20, 50*s, -1) t.circle(400*s,60) DegreeCurve(18, 50*s) t.fd(250*s) t.right(150) t.circle(-500*s,12) t.left(140) t.circle(550*s,110) t.left(27) t.circle(650*s,100) t.left(130) t.circle(-300*s,20) t.right(123) t.circle(220*s,57) t.end_fill() # 繪制花枝形狀 t.left(120) t.fd(280*s) t.left(115) t.circle(300*s,33) t.left(180) t.circle(-300*s,33) DegreeCurve(70, 225*s, -1) t.circle(350*s,104) t.left(90) t.circle(200*s,105) t.circle(-500*s,63) t.penup() t.goto(170*s,-30*s) t.pendown() t.left(160) DegreeCurve(20, 2500*s) DegreeCurve(220, 250*s, -1) # 繪制一個綠色葉子 t.fillcolor('green') t.penup() t.goto(670*s,-180*s) t.pendown() t.right(140) t.begin_fill() t.circle(300*s,120) t.left(60) t.circle(300*s,120) t.end_fill() t.penup() t.goto(180*s,-550*s) t.pendown() t.right(85) t.circle(600*s,40) # 繪制另一個綠色葉子 t.penup() t.goto(-150*s,-1000*s) t.pendown() t.begin_fill() t.rt(120) t.circle(300*s,115) t.left(75) t.circle(300*s,100) t.end_fill() t.penup() t.goto(430*s,-1070*s) t.pendown() t.right(30) t.circle(-600*s,35) t.done()

效果圖

第九周作業

單項選擇題
點擊選項選擇正確答案，每題有且僅有一個正確答案
1
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python人工智能方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Scikit-Learn
B Seaborn
C MXNet
D TensorFlow
正確答案 B
Seaborn是數據可視化第三方庫。
2
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python游戲開發方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A PyGame
B aip
C cocos2d
D Panda3D
正確答案 B
aip是baidu的人工智能功能Python訪問接口。
3
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python圖形用戶界面方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Vizard
B PyQt5
C wxPython
D PyGObject
正確答案 A
Vizard是虛擬現實第三方庫。
4
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網絡應用開發方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A aip
B MyQR
C WeRobot
D numpy
正確答案 D
numpy是多維度數據處理第三方庫。
5
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python Web信息提取方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Python-Goose
B Beautiful Soup
C Re
D wxPython
正確答案 D
wxPython是GUI第三方庫。
6
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python數據可視化方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Pyramid
B Seaborn
C Matplotlib
D Mayavi
正確答案 A
Pyramid是Web開發框架庫。
7
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網絡爬蟲方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Python-Goose
B Scrapy
C pyspider
D Requests
正確答案 A
Python-Goose是Web提取第三方庫。
8
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python文本處理方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A NLTK
B pyovr
C python-docx
D PyPDF2
正確答案 B
pyovr是增強現實開發庫。
9
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python數據分析方向第三方庫是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A Pandas
B Scrapy
C Numpy
D SciPy
正確答案 B
Scrapy是網絡爬蟲庫
10
1 分
????????????????????????????????????????????????????????????????????????????????????????????????以下選項不是Python網站開發框架方向第三方庫的是：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
A redis-py
B Flask
C Pyramid
D Django
正確答案 A
redis-py是redis數據的Python訪問接口。

程序設計題
1
系統基本信息獲取
描述
獲取系統的遞歸深度、當前執行文件路徑、系統最大UNICODE編碼值等3個信息，并打印輸出。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
輸出格式如下：????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
RECLIMIT:<深度>, EXEPATH:<文件路徑>, UNICODE:<最大編碼值>????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
提示：請在sys標準庫中尋找上述功能。

#作業第一題參考答案 import sys a = sys.getrecursionlimit() print("RECLIMIT:{}, EXEPATH:{}, UNICODE:{}"\.format(a,sys.executable,sys.maxunicode))

2
二維數據表格輸出
描述
tabulate能夠對二維數據進行表格輸出，是Python優秀的第三方計算生態。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
參考編程模板中給定的數據和代碼，編寫程序，能夠輸出如下風格效果的表格數據。

#作業第二題參考答案 data = [ ["北京理工大學", "985", 2000], \["清華大學", "985", 3000], \["大連理工大學", "985", 4000], \["深圳大學", "211", 2000], \["沈陽大學", "省本", 2000], \] import tabulate from tabulate import tabulate head = [] print(tabulate(data, tablefmt='grid'))

第十周期末測試

1
無空隙回聲輸出
描述
獲得用戶輸入，去掉其中全部空格，將其他字符按收入順序打印輸出。

#期末測試第一題 s=input() for i in s:t = i.replace(" ", "")print(t,end="")

2
文件關鍵行數
描述
關鍵行指一個文件中包含的不重復行。關鍵行數指一個文件中包含的不重復行的數量。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
統計附件文件中與關鍵行的數量。

#期末測試第二題 f = open("latex.log","r").readlines() c = len(set(f)) print("共"+str(c)+"關鍵行")

3
字典翻轉輸出
描述
讀入一個字典類型的字符串，反轉其中鍵值對輸出。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
即，讀入字典key:value模式，輸出value:key模式。

#期末測試第三題 d = eval(input()) if type(d) != dict:print('輸入錯誤') else:s = {}for k in d:s[d[k]] = k #雙重邏輯print(s)

4
《沉默的羔羊》之最多單詞
描述
附件是《沉默的羔羊》中文版內容，請讀入內容，分詞后輸出長度大于2且最多的單詞。????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
如果存在多個單詞出現頻率一致，請輸出按照Unicode排序后最大的單詞。

#期末測試第四題 import jieba txt=open("沉默的羔羊.txt","r",encoding="utf-8").read() words=jieba.lcut(txt) counts={} for word in words:if len(word)==1:continueelse:counts[word]=counts.get(word,0)+1 items=list(counts.items()) items.sort(key=lambda x:x[1],reverse=True) for i in range(1):word,count=items[i]print("{0}".format(word))

總結

以上是生活随笔為你收集整理的Python课程第九周笔记及作业+第十周期末测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。