Python爬虫 selenium抓取企查查招投标
生活随笔
收集整理的這篇文章主要介紹了
Python爬虫 selenium抓取企查查招投标
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
企查查最新中標企業抓取
?網站鏈接:標找找 - 企查查旗下一站式標訊服務平臺
?
需要使用的python包
selenium在未付費的情況下只能抓取最新50條數據
解析代碼如下:
# -*- coding: utf-8 -*- from selenium.webdriver import Chromedef main():driver = Chrome()driver.get('https://www.biaozhaozhao.com/?tab=wtb_company')for _ in range(10):lis = driver.find_elements_by_xpath("//div[@class='tc_list_item tc_list_hover']")for row in lis:item = dict()# 企業名稱item['ent_name'] = row.find_element_by_xpath("div/div/div[@class='FpwufnYn']/div/a/span").text# 企業狀態item['ent_state'] = row.find_element_by_xpath("div/div[@class='_0aDOKXj6']/span").text# 企業標簽item['tag'] = [i.text for i in row.find_elements_by_xpath("div/div/span[@class='ant-tag awpCsC3X']")]# 招投標數item['num'] = row.find_element_by_xpath("div/div/div[@class='WMSbIy8X']/span").text# 法定代表人item['name'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li/a").text# 注冊資金item['regcap'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li[2]/span[2]").text# 成立日期item['date'] = row.find_element_by_xpath("div/div/div/ul[@class='ozeTtOeS']/li[3]/span[2]").text# 公示item['title'] = row.find_element_by_xpath("div/div/div/div/div[@class='lZ9dQcZO']/a").text# 公示鏈接item['url'] = row.find_element_by_xpath("div/div/div/div/div[@class='lZ9dQcZO']/a").get_attribute('href')print(item)driver.find_element_by_xpath("//i[@class='anticon anticon-right']").click()# 點擊下一頁driver.close()if __name__ == '__main__':main()只解析了部分字段
結果:
總結
以上是生活随笔為你收集整理的Python爬虫 selenium抓取企查查招投标的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 面试官:分库分表后如何生成全局ID?
- 下一篇: <math.h>中常用的库函数