操作系統(tǒng):fedora ?開發(fā)語言:python? ?爬蟲框架:scrapy ? 數(shù)據(jù)庫:mysql ??數(shù)據(jù)庫連接模塊:mysqldb ??將網(wǎng)頁生成時間和網(wǎng)頁抓取的當前時間輸入到數(shù)據(jù)庫中。?在執(zhí)行代碼時,出現(xiàn)Warning: Out of range value for column ‘f_grap_time’ at row 1這樣的錯誤。直接翻譯是,數(shù)據(jù)位數(shù)超過字段能存的最大長度。
問題原因:
事實上是數(shù)據(jù)格式的問題。上傳時數(shù)據(jù)直接調(diào)用了網(wǎng)頁http頭的Date和time函數(shù)返回的時間。但是數(shù)據(jù)庫要求是datetime格式。 ? 抓下的網(wǎng)頁的 response.headers[“Date”]保存了網(wǎng)頁的生成時間,讀取出來其實就是字符串。格式類似這樣“Wed, 04 Jun 2014 13:06:02 GMT’。?使用time函數(shù)得出的時間是一個浮點數(shù),類似“1401887801.07”?數(shù)據(jù)庫要求的輸入格式是datetime格式,可以是11位的10進制數(shù)字,或者“2014-06-04 13:06:02“形式的字符串。