Gary学习生活

网站标签

个人博客、 Gary个人博客、 Gary博客、 Gary、 gary666、

---

网站描述

Gary个人博客，是一个有关个人学习经验、教训、生活、心情等的个人网站。

---

上一篇：荣超网络（荣超云官网）

下一篇：敏盼健身网 -

seo综合信息

SEO信息	百度来访IP：0~0 | 移动端来访IP：0~0 | 出站链接：0 | 站内链接：0
IP网速：	IP地址：148.70.133.71 [中国四川成都 腾讯云] | 网速：234毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	登录可见 | 名称：登录可见 | 已创建：5年2个月25天

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html; charset=utf-8 服务器类型nginx/1.14.0 (Ubuntu) 是否压缩是 原网页大小24222 压缩后大小8770 压缩比63.79%

网站快照

G a r y 学 习 生 活 G a r y 学 习 生 活 网 站 首 页 学 无 止 境 p y t h o n 数 据 库 h t m l 前 端 数 据 结 构 其 他 慢 生 活 日 记 欣 赏 程 序 人 生 经 典 语 录 时 间 轴 留 言 关 于 我 简 介 G a r y 博 客 网 站 首 页 学 无 止 境 p y t h o n 数 据 库 h t m l 前 端 数 据 结 构 其 他 慢 生 活 日 记 欣 赏 程 序 人 生 经 典 语 录 时 间 轴 留 言 关 于 我 简 介 武 汉 大 学 优 秀 学 生 奖 学 金 F 2 最 大 化 计 算 工 具 b o s s 直 聘 薪 资 数 据 可 视 化 聊 天 机 器 人 ， 欢 迎 来 撩 ， 虽 然 有 点 傻 萌 ‹ › 四 级 单 词 随 机 记 忆 聊 天 机 器 人 ！ 机 器 人 等 你 来 撩 ！ 服 务 器 后 台 运 行 p y t h o n 程 序 n o h u p 命 令 # # 命 令 简 介 n o h u p 　 　 n o h u p 命 令 　 　 用 途 ： L I N U X 命 令 用 法 ， 不 挂 断 地 运 行 命 令 。 　 　 语 法 ： n o h u p C o m m a n d [ A r g . . . ] [ 　 e x c l u d e S w i t c h e s , [ e n a b l e a u t o m a t i o n ] ) # 提 示 浏 览 器 不 是 s e l e n i u m c h r o m e _ o p t i o n s . a d d _ a r g u m e n t ( h e a d l e s s ) # 无 头 c h r o m e _ o p t i o n s . a d d _ a r g u m e n t ( d i s a b l e g p u ) c h r o m e _ o p t i o n s . a d d _ a r g u m e n t ( n o s a n d b o x ) # 这 个 配 置 很 重 要 c h r o m e _ o p t i o n s . a d d _ e x p e r i m e n t a l _ o p t i o n ( e x c l u d e S w i t c h e s , [ e n a b l e a u t o m a t i o n ] ) # 此 步 骤 很 重 要 ， 设 置 为 开 发 者 模 式 ， 防 止 被 各 大 网 站 识 别 出 来 使 用 了 S e l e n i u m c l a s s S e l e n i u m : d e f _ _ i n i t _ _ ( s e l f ) : # s e l f . d r i v e r = w e b d r i v e r . C h r o m e ( o p t i o n s = c h r o m e _ o p t i o n s ) # 有 配 置 的 初 始 化 浏 览 器 s e l f . d r i v e r = w e b d r i v e r . C h r o m e ( ) # 不 使 用 有 配 置 的 ， 方 便 看 操 作 s e l f . d r i v e r . m a x i m i z e _ w i n d o w ( ) # 窗 口 最 大 化 d e f l o g i n ( s e l f , u s e r n a m e , p a s s w o r d ) : s e l f . d r i v e r . g e t ( h t t p : / / e h a l l . w h u . e d u . c n / a p p S h o w ? a p p I d = 5 3 8 2 7 1 4 3 8 0 6 9 3 1 5 8 ) # 走 信 息 门 户 认 证 的 教 务 系 统 u r l ， 不 用 输 入 验 证 码 # 找 到 输 入 框 并 输 入 账 号 密 码 U s e r n a m e = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( u s e r n a m e ) U s e r n a m e . s e n d _ k e y s ( u s e r n a m e ) P a s s w o r d = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( p a s s w o r d ) P a s s w o r d . s e n d _ k e y s ( p a s s w o r d ) t i m e . s l e e p ( 0 . 2 ) s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ x p a t h ( / / * [ @ i d = c a s L o g i n F o r m ] / p [ 5 ] / b u t t o n ) . c l i c k ( ) # 登 录 按 钮 t r y : # n a m e = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( a m p H e a d e r T o o l U s e r N a m e ) . t e x t # 获 取 姓 名 , 内 容 为 空 ， 弃 用 n a m e = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( n a m e L a b l e ) . t e x t # 获 取 学 生 姓 名 a c a d e = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( a c a d e ) . t e x t # 获 取 学 生 院 系 # c o o k i e s = s e l f . d r i v e r . g e t _ c o o k i e s ( ) [ 0 ] # p r i n t ( 登 录 成 功 . . . ) # s e l f . d r i v e r . q u i t ( ) # h t m l = s e l f . d r i v e r . e x e c u t e _ s c r i p t ( r e t u r n d o c u m e n t . d o c u m e n t E l e m e n t . o u t e r H T M L ) h t m l = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ x p a t h ( / / * [ @ i d = s y s t e m ] ) . g e t _ a t t r i b u t e ( o n c l i c k ) # 不 要 用 d r i v e r . p a g e _ s o u r c e ， 那 样 得 到 的 页 面 源 码 不 标 准 # p r i n t ( h t m l ) c s r f t o k e n = h t m l . s p l i t ( , ) [ 0 ] . s p l i t ( c s r f t o k e n = ) [ 1 ] p r i n t ( 登 录 成 功 ！ ) r e t u r n T r u e , a c a d e , n a m e , s e l f . d r i v e r . g e t _ c o o k i e s ( ) , c s r f t o k e n e x c e p t E x c e p t i o n a s e : p r i n t ( s t r ( e ) ) t r y : m s g = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( m s g ) . t e x t e x c e p t E x c e p t i o n a s e : # t i m e . s l e e p ( 5 ) # c p a t c h a E r r o r = s e l f . d r i v e r . f i n d _ e l e m e n t _ b y _ i d ( c p a t c h a E r r o r ) . t e x t p r i n t ( s t r ( e ) ) m s g = 您 尝 试 的 次 数 过 多 ， 请 明 天 再 试 ！ 或 解 决 方 案 : 通 过 浏 览 器 成 功 登 录 一 次 信 息 门 户 。 再 重 试 认 证 本 系 统 # s e l f . d r i v e r . q u i t ( ) r e t u r n F a l s e , m s g i f _ _ n a m e _ _ = = _ _ m a i n _ _ : u s e r n a m e = t e s t # 你 的 信 息 门 户 账 号 p a s s w o r d = t e s t # 你 的 信 息 门 户 账 号 对 应 的 密 码 s p i d e r = S e l e n i u m ( ) p r i n t ( s p i d e r . l o g i n ( u s e r n a m e = u s e r n a m e , p a s s w o r d = p a s s w o r d ) ) # 查 看 登 录 结 果 ` ` ` # # 3 . t o d o 或 者 应 用 1 . 登 录 成 功 后 得 到 的 c o o k i e s 可 以 获 取 自 己 的 成 绩 信 息 （ 计 算 G P A 啥 的 ） 等 ~ ~ 2 . 原 本 的 抢 课 也 是 可 以 做 的 ， 但 是 换 系 统 了 用 不 了 了 ~ ~ G a r y p y t h o n 2 0 2 0 1 2 1 9 6 6 6 已 阅 读 6 6 6 u b u n t u 下 M y S Q L 8 . 0 1 0 5 5 错 误 永 久 解 决 方 案 这 是 一 次 惨 痛 的 教 训 ， 所 以 要 记 录 一 下 ， 也 和 大 家 分 享 一 下 解 决 方 案 。 由 于 操 作 不 当 ， 把 我 自 己 的 数 据 库 给 完 全 删 除 重 装 了 。 数 据 也 没 备 份 。 哎 在 解 决 这 些 需 要 改 动 配 置 的 时 候 建 议 都 先 备 份 一 下 数 据 。 = = 备 份 数 据 ， 备 份 数 据 ， 备 份 数 据 。 = = # # 问 题 描 述 在 M y S Q L 数 据 库 下 ， 执 行 S Q L 插 入 语 句 报 错 或 者 进 入 数 据 库 时 。 出 现 1 0 5 5 错 误 信 息 。 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 1 2 3 1 7 1 9 4 8 3 8 4 . p n g # p i c _ c e n t e r ) # # 错 误 原 因 在 M y S Q L 5 . 7 之 后 ， s q l _ m o d e 中 默 认 存 在 O N L Y _ F U L L _ G R O U P _ B Y ， S Q L 语 句 未 通 过 O N L Y _ F U L L _ G R O U P _ B Y 语 义 检 查 所 以 报 错 。 O N L Y _ F U L L _ G R O U P _ B Y ： O N L Y _ F U L L _ G R O U P _ B Y 要 求 s e l e c t 语 句 中 查 询 出 来 的 列 必 须 是 明 确 的 （ 其 他 语 句 也 是 一 样 ） 。 　 　 以 S Q L 语 句 s e l e c t c o l u m e s f r o m t a b l e g r o u p b y l i s t 为 例 ： c o l u m n s 必 须 是 聚 集 函 数 或 者 在 g r o u p b y 后 的 表 达 式 l i s t 中 ， 并 且 l i s t 中 必 须 包 含 主 键 ， 否 则 也 会 报 错 。 　 　 　 　 i n s e r t 、 u p d a t e 、 d e l e t e 语 句 都 会 报 错 （ 但 不 影 响 S Q L 语 句 的 执 行 ） ， 因 为 这 三 种 语 句 执 行 之 前 也 会 执 行 查 询 操 作 。 以 主 键 为 i d 的 表 为 例 ： 　 　 S E L E C T c o u n t ( 1 ) F R O M c u s t o m e r G R O U P B Y n a m e ; 该 S Q L 执 行 成 功 ， 因 为 c o u n t 是 聚 集 函 数 ； 　 　 S E L E C T * F R O M c u s t o m e r G R O U P B Y n a m e ; 该 S Q L 执 行 失 败 ， 因 为 * 中 包 含 主 键 i d ， 而 g r o u p b y 后 的 表 达 式 中 并 没 有 包 含 i d 　 　 S E L E C T n a m e F R O M c u s t o m e r G R O U P B Y n a m e ; 该 S Q L 执 行 成 功 ， 因 为 n a m e 包 含 在 g r o u p b y 后 的 表 达 式 中 　 　 S E L E C T n a m e , c o n t a c t F R O M c u s t o m e r G R O U P B Y n a m e ; 该 S Q L 执 行 失 败 ， 因 为 c o n t a c t 没 有 包 含 在 g r o u p b y 后 的 表 达 式 中 # # 解 决 方 案 # # # 一 、 永 久 解 决 1 ） 在 M y S Q L 下 执 行 S E L E C T @ @ s q l _ m o d e 语 句 　 　 　 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 1 2 3 1 7 1 7 0 5 6 2 7 . p n g # p i c _ c e n t e r ) 2 ） 将 查 询 结 果 中 的 O N L Y _ F U L L _ G R O U P _ B Y 去 掉 然 后 复 制 ， 打 开 M y S Q L 的 配 置 文 件 ， 将 s q l _ m o d e 的 值 设 置 为 复 制 的 值 （ 若 没 有 s q l _ m o d e 在 [ m y s q l d ] 下 方 添 加 一 行 即 可 ） 。 M y S Q L 配 置 文 件 所 在 位 置 ： 安 装 版 可 通 过 w i n d o w s 服 务 所 对 应 m y s q l 启 动 项 ， 查 看 其 对 应 属 性 可 执 行 文 件 路 径 ， 获 取 m y . i n i 路 径 。 免 安 装 版 一 般 在 其 根 目 录 下 。 （ 默 认 是 m y d e f a u l t . i n i ， 必 须 将 名 字 改 为 m y . i n i 才 能 生 效 ） # # # # u b u n t u ` ` ` p o w e r s h e l l v i m / e t c / m y s q l / m y s q l . c o n f . d / m y s q l d . c n f ` ` ` 安 装 位 置 不 同 的 ， 找 到 这 个 m y s q l d . c n f 这 个 文 件 然 后 修 改 即 可 若 没 有 s q l _ m o d e 在 [ m y s q l d ] 下 方 添 加 一 行 即 可 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 1 2 3 1 7 1 7 2 4 8 0 7 . p n g ? x o s s p r o c e s s = i m a g e / w a t e r m a r k , t y p e _ Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w _ 1 0 , t e x t _ a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N D M 4 O D A 5 M g = = , s i z e _ 1 6 , c o l o r _ F F F F F F , t _ 7 0 # p i c _ c e n t e r ) 　 s q l _ m o d e = … （ 删 掉 O N L Y _ F U L L _ G R O U P _ B Y 的 那 段 ） 　 3 ） 重 新 M y S Q L 服 务 即 可 生 效 ！ # # # 临 时 方 案 连 接 上 m y s q l 后 ， 删 除 O N L Y _ F U L L _ G R O U P _ B Y 模 式 即 可 ： ` S E T s q l _ m o d e = ( S E L E C T R E P L A C E ( @ @ s q l _ m o d e , O N L Y _ F U L L _ G R O U P _ B Y , ) ) ; ` G a r y 数 据 库 2 0 2 0 1 0 1 9 6 6 6 已 阅 读 6 6 6 M y S Q L 数 据 在 C 盘 如 何 转 移 到 其 它 盘 # # 前 言 W i n d o w s 环 境 下 ， 肯 定 有 很 多 小 伙 伴 和 我 一 样 当 初 安 装 M y S Q L 的 时 候 没 有 更 改 盘 符 ， 导 致 现 在 C 盘 越 来 越 大 ， 那 我 们 如 何 将 数 据 全 部 转 移 到 其 它 盘 ， 并 将 数 据 的 保 存 路 径 设 置 到 其 它 盘 ？ l i n u x 操 作 类 似 就 不 重 复 说 明 了 # # 操 作 过 程 以 下 操 作 都 默 认 连 接 上 了 数 据 库 ， w i n d o w s 可 以 通 过 N a v i c a t 等 可 视 化 工 具 ， 也 可 以 用 命 令 行 进 行 操 作 。 首 先 通 过 命 令 查 询 一 下 数 据 存 在 哪 里 ` ` ` b a s h s h o w g l o b a l v a r i a b l e s l i k e % d a t a d i r % ; ` ` ` ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 2 0 1 1 6 2 7 0 7 1 4 4 . p n g ) L i n u x 用 c d ， v i m 、 m k d i r 、 m v 等 命 令 进 行 以 下 操 作 。 进 入 文 件 管 理 器 输 入 这 个 路 径 直 接 打 开 它 ， 就 可 以 看 到 你 的 所 有 库 都 在 这 里 。 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 2 0 1 1 6 3 0 1 9 7 7 9 . p n g ? x o s s p r o c e s s = i m a g e / w a t e r m a r k , t y p e _ Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w _ 1 0 , t e x t _ a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N D M 4 O D A 5 M g = = , s i z e _ 1 6 , c o l o r _ F F F F F F , t _ 7 0 ) 找 到 M y S Q L 的 配 置 文 件 m y . i n i ， 这 个 配 置 文 件 一 般 跟 d a t a 文 件 夹 在 一 起 ， d a t a 往 上 一 级 应 该 就 可 以 找 到 ， 默 认 在 C : \ \ P r o g r a m D a t a \ \ M y S Q L \ \ M y S Q L S e r v e r 8 . 0 （ 后 面 的 是 版 本 号 ） 打 开 配 置 文 件 搜 索 ： d a t a d i r ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 2 0 1 1 6 3 4 0 7 1 2 . p n g ? x o s s p r o c e s s = i m a g e / w a t e r m a r k , t y p e _ Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w _ 1 0 , t e x t _ a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N D M 4 O D A 5 M g = = , s i z e _ 1 6 , c o l o r _ F F F F F F , t _ 7 0 ) 在 前 面 加 一 个 # 将 其 注 释 掉 ， 然 后 自 己 设 置 一 个 存 储 路 径 ， 我 在 E 盘 新 建 了 一 个 m y s q l 作 为 新 的 存 储 路 径 ， 保 存 这 个 文 件 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 1 2 0 1 1 6 3 4 4 3 9 8 2 . p n g ? x o s s p r o c e s s = i m a g e / w a t e r m a r k , t y p e _ Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w _ 1 0 , t e x t _ a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N D M 4 O D A 5 M g = = , s i z e _ 1 6 , c o l o r _ F F F F F F , t _ 7 0 ) 将 原 本 C : \ \ P r o g r a m D a t a \ \ M y S Q L \ \ M y S Q L S e r v e r 8 . 0 \ \ D a t a \ \ 中 的 全 部 数 转 移 到 新 的 路 径 中 ， 并 重 启 M y S Q L 服 务 即 可 ， 建 议 直 接 重 启 一 下 电 脑 。 = = 大 功 告 成 。 = = G a r y 数 据 库 2 0 2 0 0 9 2 7 6 6 6 已 阅 读 6 6 6 p y t h o n 采 用 r e q u e s t s + b s 4 爬 取 G a r y 个 人 博 客 学 习 页 面 并 用 m y s q l 存 储 （ h t t p s : / / w w w . g a r y 6 6 6 . c o m / l e a r n ） # # 爬 取 说 明 ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g b l o g . c s d n i m g . c n / 2 0 2 0 0 7 1 7 1 1 5 1 0 6 9 8 0 . p n g ? x o s s p r o c e s s = i m a g e / w a t e r m a r k , t y p e _ Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w _ 1 0 , t e x t _ a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N D M 4 O D A 5 M g = = , s i z e _ 1 6 , c o l o r _ F F F F F F , t _ 7 0 ) 博 客 链 接 ： [ 链 接 ] ( h t t p s : / / w w w . g a r y 6 6 6 . c o m / l e a r n ) , h t t p s : / / w w w . g a r y 6 6 6 . c o m / l e a r n 输 出 ： 页 面 中 所 有 的 文 章 的 标 题 、 内 容 、 作 者 、 文 章 分 类 、 时 间 对 应 上 图 （ 作 者 是 G a r y 、 文 章 分 类 p y t h o n 、 时 间 2 0 2 2 0 7 9 ） # # 参 考 代 码 ` ` ` p y t h o n # * c o d i n g : u t f 8 * # a u t h o r : G a r y # 第 一 步 ， 导 入 需 要 用 到 的 库 i m p o r t r e q u e s t s f r o m b s 4 i m p o r t B e a u t i f u l S o u p # 根 据 需 要 引 入 存 储 数 据 的 库 i m p o r t p y m y s q l i m p o r t t i m e # 设 置 爬 取 时 间 间 隔 ， 防 止 访 问 过 快 i p 被 封 等 # 第 二 步 ， 请 求 网 页 内 容 u r l = h t t p s : / / g a r y 6 6 6 . c o m / l e a r n # 需 要 请 求 的 网 页 的 链 接 h t m l = r e q u e s t s . g e t ( u r l ) # g e t 方 式 请 求 数 据 # p r i n t ( h t m l . s t a t u s _ c o d e ) # 查 看 请 求 的 状 态 码 （ 2 0 0 表 示 请 求 正 常 , 4 0 4 内 容 没 有 找 到 ） h t m l . e n c o d i n g = h t m l . a p p a r e n t _ e n c o d i n g # 设 置 编 码 ， 防 止 由 于 编 码 问 题 导 致 文 字 错 乱 # p r i n t ( h t m l . t e x t ) # 查 看 请 求 到 的 内 容 h t m l _ c o n t e n t = h t m l . t e x t # 第 三 步 ， 解 析 你 需 要 的 内 容 # h t m l . p a r s e r , l x m l s o u p = B e a u t i f u l S o u p ( h t m l _ c o n t e n t , h t m l . p a r s e r ) a l l _ d i v = s o u p . f i n d _ a l l ( d i v , c l a s s _ = b l o g s ) # 观 察 发 现 所 有 的 内 容 都 在 c l a s s 为 b l o g s 的 d i v 中 ， 所 以 直 接 定 位 # p r i n t ( a l l _ d i v ) d a t a _ l i s t = [ ] # 存 储 所 有 数 据 ， 供 存 储 使 用 f o r d i v i n a l l _ d i v : # 循 环 查 看 每 个 超 链 接 的 文 字 和 u r l i f d i v i s N o n e : # 如 果 d i v 的 内 容 为 空 c o n t i n u e e l s e : t i t l e = d i v . f i n d ( h 3 ) . f i n d ( a ) . t e x t # 文 章 标 题 c o n t e n t = d i v . f i n d ( p ) . t e x t # 文 章 内 容 a u t h o r = d i v . f i n d ( l i , c l a s s _ = a u t h o r ) . t e x t # 作 者 t _ t y p e = d i v . f i n d ( l i , c l a s s _ = l m n a m e ) . t e x t # 文 章 分 类 t i m e r = d i v . f i n d ( l i , c l a s s _ = t i m e r ) . t e x t # 时 间 s i n g l e _ b l o g = ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) # 单 个 b l o g 内 容 d a t a _ l i s t . a p p e n d ( s i n g l e _ b l o g ) # 添 加 到 所 有 的 数 据 中 去 p r i n t ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) # 选 做 内 容 # 第 四 步 ， 存 储 数 据 d e f i n s e r t _ d a t a ( d a t a l i s t ) : # 连 接 数 据 库 ， 主 机 名 默 认 本 地 ， 端 口 默 认 3 3 0 6 ， 用 户 名 默 认 r o o t ， 字 符 集 默 认 u t f 8 ， 需 要 传 入 数 据 库 密 码 和 数 据 库 名 # 你 的 密 码 p a s s w o r d 参 数 ， 数 据 库 名 d b 参 数 ， 下 面 示 例 密 码 是 y o u r _ p a s s w o r d , 数 据 库 名 是 s p i d e r ( 需 要 自 己 先 建 立 好 数 据 库 表 ) c o n n = p y m y s q l . c o n n e c t ( h o s t = 1 2 7 . 0 . 0 . 1 , p o r t = 3 3 0 6 , u s e r = r o o t , p a s s w o r d = y o u r _ p a s s w o r d , d b = s p i d e r , c h a r s e t = u t f 8 ) # 连 接 数 据 库 c u r = c o n n . c u r s o r ( ) # 用 于 访 问 和 操 作 数 据 库 中 的 数 据 （ 一 个 游 标 ， 像 一 个 指 针 ） # 示 例 是 s p i d e r 中 建 立 了 b l o g 表 ， 然 后 表 的 属 性 有 t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ， 正 常 运 行 先 需 要 建 立 好 # c o n t e n t 的 数 据 类 型 建 议 设 为 t e x t s q l = i n s e r t i n t o b l o g ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) v a l u e s ( % s , % s , % s , % s , % s ) # 插 入 多 条 c u r . e x e c u t e m a n y ( s q l , d a t a l i s t ) # d a t a _ l i s t 类 型 是 列 表 中 嵌 套 多 个 元 组 比 如 [ ( ) , ( ) , ( ) ] c o n n . c o m m i t ( ) # 提 交 事 务 , 执 行 了 这 一 步 数 据 才 真 正 存 到 数 据 库 如 果 需 要 单 条 插 入 放 入 到 上 面 循 环 的 3 6 行 后 执 行 即 可 s q l = i n s e r t i n t o b l o g ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) v a l u e s ( , , , , ) . f o r m a t ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) # 插 入 单 条 c u r . e x e c u t e ( s q l ) c u r . c l o s e ( ) # 关 闭 游 标 c o n n . c l o s e ( ) # 关 闭 数 据 库 连 接 # 执 行 插 入 数 据 函 数 # p r i n t ( d a t a _ l i s t ) # i n s e r t _ d a t a ( d a t a _ l i s t ) # 爬 取 多 页 ( 爬 取 其 他 页 面 数 据 ) d e f m a n y _ p a g e ( p a g e ) : # 设 置 头 部 信 息 h e a d e r s = # u r l = h t t p s : / / g a r y 6 6 6 . c o m / l e a r n ? p a g e = 2 # 通 过 观 察 发 现 是 否 p a g e 控 制 的 翻 页 ， p a g e = 几 就 是 第 几 页 # 方 法 一 ， 直 接 修 改 u r l （ 参 数 不 多 推 荐 这 个 ） s i n g l e _ u r l = h t t p s : / / g a r y 6 6 6 . c o m / l e a r n ? p a g e = . f o r m a t ( p a g e ) r e s = r e q u e s t s . g e t ( s i n g l e _ u r l , h e a d e r s = h e a d e r s ) # 获 取 网 页 内 容 # 方 法 二 ， 构 造 参 数 , 通 过 参 数 p a r a m s = r e s = r e q u e s t s . g e t ( u r l = h t t p s : / / g a r y 6 6 6 . c o m / l e a r n , p a r a m s = p a r a m s , h e a d e r s = h e a d e r s ) # 获 取 网 页 内 容 r e s . e n c o d i n g = r e s . a p p a r e n t _ e n c o d i n g # 设 置 编 码 i f r e s . s t a t u s _ c o d e = = 2 0 0 : # 如 果 状 态 码 为 2 0 0 则 正 常 r e t u r n r e s . t e x t # 返 回 网 页 内 容 e l s e : p r i n t ( 爬 取 网 页 异 常 ) # 通 过 b s 4 解 析 网 页 内 容 d e f a n a _ h t m l ( h t m l ) : s o u p = B e a u t i f u l S o u p ( h t m l , h t m l . p a r s e r ) a l l _ d i v = s o u p . f i n d _ a l l ( d i v , c l a s s _ = b l o g s ) # 观 察 发 现 所 有 的 内 容 都 在 c l a s s 为 b l o g s 的 d i v 中 ， 所 以 直 接 定 位 # p r i n t ( a l l _ d i v ) d a t a _ l i s t = [ ] # 存 储 所 有 数 据 ， 供 存 储 使 用 f o r d i v i n a l l _ d i v : # 循 环 查 看 每 个 超 链 接 的 文 字 和 u r l i f d i v i s N o n e : # 如 果 d i v 的 内 容 为 空 c o n t i n u e e l s e : t i t l e = d i v . f i n d ( h 3 ) . f i n d ( a ) . t e x t # 文 章 标 题 c o n t e n t = d i v . f i n d ( p ) . t e x t # 文 章 内 容 a u t h o r = d i v . f i n d ( l i , c l a s s _ = a u t h o r ) . t e x t # 作 者 t _ t y p e = d i v . f i n d ( l i , c l a s s _ = l m n a m e ) . t e x t # 文 章 分 类 t i m e r = d i v . f i n d ( l i , c l a s s _ = t i m e r ) . t e x t # 时 间 s i n g l e _ b l o g = ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) # 单 个 b l o g 内 容 d a t a _ l i s t . a p p e n d ( s i n g l e _ b l o g ) # 添 加 到 所 有 的 数 据 中 去 p r i n t ( t i t l e , c o n t e n t , a u t h o r , t _ t y p e , t i m e r ) r e t u r n d a t a _ l i s t # 返 回 数 据 列 表 i f _ _ n a m e _ _ = = _ _ m a i n _ _ : f o r p a g e i n r a n g e ( 1 , 9 ) : # r a n g e 的 范 围 就 是 页 数 的 范 围 p r i n t ( 正 在 爬 取 第 页 . f o r m a t ( p a g e ) ) h t m l = m a n y _ p a g e ( p a g e ) # 获 取 网 页 内 容 d a t a _ l i s t = a n a _ h t m l ( h t m l ) # 解 析 需 要 的 内 容 t i m e . s l e e p ( 0 . 5 ) # 每 爬 取 一 次 停 止 0 . 5 s 在 继 续 爬 取 i n s e r t _ d a t a ( d a t a _ l i s t ) # 存 储 数 据 p r i n t ( 爬 取 完 成 ! ) ` ` ` G a r y p y t h o n 2 0 2 0 0 7 3 0 6 6 6 已 阅 读 6 6 6 关 注 我 们 么 么 哒 ！ 小 程 序 名 G a r y 自 学 Q Q 号 1 3 4 9 3 8 0 9 7 8 特 别 推 荐 我 的 b l o g 发 展 历 程 阅 读 留 言 告 诉 我 你 的 声 音 阅 读 个 人 博 客 ， 属 于 我 的 小 世 界 ！ 阅 读 标 签 云 陌 上 花 开 校 园 生 活 h t m l 5 p y t h o n 青 春 阳 光 m y s q l 数 据 库 编 程 开 发 b l o g 分 享 版 权 所 有 G a r y       C o p y R i g h t © 2 0 1 9 2 0 2 4       A l l R i g h t s     R e s e r v e d                   湘 I C P 备 1 9 0 1 7 3 6 4 号 1     所 有 的 失 败 ， 与 失 去 自 己 的 失 败 比 起 来 ， 更 是 微 不 足 道 T o p

站点概括

关于gary666.com说明：
gary666.com由网友主动性提交被址汇收录整理收录的，址汇收录仅提供gary666.com的基础信息并免费向大众网友展示，gary666.com的是IP地址：148.70.133.71 [中国四川成都 腾讯云]，gary666.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在0~0之间、百度手机端来访流量大约在0~0之间、gary666.com的备案号是登录可见、备案人叫登录可见、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建5年2个月25天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.y333.cn/links/3d7ff85f332c578c4fe3.html，复制请保留版权链接！

---