移动端Python爬虫实战 数据抓取+数据可视化

移动端Python爬虫实战 数据抓取+数据可视化课程介绍(A000242)：

人们花在手机上的时间越来越多，特别是短视频App和手机游戏的风靡，让人们的在网时间逐渐从PC端转移到
了移动端。可以预见，人们对于App= = + Z c 6 \ 6 S的依赖以后还会越来越多。对企业来说，移动端的数据也是理解用户行
为，判断企业决策的重R , ! 6 % 6 * q m要依证。掌握移动端数据的抓取与处理，也就成为了爬虫工程师们的必备技能。

本次实战，我们会带你抓取移动端数据，然后用ES进行数据存储，最后实现实时数据的企业级可视化展示。移
动端爬虫课程在网上并不多，加上如此全面的全流程讲解，在市面上绝无仅有！无论是为了满足公司的需求还
是作为爬虫工程师个人的能力进阶，这门课程对你都有极大的帮助。

课程目录：

第1章 2020版 第一章 移动端Python爬虫进阶实战课程导学试看1 节 | 12分钟

介绍课程目标、通过课程能学习到的内容、学j & : 1会这些技能能做什么，对公司业务有哪些帮助，对个人有哪Y A U : q h些帮助。介绍目前app数( 3 Q q j : ` `据抓取有哪些困难，面临的挑战，本实战课程会利用哪些工具H Y V [ 1 l | W V来解决这些问题，以及本实战课V _ | G 5 | w v程的特点 ……_ e y 2 ` / 5 I P

• 视频：1\ [ l g 0 h 3-1 移动端pyt3 e 4 N U 9 nhon爬虫进阶实战-2020版导学 (11:46)试看

第2章 2020 第二章 u2自动化抓取开发环境搭建试看13 节 | 142分钟

介绍uiautomator2移动端自动化工具包含的核心模块，移动端自动化抓取开发环境的搭建，分别介绍windows平台和ubuntu平台通过uiautomator2连接移动A q J a / u \ X设备，并介绍离线$ 8 a * u L O安装uiautomator2安装包

• 视频：2v j + e @ ! ( F Y-1 u2自动化抓取工具介绍 (09:22)试看
• 视频：: R * v e –2-2 u2通信流程介绍 (09:21)试看
• 视频：2-3 u2自动化抓取开发环境搭建-1 (15:49Q R i)
• 视频：2-4 u2自动化抓取开发环境搭建-2 (16:50)
• 视频：2-I # P O5 u2自动化抓取开发环境h l *搭建-3 (19:29o d z i)
• 视频：2-6 u2自动化抓取开发环境搭建-4 (16:48)
• 视频：2-7 u2自动化抓取开发环境知识点q Y 9 v U回顾 (z = y ? W K x h ]07:15)
• 视频：2-8 如何连接真实移动设备并安装apk-windows环M K 8 S – c境-1 (09:22)
• 视频：2-9 如何连接真实移动@ + ? & j设备并安L g t装apk-windows环境-2 (02:30)
• 视频：2-10 如何连接真实移动设备并安装apk-ubuntu环境 (06:40)
• 视频：2-11 u2项目初始化 (06:16)
• 视频：2-12 u2连接移动设备的三: T U # z o y 7 ~种方式-1 (05:20)
• 视频：2-13 u2连接移动设备的三种: r V )方式-2 (16:58)

第3章 2020 第三章 u2定位元素方法19 节 | 197O = J = # { I J分钟

介绍uiautomator2移动端自动化工具的使用，如何操作设备，如何操作app，介绍通过weditor可视化工具获取app控件属性，介绍6中定位app控件方法，Q 5 E n G + v t C实战通过uiautomator2解锁移动设备九宫格，自动化登A – S 9 F录考研app并滑动操控考研咨询信息

• 视频：3-1 u2自动化工具基本操作-操作设备 (13:17)
• 视频：3-2 u2自动化工具基本操作-操作app (19:12)
• 视频：3X e X H O }-3 APP activity和控件,weditor工具的安装g \ C G ^ + { a (08:13)
• 视频：3-4 weditor工具介绍和常: 0 ^ f ( l z T见问题-1 (13:39T ) & u)
• 视频：3-5 weditor工具介绍和常见问题-2 (07:48)
• 视频：3-6 UiSelector和控件定位介绍 (Q 9 p V ) e k R08:56)
• 视频：3-7 UiSelector文本定位方式 (11:14)
• 视频：3-8 UiSelector clas] { G /s# i a定位方式-1 (01:10)
• 视频：3-9 UiSelz T N & ; g W o \ector class定位方式-2 (04:31)
• 视频：3-10 UiSelectorH k 5 – resourceId定位方式 (08:40)
• 视频：3-11 UiSelector混合定位方式-1 (04:52)
• 视频：3-12 UiSelector混合定位方式-2 (06:40)
• 视频：3-13 UiSelector 坐标定位方式 (02:27)
• 视频：3-14 控件操作和操作超时 (10:57)
• 视频：3-15v z V 通过U2实现移动设备九宫格解锁 (U ? N ) o \ ^ +12:54)
• 视频：3-16 xpath定位方式 (25:33)
• 视频：3-17 实现自动化登录考研帮app并滑动资讯信息-1 (12:57)
• 视频：3-18 实现自动化登录考研帮app并滑动资讯信息-2f r . 1 (11:37 # Y I / P z7)0 h @ % Q $
• 视频：3-19 实现自动化登录考研帮app并滑动资讯信息-3 (11:45j ? } o R)

第4章 2020 第四章 爬虫必备利器、抓包工具的使用12 节 | 145分钟

本V E A R & n ]章着重介绍两款抓包工具的使用fiddler和mitmproxy。 首先介绍了fiddler抓包工具的工作界面、断点拦截、重定向、. * ) I移动端设备抓包等功能 其次介绍了mitmproxy抓包工具的三个组件mitmproxy，mitmdump，m\ ; V * r ~ ^ bitmweb，介绍了三种常见无法抓包5 z q v F原因及解决方案…

• 视频：4-1 fiddler抓包工具介绍，file&&edit功能使用 (^ U q z13:20)
• 视频：4-2 tooles功能使用 (12:55)
• 视频：4-3 rules功能使用&工具栏详讲 (11:09)
• 视频：4-4 会话列表-请求头、响应头介绍 (09:39)
• 视频：4-5 请求前断点设置，响应后M ! F ` 0 $ q断点，命令行请求前后e \ 2 . – t / 4断点设置，网页重定向 (12:r J q Y ; $ N #45)
• 视频：4-6 手机安装证书，设置fiddler抓取移动端数据包 (11:03)
• 视频：4-7 mitmproxy软件移动设备安装证* M –书、移动设备抓包 (11:40)
• 视频：4-8 mitmproxy数据包过滤 (08:10)
• 视频：4-9 mitmdump详讲。 (18:12)7 7 a Y 7 k c Z
• 视频：4-10 app无法抓包探秘-1 (21:54)
• 视频：4-11 app无法抓包探秘-2 (11:12)
• 视频：4-12 app无法抓包探秘-3 (02:47)

第5章 2020 第五章 短视频App数据抓取8 节 | 70分钟

介绍通过fiddler对短视频app视频接口，发布者信息接口进行了抓取和分析，通过uiautomator2操控f r e , : F + C 2短视频app滑动和点击，并通过mitmdump编写解析数据脚本

• 视频：5q A C-1 短视频抓取需求分析 (06:48)
• 视5 O ^频：5-2 安g p v装vmware toK X b 7 4 ) . N 5ols (09:46)
• 视频：5-3 通过U2实现滑动短视频-1 (07:39)
• 视频：5-4 通过U2实现滑动短视频-2 (2 a } 7 w @ =08:23)
• 视频：5-5 通过U2实现滑动短视频-3 (06:44)
• 视频：5-6@ d Y C 通过mitmpr! @ b X k R 7oxy解6 n s 6析短视频App返回数据-接口分析 (12:52)
• 视频：5-7 通过# O P ) o \ u K Omitmproxy解析短视频App返回数据-编写mitmdump解析文件 (11:43)
• 视频：5-8 通过mitmproxy解析短视频App返回数据-运行并查看 (05:09)

第6章 2020 第六章 多设备管理atxserver2库4 节 | 68分钟

对多设备管理平台atxserver2进行了介绍，介绍atxs& | ~ 6erver核心组件，如何在ubuntu操作系统中通过手动方法安装atxserver2，并演示了如何通过atxserver2管理多台移动设备，实现– r *了多设备同时抓取app应用数据

• 视频：6-1 atxserver2库介绍 (06:13)
• 视频：6-2 atxser@ + , E C C n qver2通过pip安装部署 (18:30)
• 视频：6-3 atxserver2多设备管理库的使用 (223 E G . u V ~:51)
• 视频：6-4 实现多任务端app应用数据抓取系统 (20:24)

第7章 2020 第七章 elast{ G B T } $ } O hio 9 p q y p \ C Xcsearch17 节 | 202分钟

对实时的分布式搜索分析引擎elasticsearch进行了介绍，介绍了在ubuntu操作~ a $ %系统中安装elasticse) K F : e e Uarch和kibana组件，介绍了e5 % Y 7 # v plasticsearch引擎的索引，mapping映射以及通过pytho~ ^ k K Y ? u Vn增删改查文档数1 q ~ 7 Y p v 9 A据，最终操作短视频数据存储到elasticsearch

• 视频：7-1 elasticsearch介绍和安装 (21:06)
• 视频：7-2 数据可视化组件kibana的安装和在elasticsearch基本的增删改查 (25:11)
• 视频：7-3 elasticsearch查询进阶 (10:48)
• 视频：7-4 elasticsearch查询排序 (02:56)
• 视频：7-5 elasticsearch分页查询 (03:00)
• 视频：& z p7-6 布尔查询 (14:51)
• 视频：7-7 结果过滤 (028 \ E E / .:24)
• 视频：7-8 高亮显示 (06:25)
• 视频：7-9 聚合函数查询 (08:42)
• 视频：7-10 分组查询 (07:59)
• 视频：7-11 _doc是用来做什么的 (05:39)
• 视频：7-12 elasticsearch mappings的三种模式 (22:39)
• 视频：7-13 elastics? ` _ dearch的分词器 (21:00)
• 视频：7-14 修改elasticsearch的分! : 5 } z k ` d M词器 (07:33)
• 视频：7-15 倒排索引 (07:41)
• 视频：7-1G V M h6 通过python操作elastiu – D n : ! ~ Ncsearch增删改查 (18:21)
• 视频：7-17 通过python对e T Y Gelasticsearch批量添加数据 (15:25)

第8章k j ` K S R ) 7 K 2020 第八章 数据可视化-kibana11 节 | 118分钟

对开源的数据分析和可视化平台kibal L i qna进行了介绍，介绍了基本图表，data图表，map图表，Timelion，通过Dashboard展现相关数据

• 视频：8-1 向elasticsearch导入示例数据 (19:25)
• 视频：8-2 kibana的index-pattern (06:27)
• 视频：8-3 kibana& y \的dip y )scover (15:51)
• 视频：8-4 ex 6 | C Glasticsearch聚合分析-Pipeline (14:43)
• 视频：8-5 kibana的visualiy [ V ~ j 6 Vze基本X C $ / { P图形-折线图 (18:17)
• 视频：8-6 kibana的visualize基本图形-热力图 (05:01)
• 视频：8-7 ki] } – cbana的visualize[ 1 i l 3 {基本图形-饼图 (04:15)
• 视频：8-8 kib9 * wana的visualize基本L L t 5 = X c M图形-数据图 (03:32)
• 视频：8-9 kibana的visualize基本图形-仪表盘 (03:15)
• 视频：8-10 kibana的visual9 q u +ize基本图形-目标图 (02:57)
• 视频：8-11 kibana的visualize的timelion (23:42)

第9章 2020 第九章 实时数据图表分析2 节 | 42分钟

通过对elasticsearch中存储的数据进行分析，通过kibana绘制地4 6 h | U 9域分布图表分析，实时数据图表分析，短视频标签图表分析，热门背景音乐图表分析等等q : +，同时举一反三，对u \ B租房数据，新闻资讯进: v n j行了大数据可视化分析

• 视频：9-1 短视频数据解析入库 (23:10)
• 视频：9-2 短视频数据分q _ G Q w j 1 e析项目实战 (18:16)

第10章 2020 第十章 课程总结1 节s . 1 ; e 6 | 9分钟

回顾常用的APP抓包工具的使用技U x v w D巧，uiautomator2自动化抓取技巧及APP界面定位技巧 ，atxserver2多设备监控平台难点及项目中开发技巧，项目开发逻辑及项目中遇到的难点等

• 视频：10-1 课程总结 (08:11)

第11章 19版第一章：移动端Python爬虫实战 数据抓取+数据可视化课程介绍1 节 | 9分钟

介绍课程& L | r ( H G目标、通过课程能学习到的M f H 2 O g X内容、学会这些技能能做什么，对公司业务有哪些帮助，对个人7 o y [ X有哪些帮助。介绍目前app数据抓取有哪些困难，面临的挑战，本实战课程会利用哪些工具来解决这些问题，以及本实战课程的特点 …

• 视频：11-1 python爬虫工程师必r ^ % m d g R f备技能–App数据抓取实战课$ * E x程导学 (08:35)

第12章 19版第二m 3 R v B [ j &章：windows下搭建开发环境9 节 | 108分钟

介绍项目开发需要安装的开发软件，讲解了安卓模拟器对比以及夜; x B ?神安卓模拟器安装、介绍、简单使用和Genymotion安卓模拟器简单分析等等

• 视频：12-1 夜神模拟器安装&介绍 (09:18)
• 视频：12-2 夜神模拟器设置介绍&在夜神模拟器内部安装App (06:41)
• 视频：12-3 介绍genyV # c a n C ^motion和模拟器的安装(选择观看) (08:57)
• 视频：12{ f [ f-4 fiddlerw , ] O a { 0软w h ~ $ v f M件介绍&下载&安装&软件设置 (15:49)
• 视频：12-5 mitmproxy介绍&安装&) . N |amp;如何在linux操作系统中安装 (09:59)
• 视频：12-6 mitmproxy在Linux操作系统中的使用 (12:10)
• 视频：12-7 packet capture开头，抓包工具介绍，安装，使用 (12:41)
• 视频：12-8 介绍appium环境搭建的两种方法 (18:15)
• 视频：12-9 安装docker以及docker运行ubuntu以及简单命令维护 (13:51)

第13章 19版第三章：爬虫必备利器、抓包工具的使用9 节 | 109分钟

本章着重介绍两款抓包工具的使用fiddler和mitmproxy。 首先介绍了fiddler抓包工具的工作界面、断点拦截、重定向、移动端设备抓包等功能 其次介绍了mitmproxy抓包工具的三个组件mitmproxy，mitmdump，mitmweA Z k # l n k [b，介绍了mitmproxy工作界面、断点拦截、重定向、移动端设备抓包等功能 …

• 视频? ^ Z 0 ] 1 . o 9：13-1 fidg ( ? r Hdler抓包工具介绍，file&&edit功能使用 (13:20)
• 视频：13-2 tooles功能使用 (12:55)
• 视频：13-3 rules功能使用&工具栏详讲+ * W ] V _ 8 \ (1% p _ S P 0 K1:09)
• 视频：13-4 会话列表-请求头、响应头介绍 (09:39)
• 视频：13-5 请求前断J S 8 [ 1 U 0点设置，响应1 M k { w 2 s q后断点，命令行请求前后断点设置，网页重定向 (12:45)
• 视频：13-6 手机安装证书，设置fiddler抓取移动端数据包 (11:03)
• 视频：13-7 mitmproxy软件移动设备安装证书、移动设Y P % ?备抓B D h [包 (11:4; – y D n k 0 _0)
• 视频：13-8 mitmproxy数据包过滤 (08:10)
• 视频：13-9 mitmdump详讲- (18:12)Z 4 x B f x

第14章 19版第四章: App应用数据抓( ( A = $ F z ( r取入门10 节 | 85分钟

通过fiddler抓包工具分析 豆果美食app应用的数据请求接口以及app响应的数据，使用Python多线程编写爬虫抓取豆果美食app应用数据，并将数据保存到mongodb中

• 视频：14-1 、抓取前设置,] U f I X R c \启动豆b ? z / s ? @ e果美食app并抓包1，2 (09:46)
• 视频：14-2 分析fiddler抓取的豆果美食数据包 (07:31)
• 视频：14-3 编写L Q |爬虫脚本1-项目需求、请r E – Q 8 / ] \ \求函数编写、请求头伪造_ (12:20)
• 视频：14-4 编写爬虫脚本2o \ T 5 J-食材页面解析、队列逻辑编写_ (09:09)
• 视频：14-5b 7 g @ 编写爬虫脚本3-获取菜谱列表数据逻辑编写_ (12:39)
• 视频：14-6 编写爬虫脚本4-详情页数据抓取逻辑编写_ (09:58)
• 视频：1} h q g m a _ y4-7 编写爬虫脚本5-数q O z @ 0据入库逻辑编写_ (07:50)
• 视频：14-8 编写爬虫脚本6-多线程逻辑编写_ (03:d ] d A x41)
• 视频* y h { r + n：14-9 编写爬虫脚本7-伪装爬虫-编写代理逻辑? \ w J_ (05:15)
• 视频：14-10 本章爬虫总结- (06:28)

第15章 19版第五章:移动端自动化控制工具详讲10 节 | 109分钟

本章讲解了：自动化工具uiautomatorviewer、appium-desktop，讲解了通过pytw P n q H Q u Xhon+appium-desktop工具对安卓模拟器进行控制，编写打开手机中的app应用以及登录demo

• 视频：15-1 安装JDK环境 (08:e % {54)
• 视频：1g , l5-2 安装sdk工具包 (06:55)
• 视频：15-3 ad` R u Hb工具详Y & b # ( d 3 V .讲1_ (09g 3 b N y : 8:28)
• 视频：15-4 adb工具详讲2_ (07:09)
• 视频：15-5 adb工具详讲3_ (08:12)
• 视频：15-6 sdk下uiautomab : # q p – B btorviewer工具使用 (09:18)
• 视频：15-7 appium介绍_ (07:23)
• 视频：15-8 inspector介绍_ (06:31)
• 视频：15-9 inspector录制功能_ (1C – C ` * Q J ( b5:58)
• 视频：15-10 登陆考研帮app并实现模拟滑动操作 (28:4f ` Q4)

第16章 19版第六章:c J m tApp应用数据抓取实战进阶15 节 | 216分钟

本章讲解：短视频项目应用数据抓取、通过使用fiddler抓包工具对应用数据接口进行分析，分析获取数据请求接口及构造参数等，使用pythM F 3 # }on+mitmdump解析，通过编写python爬虫逻辑，appium-desktop工具控制app翻页滑动等操作，– K i ! w = V n使用mitmdump对数据包1 [ a ( ]进行解析，并将数据保存到mongodb中 …

• 视频：16-1 短视频抓取实战介绍_ (06:55)
• 视频：16-2 解析短视频项目分享页面数据 (09:40)
• 视频：16-3 解析短视频分享页面数据 (06:38)
• 视频：16-4 解析短视频的分享页面数据 (16:22)
• 视频$ D 4 2 v ` }：16-5 分享id存储数据库逻辑代码编写1 (07:28)
• 视频：16. J P-6 分享id存储数据库逻辑代码编写2 (05:27)
• 视频：16-7 ssl p| s + ,i– 4 M D Oning技术分析与xponsed框架安装 (11:21)
• 视频：16-8 分析接口数据 ($ G . ; O % 8 820:07)
• 视频：16-9 aQ $ Lppium模拟滑动操作1 (22:01)
• 视频：16-10 a! ? jppium模拟滑动操作2? P F 8 (12:07)
• 视频：16-11 多设备端并发抓取粉g h ^丝数据 (31:3t h x n9)
• 视频：16-12 视频^ | _ N抓取&signaruV u E 7 –re加密} * } * * o ) J字段破解-1 (17:02)
• 视频：l d 4 G16-131 ~ { B F 视频抓取&signarure加密字段破解-2 (21:03)
• 视频：16-14 视频抓取&signarure加密字R P 7 C ? b 0段破解-3 (18:12)
• 视频：16-15 第六章总结 (09:07)

第17章 19版第七章:打造多任务端app应用数据抓取系统13 节 | 153分钟

本章介绍多任务app抓取系统架构系统的、组件、功能介绍、实现原理等，接下来[ + Z I讲解了在Docker中安装appium环境容器，s Z u X用于模拟多个a| ` ) I G ;ppium服务端抓取多个安卓模拟器中应用数据

• 视频：17-1 打造多任务端app应用数据i ( (抓取系统-介绍篇 (04:09)
• 视D ( q . $ q : X频：17-2 Docker系统管理-基础 (24:20)
• 视频：17-3 Docker系统管理-基础命令1 (16:05)
• 视频：17-4 Dq N 2 a j a r / #ocker系统管理-基础命令2 (10:01)
• 视频：17-5 Docker系统管理-基础命令以及Docker-appium镜像下载_ (11:30)
• 视频：17-6 创建appium容器以及设置appium容器连接安卓模拟器-1 (14:27)
• 视频：17-7 Docker镜像创建使用Docker commit命令 (12:21)
• 视频：179 ! ! \ & Z-8 Docker镜像S 1 2创建使用Dockerfile (13:44)
• 视频：17-9 打造多任3 n F # Z 5 S务端app应用数据抓取系统-1 (12:48)
• 视频：17-10 打造多任务端app应用数据抓取系统-o R V u s ` c2 (13:10)
• 视频：1+ m & G j \ +7-11 打造多任务端app应用数] i U I ) h据抓取系统-3_x2c | D | e 864 (10:04)
• 视频：17-r a )12 打造多任务端app应用数据抓取系统-4 (06:55)
• 视频：17-13 第七章小结 (02:43)

第18章 19版第八章:课程总结与回顾6 节 | 3分钟

课3 ~ p程总结与回顾：常用的APP抓包工具的使用技巧、appium desktop服务端设置及APP界面定位技巧、appium+docker多任务APP抓取系统的难点及项目中开发技巧和项目开发逻辑及项目中遇到的难点等

• 视频：18-1 第? g ?八章总结 (02:42)
• 作业：18-2 【讨论题】：爬虫的法律红线有哪些？
• 作业：18-3 eslasticsearch 的优点有哪些？
• 作业：18-4 移动端app应用数据获取工具有哪些，他们的K H * 0优缺点有哪些？
• 作业：18-5 【讨论题】：APP 应用控件定位工具有哪些？
• 作业：18-6 移动端 APP 应用如何自动化操作？

文件目录：

移动端Python爬虫实战 数据抓取+数据可视化

│

├─19版

│ │ .url

│ │

│ ├─第11章 19版本 移动端Python爬虫实战 数据抓取+数据可视化课程介绍

│ │ 11-1 python爬虫工程师必备技能–App数据抓取实战课程导学.mp4

│ │ .url

│ │

│ ├─第12章 19版 windows下搭建开发环境

│ │ 12-1 夜神模拟器安装&介绍-.mp4

│ │ 12-2 夜神模拟器设置介绍&在夜神模拟器内部安装App-.mp4

│ │ 12-3 介绍genymotion和模拟器的安i 5 b U U a O ! m装(选择观看)-.mp4

│ │ 12-4 fiddler软件介绍&下载&安装&软件设置-.mp4

│ │ 12-5 mitmproxy介绍&安装&如何在linux~ z +操作系统中安装-更多it资源.mp4

│ │ 12-6 mitmC B F Eproxy在Linuxm [ _ w \ Z操作系统中的使用-更多it资源-.m+ n r $ D x g C _p4

│ │ 12-7 packet capturs } f ! ; 5 Q T ;ev K R开头，抓包工具介绍，安装，使用-.mp4

│ │ 1% $ F o 0 N o d2-8 介绍appium环境搭建的两种方法-.mp4

│ │ 12-9 安装docker以及docker运行ubuntu以及简单命令维护-8 # j #.mp4

│ │

│ ├─第p r L13z } U | 5 _章 19版 爬虫必备利器、抓包工具的使用

│ │ 13-1\ q ( . f , \ 6 fiddler抓包工具介绍，file&&edit功能使用.mp4

│ │ 13-2 toolese & 8 h B w [ s 7功能使用-.mp4

│ │ 13-p e !3 rules功能使Y ` 4 B \ u E用&工具栏详讲.mp4

│ │ 13-4 会话列表-请求头、响应头介绍.mp4

│ │ 13-5 请求前断点设置，响应后断点，命令行请求前后断点设置，网页重定向.mp4

│ │ 13-6 手机s 2 e安装证书，设置fiddler抓取移动端数据包.mp4

│ │ 13-7 mitmproxy软件移动设备安装证书、移动设备抓包.mp4

│ │ 13-8 mitmproxyA 4 ; T 3 9 D数据包过滤.mp4

│ │ 13-9 mitmdump详讲.mp4

│ │

│ ├─第14章 19版 app应用数据抓取入门

│ │ 14-1 抓取前设. ` a \ \ , s K 9置,启动豆果美食app并抓包-.mp4

│ │ 1j q a S G h v \ =4-10 本章爬虫总结-.mp4

│ │ 14-2 分析fiddlf i + l ) & | oer抓取到的豆果美食数据包-.mp4

│ │ 14-3 编写爬虫脚本1-项目需求、请求函数编写、请求头伪造.mp4

│ │ 14-4 编写爬虫脚本2-食材页面解析、队列逻辑编写-.mp4

│ │ 14-5 编写爬虫脚本3-获取菜谱列r l R c m Y y . *表数据逻辑编写.mp4

│ │ 1* [ 3 r H 9 6 ` :4-6 编写爬虫脚本4-详T F q情页数据抓取逻辑编写-.mp4

│ │ 14-7 编写爬虫脚本5-数据入库逻辑编写.mp4) L p ~ \

│ │ 14-8 编写爬虫脚本6-多线程逻辑编写-.mp4

│ │ 14-9 编写爬虫脚本7-伪装爬虫-编写代理逻S j \辑.mp4

│ │ .url

│ │

│ ├─第15章 19版 移动端自动化控制工具详讲

│ │ 15-1 安装JDK环2 b ? z境.mp4

│ │ 15-10 登录考研帮app并实现模拟滑动操作.mp4

│ │ 15-2 安装sdu k ; Q ] n F 0 mk工具包.mp` v 5 ;4

│ │ 15-3 adb工具n s Y b F f e \详讲1.mp4

│ │ 15-4 adb工具详讲2.mp4

│ │ 15-5 adb工具详讲3.mp4

│ │ 15-6q [ } Y e m 1 sdk下uiautomatorviewer工具使用.mp4

│ │ 15-7 appium介绍.mp4

│ │ 15-8 inspector介绍.mp9 u ~ & &4

│ │ 15-9 inspector录制功能.mp4

│ │

│ ├─第16章 19版 app应用数据抓取实战进阶

│ │ 16-1 短视频网站数据抓取实战介绍-.mp4

│ │ 16-10 短视频网站appium模拟滑动操作2-.mp4

│ │ 16-11 多设备端并发抓取短视频网站粉V B X丝数据-.mp4

│ │ 16-12 短视频网站视频抓取&siT $ 2gnarure加密字段破解-1-.mp4

│ │ 16-13 短视频网站视频抓取&sign– \ & Uarure加密字段破解-2-.mp4

│ │ 16-14 短视频网站视频抓取&signarure加密字段破解-3-.mp4

│ │ 16-15 第六章总结-.mp4

│ │ 16-2 解析短视频网站分享页面数据1-更多it资源.mp4

│ │ 16-3 解析短视频网站分享页面x M 3 M数据2-.mp4

│ │ 16-4 解i W G析短视频网站分享页面数据3-更多1 a v 3 # T , 7 0it资源.mp4

│ │ 16-5( $ v 短视频网站分享id存储数据库逻辑代码编写1-.mp4

│ │ 16-6 短视频网m x 8 3 S o站分享id存储数据库逻辑代码编写2-.mp4

│ │ 16-7 ssl pining技术分析与] A Q } Exponsed框架安装-T \ G q ! 5 q.mp4

│ │ 16-8 短视频网站分析接口数据分析-.mp4

│ │ 16-u * / ) F z r 5 49 短视频网| [ n t R Z I /站appium模拟滑动操作1-.mp4

│ │

│ ├─第1( q @ ( 6 9 t i \7章{ ^ ~ O 19版 打造多任务端app应用数据抓取系统

│ │ 17-1 打造多任务端app应用数据抓取系统-系统介绍.mp4

│ │ 17-10 打造– H ! ~ X F ^ u Y多任务端app应用数据抓取系统-2.mp4

│ │ 17-11 打造多任务端app应用数据抓取系统-3.) Z z # 1mp4

│ │ 1= { r K7-12 打造多任务端app应用数据抓取系统-4Y J B { m . * C r.mp4

│ │ 17-13 第七章小结.mp4

│ │ 17-2 docker系统管理-基础概念.mp4

│ │ 17-3 docker系统管理-基N \ a d c D 4 d础命令-1.mp4

│ │ 17-4 docker系统管理@ h H F Q _-基础命令-2.mp4

│t u 3 D \ H Q J │ 17-5 docker系统管理-基础命令以及docker-appium镜像下载5 f E F u j x \ 2.mp4

│ │ 17-6 创建appium容器以及设置appik m { { \ ~ Aum容器连接安卓模拟器.mp4

│ │ 17-7 docker镜像的创建使用docker commit命令.mp4

│ │c @ 5 t ~ . X : \ 17-8 docker镜像的创建使用dockerfile.mpZ ( X D4

│ │ 17-& E D X = 79 打造多任务端app应用数据抓取系统-1.mp4

│ │ .url

│ │

│ └─第18章 19版 课程回顾与总结

│ 18-1 第八章总结-.mp4

│

├─第1章 2020版 第一章 移动端Python爬虫进阶实战课程导学

│ 1-1 移动端python爬P X N w ( b | (虫进阶实战-2020版导学.mp4

│ .url

│

├─第2章 2020 第二章 u2自动化抓取开发环境搭建

│ 2-1 u2自动化抓取工具介绍-.mp4

│ 2-10 如何连接真实移动设备并安装apk-ubuntu环境-.mp4

│ 2-11 u2项目初始化-.r * $ & – ~ [mp! O W 6 84

│ 2-12 u2a X y =连接移动_ x D 8 Z _ % w设Q – 0 n备的三种方式-1-.mp4

│ 2-13 u2连接移动设备的三种方式-2.mp4

│ 2-2 u2通信流程介绍-.mp4

│ 2-3 u2自动化抓取开发环境搭建-1T ~ j R 3 1.mp4

│ 2-K C w % 5 u b \4 u2自动化抓取开发环境搭建-2.mp4

│ 2-5 u2自动化抓取开发环境搭建-3.mp4

│ 2-6 u2自动化抓取开发环境搭建-4-更多it资源 .mp4

│ 2-7 u2自动化抓取开发环境知识点回顾-.mp4

│ 2-8 如何连接真实移动设备并安– * @ V $装apk-windows环境-1.mp4

│ 2-9 如何连接真实移动设备并安装apk-windows环境-2-.mp4

│

├─第3章 2020 第三章 u2定位元素方法

│ 3-1 u2自动化工具基本操作-操作设备.mp4

│ 3-10 UZ d / ^ I $ w | SiSeu p * I $ $lector resourceId定位方式.mp4

│ 3-11 UiSelector混合定位方式-1.mp4

│ 3-12 UiSelector混合定位方式-2.mp4

│ 3-13 UiSelector 坐标定位方式.mp4

│ 3-14 控件操作和操作超时.mp4` } ] . Q l ) _

│ 3-15 通过U2实现移动设备九宫格解锁.mp4

│ 3-16 xpath定位方式.mp4

│ 3-17 实现自动化登录考研帮app并滑动资讯信息-1.mp4

│ 3-18 实现自动化登录P . \考研帮app并滑动资讯信息-2.mp4

│ 3-19 实现自动化M 2 p Z | J登录考研帮app并滑动资讯信息-3s T W x K 9.mp4

│ 3-2 u2自动化工具基本操作-操作app.mp4

│ 3-3 APP` 5 7 @ activity和控件,weditor工具的安装.mp4

│ 3-4 weditor工具介绍和常见问题-1.mp, L t b L t ] F4

│ 3-5 weditor工具介绍和常见问题-W % $ J P ~ f2.mp4

│z 3 Y R . j 3-6 UiSelector和控件定位介绍.mp4

│ 3-7 UiSelector文本定位方式.mp4

│ 3-8 UiSelector class定位方式-1.mp4

│ 3-9 UiSelector class定位方式-2.mp4

│ .url

│

├─第4章 202w C + = y } j M0 第四章 爬虫必备利器、抓包工具的使用

│ 4-1 fiddler抓包工具介绍，file&&edit功能使用.mp4

│ 4} o U V g 9 P v z-10 app无法– H D抓包探秘-1-更多it资源 .mp4

│ 4-11 app无法抓包探秘-2-更多it资源 .mp4

│ 4-12 app无法抓包探秘-3.mp4

│ 4-2 tooles功能使用.mp4

│ 4-3 rules功能使用&工具栏详讲.mp4

│ 4-4 会话列表-请求头、响应头介绍-.mp4

│ 4-5 请求前断点设置，响应后断点，命令行请* ^ O o ^ } U求前后断点设置，网页重定向-.mp4

│ 4-S M 7 ! ) j f6 手机安装证书，设置fiddler抓取移动端数据包-.mp4

│ 4-7 mitmproxy软件+ S b l移动设备安装证书、移动设备抓包-更多itu l A资源.mp4

│ 4-8 mitmproxyq P Q E , % W & O数据包过滤-.mp4

│ 4-9 mitmdump详讲。-.mp4

│

├─第5章 2020 第五章 短视频App数据抓取

│ 5-1 短视频抓取需求分析.mp4

│ 5-2 安装vmware tools.mp4

│ 5-3 通过U2实现滑动抖音短视频-1.mp4

│ 5-4 通过U2实现滑动抖音短视频X ^ D : G I o f S-2.mp4

│ 5-5 通过U2实现滑动抖音短视频-3-1 { [更多it资源 .mp4

│ 5-6 通过mitmproxy解析短视频App返回数据-接口分析-更多it资源 .mp4

│ 5-7 通过mitmproxy解析短视频App返回数据-编写mitmdump解析文件.mp4

│ 5-8 通过mitmproxy解析短视频App返回数据-运行并查看.mp4

│ .url

│

├─第6章 2020 第六章 多设备管理aj l u ] e ( s Ntxservero q $ p ( L @2库

│ 6-1 atxserver2库介绍.mp4

│ 6-2 atxserver2通过pip安装部署.mv | s U 8 p = x Up4

│ 6-3 atxserver2多设备管理库的使用-.mp4

│ 6-4 实现多? t @ u w @ ~ \任务端app应用数据抓取系统.mp4

│

├─第7章 2020 第七章 elasticsearch

│ 7-1 elasticsearch介绍和} B t – p . c安装.mp4

│ 7-10 分组查询.mp4

│ 7-11 _doc是用来做什么的.mp4

│ 7-12 elasticsearch mappings的三种模式.mp4

│ 7-2 数据可视化组件kibana的安装和在elaO k ` z K l Csticsearch基本的增删改查.mp4

│ 7-3 elasticsearch查询进阶.mp4

│ 7-4 elasticsearch查询排L U Z ) !序.mp4

│ 7-5 elasticsearch分页查询.m_ # xp4

│ 7-6 布尔查询.mp4

│ 7-7 结果过滤Z S : ` ] K.mp4

│ 7-8 高亮显示.mp4

│ 7-9 聚合函数~ l 0查询.mp4

│ .url

│

└─资料

python-appium-app-masX z : R * a W i Nter.zip

、