编辑
2025-03-11
python项目
00
请注意,本文编写于 35 天前,最后修改于 35 天前,其中某些信息可能已经过时。

目录

运行环境
1. 安装python
2. 安装MariaDB并在里面建表
3. 运行python程序
4、在termux模拟器中加入定时任务,每分钟爬一次入库

运行环境

python3.9.6 +MariaDB(termux官方封装安装顺利)

1. 安装python

bash
#安装python3 pkg install python -y #查看版本 python -V #升级pip python -m pip install --upgrade pip -i #安装简易爬虫需要的库 pip install pymysql

2. 安装MariaDB并在里面建表

bash
#安装MariaDB pkg install mariadb #初始化数据库 mysql_install_db #启动mysql服务(得到一个进程号(pid号),nohup: ignoring input and appending output to `nohup.out'提示也是正常的) nohup mysqld & #进入mysql(whoami为本机的登陆名) mysql -u ${whoami} #mysql内修改root密码,我这里习惯设置用户名密码都为root use mysql; set password for 'root'@'localhost' = password('root'); # 刷新权限 flush privileges; # 创建数据库 create database bilidb; use bilidb; CREATE TABLE `hot` ( `id` int(11) NOT NULL AUTO_INCREMENT, `hotword` varchar(200) CHARACTER SET utf8 DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `hotword` (`hotword`) ) ENGINE=InnoDB AUTO_INCREMENT=67 DEFAULT CHARSET=latin1; #退出mysql quit; #需要关闭mysql服务可以掉进程 kill -9 PID(这个pid号启动服务的时候回显示)

3. 运行python程序

python
#python +文件名 例子: python bili.py #bili.py要在当前目录下,安卓11有应用文件的限制,一加手机需要在设置的存储里找文件,在文件程序里面进行复制

我这里有个简单的爬虫

python
#python程序 #字典 import requests import json import pymysql.cursors #加头标识 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36' } product=[] #获取传回数据 resp=requests.get('https://s.search.bilibili.com/main/hotword?mid=&buvid=98E676EF-F586-403E-8440-52A6836FA68713451infoc&jsonp=jsonp&callback=jsonCallback_bili_58910703464582290',headers=headers) rest=resp.text.replace('jsonCallback_bili_58910703464582290(','').replace(')','') #转换json键值对 json_data=json.loads(rest) comments=json_data["list"] # #把想要的数据装入列表中 proDict=[] for item in comments: proDict.append(item['keyword']+' ') product.extend(proDict) # 把数组里所有数据都转入字符串中(这里是学习用的,可以去除) p=''.join(proDict) print(p) # 数据入库 # 连接数据库 conn = pymysql.connect( host='127.0.0.1', port=3306, user='root', passwd='root', db='bilidb', charset='utf8', cursorclass=pymysql.cursors.Cursor, ) cur=conn.cursor() #这里用replace解决数据入库时重复数据的问题,注意hotword字段要设置唯一约束 for item in proDict: cur.execute("replace into hot(hotword) values('%s')" %(item)) #事务提交(这里尝试性的用了一个异常处理,嘿嘿可以去掉) try: conn.commit() except AttributeError: print("错误") cur.close()

保存或者直接复制运行,ok运行成功!

image.png

4、在termux模拟器中加入定时任务,每分钟爬一次入库

python
#安装crontab pkg install crontab #启动服务 crond #编辑定时任务 crontab -e #输入定时任务 * * * * * python bili.py >>123.log 星号分别表示 分 时 天 月份 周 可以指定时间运行,若为星号就代表每分或每周或每时...运行,我这里是每分钟运行一次,若要每天则要确定具体时间即 0 8 * * * 这就表示每天8点运行(后面具体复杂操作见https://www.runoob.com/linux/linux-comm-crontab.html) 然后后面就是指令了,***注意的是后面必须要指定一个log文件***,不然它不会运行

最后查询数据库内值,确实在不断加数据 请添加图片描述

image.png

本文作者:lsq_137

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!