2022-10-29 17:17:07 +08:00
|
|
|
|
windows服务器
|
|
|
|
|
|
cd C:\Users\Administrator\Desktop\tools\netease_music
|
|
|
|
|
|
|
|
|
|
|
|
linux服务器
|
2022-10-07 00:26:46 +08:00
|
|
|
|
cd /www/neteasemusic/tools
|
2022-10-29 17:17:07 +08:00
|
|
|
|
|
2022-10-29 01:21:48 +08:00
|
|
|
|
|
|
|
|
|
|
本地库测试
|
|
|
|
|
|
node index --database neteasemusic_develop --utils song
|
|
|
|
|
|
node index --database neteasemusic_develop --utils album --min 10000000
|
|
|
|
|
|
node index --database neteasemusic_develop --utils album --order desc
|
|
|
|
|
|
node index --database neteasemusic_develop --utils artist
|
|
|
|
|
|
node index --database neteasemusic_develop --utils playlist
|
|
|
|
|
|
node index --database neteasemusic_develop --utils comment --limit 10000
|
|
|
|
|
|
node index --database neteasemusic_develop --utils lyric
|
|
|
|
|
|
node index --database neteasemusic_develop --utils assistant
|
2022-10-06 21:06:09 +08:00
|
|
|
|
|
2022-10-29 17:17:07 +08:00
|
|
|
|
|
|
|
|
|
|
|
2022-10-25 19:36:05 +08:00
|
|
|
|
思路：
|
|
|
|
|
|
通过一首歌，查出对应的artist和album，然后顺藤摸瓜查出网易云的其他song, album, artist, lyric, comment等
|
|
|
|
|
|
|
|
|
|
|
|
插入rel表的时候同时插入 wait_check_xx 表，然后后续检查这个表，如果不存在，那么就插入对应的 wait_fetch_xxx 表
|
|
|
|
|
|
之后查出 wait_fetch_xxx 表，进行数据拉取，形成闭环
|
|
|
|
|
|
|
2022-10-06 14:01:05 +08:00
|
|
|
|
|
2022-10-25 19:36:05 +08:00
|
|
|
|
|
|
|
|
|
|
后期：
|
2022-10-20 00:30:09 +08:00
|
|
|
|
歌单定时更新（rel表中添加一个del字段，先将歌单下面的全部置为删除状态，再插入的时候把已有歌曲的标记重新修改为正常状态）
|
|
|
|
|
|
|
2022-10-06 14:01:05 +08:00
|
|
|
|
评论的更新
|
|
|
|
|
|
|
2022-10-09 17:37:57 +08:00
|
|
|
|
被删除的aritst和album回头再通过其他表中的数据反查回来
|
|
|
|
|
|
|
2022-10-29 00:16:36 +08:00
|
|
|
|
歌曲目前爬取之后，会有一部分没有image封面，还是需要用旧方法爬取到
|
|
|
|
|
|
|
|
|
|
|
|
|
2022-10-09 17:37:57 +08:00
|
|
|
|
|
2022-10-19 22:58:56 +08:00
|
|
|
|
说明：
|
|
|
|
|
|
song表中data_version=1的音乐是第一次爬取的时候存在，但是后面再爬取时不存在的音乐
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2022-10-09 17:37:57 +08:00
|
|
|
|
后续分区（不能在现有表上修改，只能重新查出数据到新表）
|
|
|
|
|
|
alter table song add partition (
|
|
|
|
|
|
PARTITION p1 VALUES LESS THAN ( 50000000),
|
|
|
|
|
|
PARTITION p2 VALUES LESS THAN (1000000000),
|
|
|
|
|
|
PARTITION p3 VALUES LESS THAN (1500000000),
|
|
|
|
|
|
PARTITION p4 VALUES LESS THAN (2000000000),
|
|
|
|
|
|
PARTITION p5 VALUES LESS THAN MAXVALUE
|
2022-10-26 15:33:07 +08:00
|
|
|
|
);
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
SQL文件说明
|
|
|
|
|
|
sql/structure.sql 中的SQL为最简，不包含字段的编码集
|
|
|
|
|
|
sql/neteasemusic.sql 中的SQL为数据库导出，包含字段的编码集
|
2023-06-03 00:10:47 +08:00
|
|
|
|
项目数据库 CHARACTER SET 统一使用 'utf8mb4'，COLLATE 统一使用 'utf8mb4_general_ci'
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# # 查看列表
|
|
|
|
|
|
# screen -ls
|
|
|
|
|
|
|
|
|
|
|
|
# # 创建一个screen
|
|
|
|
|
|
# screen + <Enter>
|
|
|
|
|
|
|
|
|
|
|
|
# # 切换到指定屏幕
|
|
|
|
|
|
# screen -r <screen_id>
|
|
|
|
|
|
|
|
|
|
|
|
# # 切出屏幕
|
|
|
|
|
|
# Ctrl + A D
|
