coder-xiaomo/tools
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity GitHub Gitee

添加索引

Browse Source
This commit is contained in:
程序员小墨 2022-10-08 21:57:22 +08:00
parent ba4ab91bb8
commit c28fca34be
2 changed files with 18 additions and 15 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

26
netease_music/sql/structure.sql
View File

@ -7,7 +7,8 @@ CREATE TABLE `song` (
`pub_date` varchar(100) NOT NULL COMMENT '发布日期',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`song_id`)
PRIMARY KEY (`song_id`),
KEY `song_id` (`song_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `artist` (
@ -19,7 +20,7 @@ CREATE TABLE `artist` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`artist_id`),
INDEX `artist_id` (`artist_id`)
KEY `artist_id` (`artist_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `album` (
@ -34,7 +35,7 @@ CREATE TABLE `album` (
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
`version` tinyint(4) NOT NULL DEFAULT 1 COMMENT '数据记录版本(如果有字段调整则整体+1)',
PRIMARY KEY (`album_id`),
INDEX `album_id` (`album_id`)
KEY `album_id` (`album_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `song_album_relation` (
@ -43,8 +44,8 @@ CREATE TABLE `song_album_relation` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`song_id`,`album_id`),
INDEX `song_id` (`song_id`),
INDEX `album_id` (`album_id`)
KEY `song_id` (`song_id`),
KEY `album_id` (`album_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `song_artist_relation` (
@ -53,8 +54,8 @@ CREATE TABLE `song_artist_relation` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY `song_id` (`song_id`,`artist_id`),
INDEX `song_id` (`song_id`),
INDEX `artist_id` (`artist_id`)
KEY `song_id` (`song_id`),
KEY `artist_id` (`artist_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `lyric` (
@ -64,7 +65,7 @@ CREATE TABLE `lyric` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`song_id`,`version`),
INDEX `song_id` (`song_id`)
KEY `song_id` (`song_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `user` (
@ -75,7 +76,7 @@ CREATE TABLE `user` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`user_id`),
INDEX `user_id` (`user_id`)
KEY `user_id` (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `comment` (
@ -90,7 +91,7 @@ CREATE TABLE `comment` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`comment_id`),
INDEX `song_id` (`song_id`)
KEY `song_id` (`song_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `comment_progress` (
@ -103,12 +104,13 @@ CREATE TABLE `comment_progress` (
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
`modify_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',
PRIMARY KEY (`song_id`),
INDEX `current_status` (`current_status`)
KEY `current_status` (`current_status`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;
CREATE TABLE `log` (
`id` int(10) unsigned NOT NULL COMMENT 'id',
`name` varchar(200) NOT NULL COMMENT '方法/数据库',
`msg` varchar(200) NOT NULL COMMENT '出错信息',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间'
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '爬取时间',
KEY `id` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

7
todo.txt
View File

@ -2,6 +2,7 @@ cd C:\Users\Coz\Desktop\tools\
cd /www/neteasemusic/tools
-- 本地
node index --utils song --min 1900000000 --max 2000000000 --order DESC # ing 在本地
node index --utils song --min 1900000000 --max 2000000000 --order ASC # ing 在本地
node index --utils song --min 1800000000 --max 1900000000 --order DESC # ing 在Windows服务器上
-- Linux服务器
node index --utils song --min 1290000000 --max 1500000000 --order DESC # ing 在Linux服务器上
@ -13,7 +14,7 @@ node index --utils song --min 0 --max 400000000 --order ASC
-- Windows 服务器
node index --utils album --min 134000000 --max 160000000 # 完成
-- 本机
node index --utils album --min 0 --max 134000000 # ing 在Linux服务器上
node index --utils album --min 0 --max 134000000 # ing 在本地 & 在Linux服务器上
#############################################################################################
-- 完成： 38000000-55000000
-- Windows服务器
@ -30,8 +31,8 @@ node index --utils comment --min 0 --max 400000000 --order ASC --limi
-- 完成： 40000000-460000000 500000000-560000000
node index --utils lyric --min 0 --max 1950000000 # ing 在Linux服务器上
-- Windows服务器
node index --utils lyric --min 1800000000 --max 1950000000 # 完成
node index --utils lyric --min 1950000000 --max 2000000000 # 完成
node index --utils lyric --min 1800000000 --max 1950000000 # ing 在Linux服务器上
node index --utils lyric --min 1950000000 --max 2000000000 # ing 在本地
node index --utils lyric --min 0 --max 400000000 # 完成
-- 本机
node index --utils lyric --min 400000000 --max 1000000000 # 完成