coder-xiaomo/tools
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity GitHub Gitee

update

Browse Source
This commit is contained in:
程序员小墨 2022-10-07 20:55:04 +08:00
parent 88bb8a4b29
commit 140c8bd61e
5 changed files with 23 additions and 20 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
netease_music/src/getInfo/albumInfoUtils.js
View File

@ -27,6 +27,7 @@ SELECT * FROM album WHERE (full_description = '' or full_description is null) an
*/ */
async function fetchAll({ args = {}, isUpdate = false }) { async function fetchAll({ args = {}, isUpdate = false }) {
if (args.order) console.log("存在 DISTINCT，自动升序排序，无需指定ORDER BY");
console.log("start fetching albums ..."); console.log("start fetching albums ...");
if (isUpdate) { if (isUpdate) {
@ -38,7 +39,6 @@ async function fetchAll({ args = {}, isUpdate = false }) {
].join(' AND '); ].join(' AND ');
var sql = ` var sql = `
SELECT DISTINCT album_id FROM song_album_relation WHERE ${whereClause} AND album_id NOT IN ( SELECT album_id FROM album ) SELECT DISTINCT album_id FROM song_album_relation WHERE ${whereClause} AND album_id NOT IN ( SELECT album_id FROM album )
${args.order ? `ORDER BY album_id ${args.order}` : ''}
${args.limit ? `LIMIT ${args.limit}` : ''} ${args.limit ? `LIMIT ${args.limit}` : ''}
`; `;
console.log(sql); console.log(sql);

2
netease_music/src/getInfo/artistInfoUtils.js
View File

@ -23,6 +23,7 @@ async function getFromDatabase({ artistId }) {
// 从数据库中查出还缺少的歌手，并进行爬取 // 从数据库中查出还缺少的歌手，并进行爬取
async function fetchAll({ args = {} }) { async function fetchAll({ args = {} }) {
if (args.order) console.log("存在 DISTINCT，自动升序排序，无需指定ORDER BY");
console.log("start fetching artists ..."); console.log("start fetching artists ...");
let whereClause = [ let whereClause = [
args.min ? `artist_id > ${args.min}` : '1=1', args.min ? `artist_id > ${args.min}` : '1=1',
@ -30,7 +31,6 @@ async function fetchAll({ args = {} }) {
].join(' AND '); ].join(' AND ');
var sql = ` var sql = `
SELECT DISTINCT artist_id FROM song_artist_relation WHERE ${whereClause} AND artist_id NOT IN ( SELECT artist_id FROM artist ) SELECT DISTINCT artist_id FROM song_artist_relation WHERE ${whereClause} AND artist_id NOT IN ( SELECT artist_id FROM artist )
${args.order ? `ORDER BY artist_id ${args.order}` : ''}
${args.limit ? `LIMIT ${args.limit}` : ''} ${args.limit ? `LIMIT ${args.limit}` : ''}
`; `;
console.log(sql); console.log(sql);

2
netease_music/src/getInfo/lyricInfoUtils.js
View File

@ -8,6 +8,7 @@ const dbUtils = global.dbUtils;
// 从数据库中查出还缺少的歌词，并进行爬取 // 从数据库中查出还缺少的歌词，并进行爬取
async function fetchAll({ args = {} }) { async function fetchAll({ args = {} }) {
if (args.order) console.log("存在 DISTINCT，自动升序排序，无需指定ORDER BY");
console.log("start fetching lyrics ..."); console.log("start fetching lyrics ...");
let whereClause = [ let whereClause = [
args.min ? `song_id > ${args.min}` : '1=1', args.min ? `song_id > ${args.min}` : '1=1',
@ -15,7 +16,6 @@ async function fetchAll({ args = {} }) {
].join(' AND '); ].join(' AND ');
var sql = ` var sql = `
SELECT DISTINCT song_id FROM song WHERE ${whereClause} AND song_id NOT IN ( SELECT song_id FROM lyric ) SELECT DISTINCT song_id FROM song WHERE ${whereClause} AND song_id NOT IN ( SELECT song_id FROM lyric )
${args.order ? `ORDER BY song_id ${args.order}` : ''}
${args.limit ? `LIMIT ${args.limit}` : ''} ${args.limit ? `LIMIT ${args.limit}` : ''}
`; `;
console.log(sql); console.log(sql);

35
todo.txt
View File

@ -1,37 +1,40 @@
cd C:\Users\Coz\Desktop\tools\ cd C:\Users\Coz\Desktop\tools\
cd /www/neteasemusic/tools cd /www/neteasemusic/tools
-- 本地 -- 本地
node index --utils song --min 1900000000 --max 2000000000 --order DESC --limit 2000 # ing node index --utils song --min 1900000000 --max 2000000000 --order DESC # ing 在本地
node index --utils song --min 1800000000 --max 1900000000 --order DESC --limit 2000 # ing 在Windows服务器上 node index --utils song --min 1800000000 --max 1900000000 --order DESC # ing 在Windows服务器上
-- Linux服务器 -- Linux服务器
node index --utils song --min 1290000000 --max 1500000000 --order DESC --limit 2000 # ing node index --utils song --min 1290000000 --max 1500000000 --order DESC # ing 在Linux服务器上
-- Windows服务器 -- Windows服务器
node index --utils song --min 400000000 --max 1000000000 --order ASC # ing node index --utils song --min 400000000 --max 1000000000 --order ASC # ing 在Windows服务器上
node index --utils song --min 0 --max 400000000 --order ASC # ing node index --utils song --min 0 --max 400000000 --order ASC # ing 在Windows服务器上
############################################################################################# #############################################################################################
-- 完成： 36000000-38000000 72000000-96000000 139000000-151000000
-- Windows 服务器 -- Windows 服务器
node index --utils album --min 134000000 --max 160000000 --order DESC # ing node index --utils album --min 134000000 --max 160000000 # 完成
-- 本机 -- 本机
node index --utils album --min 0 --max 134000000 --order DESC --limit 2000 node index --utils album --min 0 --max 134000000 # ing 在Linux服务器上
############################################################################################# #############################################################################################
-- 完成： 38000000-55000000
-- Windows服务器 -- Windows服务器
node index --utils artist --min 0 --max 38000000 --order DESC # ing node index --utils artist --min 0 --max 55000000 # ing 在本地
-- 本机
node index --utils artist --min 38000000 --max 55000000 --order DESC --limit 2000 # ing
############################################################################################# #############################################################################################
-- 本机 -- 本机
node index --utils comment --min 1800000000 --max 2000000000 --order DESC --limit 2000 # ing node index --utils comment --min 1800000000 --max 2000000000 --order DESC --limit 2000 # ing 在本地
-- Windows服务器 -- Windows服务器
node index --utils comment --min 1290000000 --max 1500000000 --order DESC --limit 2000 # ing node index --utils comment --min 1290000000 --max 1500000000 --order DESC --limit 2000 # ing 在Windows服务器上
node index --utils comment --min 400000000 --max 1000000000 --order ASC --limit 2000 node index --utils comment --min 400000000 --max 1000000000 --order ASC --limit 2000 # ing 在Linux服务器上
-- Linux服务器 -- Linux服务器
node index --utils comment --min 0 --max 400000000 --order ASC --limit 2000 # ing node index --utils comment --min 0 --max 400000000 --order ASC --limit 2000 # ing
############################################################################################# #############################################################################################
-- 完成： 40000000-460000000 500000000-560000000
node index --utils lyric --min 0 --max 1950000000 # ing 在Linux服务器上
-- Windows服务器 -- Windows服务器
node index --utils lyric --min 1800000000 --max 2000000000 --order DESC # ing 在Linux服务器上 node index --utils lyric --min 1800000000 --max 1950000000 # 完成
node index --utils lyric --min 0 --max 400000000 --order ASC # ing node index --utils lyric --min 1950000000 --max 2000000000 # 完成
node index --utils lyric --min 0 --max 400000000 # 完成
-- 本机 -- 本机
node index --utils lyric --min 400000000 --max 1000000000 --order ASC # ing node index --utils lyric --min 400000000 --max 1000000000 # 完成
后期： 后期：

2
watch.js
View File

@ -5,7 +5,7 @@ if (keepWatching) {
} else { } else {
global.useMysqlPool = false; global.useMysqlPool = false;
} }
global.dbConfig = 'mysql_local'; // global.dbConfig = 'mysql_local';
const neteaseMusic = require('./netease_music/index'); const neteaseMusic = require('./netease_music/index');
const sleepUtils = require('./utils/sleepUtils'); const sleepUtils = require('./utils/sleepUtils');