coder-xiaomo/tools
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity GitHub Gitee

微博热搜不保存 simplify 和 regulation 数据

Browse Source
This commit is contained in:
程序员小墨 2022-07-30 22:07:23 +08:00
parent 590e209b2c
commit 51f6c2de1f
2 changed files with 82 additions and 76 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
README.md
View File

@ -112,11 +112,15 @@ npm i
`origin` 文件夹中的数据是通过Api接口获取到的原始数据，没有经过任何处理。 `origin` 文件夹中的数据是通过Api接口获取到的原始数据，没有经过任何处理。
<!--
`simplify` 文件夹中的数据是在原始数据的基础上，去除了部分冗余数据。 `simplify` 文件夹中的数据是在原始数据的基础上，去除了部分冗余数据。
-->
`final` 文件夹中的数据是从原始数据中抽离出的有用数据，并重新整理得到的。 `final` 文件夹中的数据是从原始数据中抽离出的有用数据，并重新整理得到的。
<!--
`regulation` 文件夹中的数据主要用于观测原始值与显示值不同的热搜，这部分热搜猜测可能是经过微博平台调控的。（这部分数据没有太大意义，可以忽略） `regulation` 文件夹中的数据主要用于观测原始值与显示值不同的热搜，这部分热搜猜测可能是经过微博平台调控的。（这部分数据没有太大意义，可以忽略）
-->

92
src/get_weibo_hotband.js
View File

@ -61,11 +61,13 @@ async function main() {
* 过滤掉不需要的数据 * 过滤掉不需要的数据
*/ */
// hotgov // hotgov
if (data.hotgov) {
delete data.hotgov["mblog"]; delete data.hotgov["mblog"];
// 重复字段只保留一个 // 重复字段只保留一个
delete data.hotgov["note"]; // note word delete data.hotgov["note"]; // note word
delete data.hotgov["small_icon_desc"]; // icon_desc small_icon_desc delete data.hotgov["small_icon_desc"]; // icon_desc small_icon_desc
delete data.hotgov["small_icon_desc_color"]; // icon_desc_color small_icon_desc_color delete data.hotgov["small_icon_desc_color"]; // icon_desc_color small_icon_desc_color
}
// band_list // band_list
for (let i = 0; i < data.band_list.length; i++) { for (let i = 0; i < data.band_list.length; i++) {
@ -154,51 +156,51 @@ async function main() {
}); });
/** // /**
* 只统计微博调控信息 // * 只统计微博调控信息
*/ // */
let convert2 = []; // let convert2 = [];
let total = 0; // let total = 0;
data.band_list.forEach(item => { // data.band_list.forEach(item => {
total += item.num; // total += item.num;
total -= item.raw_hot; // total -= item.raw_hot;
if (item.num - item.raw_hot == 0) return; // if (item.num - item.raw_hot == 0) return;
convert2.push([ // convert2.push([
`[${item.realpos}] ${item.word}【${item.label_name}】`, // `[${item.realpos}] ${item.word}【${item.label_name}】`,
`原始:${item.raw_hot} 显示:${item.num} 调控: ${item.num - item.raw_hot}` // `原始:${item.raw_hot} 显示:${item.num} 调控: ${item.num - item.raw_hot}`
]); // ]);
}); // });
fileUtils.saveJSON({ // fileUtils.saveJSON({
saveFolder: DATA_FOLDER, // saveFolder: DATA_FOLDER,
now: now, // now: now,
fileNameSuffix: `regulation`, // fileNameSuffix: `regulation`,
object: { // object: {
total_delta: total, // 所有调控值之和 // total_delta: total, // 所有调控值之和
data: convert2 // data: convert2
}, // },
compress: false,
uncompress: true
});
/**
* 保存预处理后数据
*/
// 过滤掉不需要的数据
// band_list
data.band_list.forEach(function (item) {
delete item["mblog"];
});
fileUtils.saveJSON({
saveFolder: DATA_FOLDER,
now: now,
fileNameSuffix: `simplify`,
object: data,
compress: true,
// uncompress: true,
// compress: false, // compress: false,
uncompress: false, // uncompress: true
}); // });
// /**
// * 保存预处理后数据
// */
// // 过滤掉不需要的数据
// // band_list
// data.band_list.forEach(function (item) {
// delete item["mblog"];
// });
// fileUtils.saveJSON({
// saveFolder: DATA_FOLDER,
// now: now,
// fileNameSuffix: `simplify`,
// object: data,
// compress: true,
// // uncompress: true,
// // compress: false,
// uncompress: false,
// });
/** /**
@ -207,7 +209,7 @@ async function main() {
fs.writeFileSync(`${DATA_FOLDER}/latest.json`, JSON.stringify({ fs.writeFileSync(`${DATA_FOLDER}/latest.json`, JSON.stringify({
update_time: requestTimestamp, update_time: requestTimestamp,
update_time_friendly: now.substring(0, 19).replace(/T/g, " "), update_time_friendly: now.substring(0, 19).replace(/T/g, " "),
regulation: convert2, // regulation: convert2,
data: convert data: convert
})); }));
} }