1
0
Code Issues Pull Requests Projects Releases Wiki Activity GitHub Gitee

启动时检查.env文件是否存在;更新README

This commit is contained in:
程序员小墨 2022-07-25 10:37:49 +08:00
parent 3d4246cc45
commit ec0ed88244
2 changed files with 25 additions and 2 deletions

View File

@ -1,7 +1,7 @@
# 微博热搜数据爬取工具
> 本仓库中代码仅供学习研究使用,不得用于违法用途。
>
>
> 数据来自微博,本项目不对数据真实性做验证,使用数据时请遵守微博平台的相关限制要求。
## 简介
@ -38,6 +38,11 @@ npm i
将项目目录下的 `.env.example` 文件复制一份,并改名为 `.env`使用文本编辑器打开例如记事本、VS Code、vim等均可根据其中的注释说明来进行配置即可。
> 如果不创建 .env 文件,项目启动时会报如下错误并退出。
> ```bash
> [ERROR] .env file not found!
> ```
4. 启动项目
```bash
@ -60,4 +65,16 @@ npm i
## 说明
TODO
项目爬取的数据默认保存在项目目录下的 data 文件夹中,您也可以通过修改 `.env` 文件中的 `DATA_FOLDER` 参数值来自定义数据保存路径。
在程序运行后,该文件夹下会出现 `latest.json` 文件及其余几个文件夹,这些子文件夹中的文件按照以下格式保存:`年/月/日/年月日_时分.json`。
每次爬取后,`latest.json`中的数据都会被覆盖为最新的热搜数据。
`origin` 文件夹中的数据是通过Api接口获取到的原始数据没有经过任何处理。
`simplify` 文件夹中的数据是在原始数据的基础上,去除了部分冗余数据。
`final` 文件夹中的数据是从原始数据中抽离出的有用数据,并重新整理得到的。
`regulation` 文件夹中的数据主要用于观测原始值与显示值不同的热搜,这部分热搜猜测可能是经过微博平台调控的。(这部分数据没有太大意义,可以忽略)

View File

@ -4,10 +4,16 @@ const dotenv = require('dotenv');
const schedule = require('node-schedule');
const path = require('path');
const os = require('os');
const fs = require('fs');
/**
* 环境变量
*/
if (!fs.existsSync('.env')) {
// 如果没有 .env 文件,则报错并退出
console.error('[ERROR] .env file not found!');
return;
}
process.env = {}; // 清除系统自带的环境变量
dotenv.config('./.env'); // 导入 .env 文件中的环境变量
// console.log(process.env);