启动时检查.env文件是否存在;更新README
This commit is contained in:
parent
3d4246cc45
commit
ec0ed88244
21
README.md
21
README.md
@ -1,7 +1,7 @@
|
||||
# 微博热搜数据爬取工具
|
||||
|
||||
> 本仓库中代码仅供学习研究使用,不得用于违法用途。
|
||||
>
|
||||
>
|
||||
> 数据来自微博,本项目不对数据真实性做验证,使用数据时请遵守微博平台的相关限制要求。
|
||||
|
||||
## 简介
|
||||
@ -38,6 +38,11 @@ npm i
|
||||
|
||||
将项目目录下的 `.env.example` 文件复制一份,并改名为 `.env`,使用文本编辑器打开(例如:记事本、VS Code、vim等均可),根据其中的注释说明来进行配置即可。
|
||||
|
||||
> 如果不创建 .env 文件,项目启动时会报如下错误并退出。
|
||||
> ```bash
|
||||
> [ERROR] .env file not found!
|
||||
> ```
|
||||
|
||||
4. 启动项目
|
||||
|
||||
```bash
|
||||
@ -60,4 +65,16 @@ npm i
|
||||
|
||||
## 说明
|
||||
|
||||
TODO
|
||||
项目爬取的数据默认保存在项目目录下的 data 文件夹中,您也可以通过修改 `.env` 文件中的 `DATA_FOLDER` 参数值来自定义数据保存路径。
|
||||
|
||||
在程序运行后,该文件夹下会出现 `latest.json` 文件及其余几个文件夹,这些子文件夹中的文件按照以下格式保存:`年/月/日/年月日_时分.json`。
|
||||
|
||||
每次爬取后,`latest.json`中的数据都会被覆盖为最新的热搜数据。
|
||||
|
||||
`origin` 文件夹中的数据是通过Api接口获取到的原始数据,没有经过任何处理。
|
||||
|
||||
`simplify` 文件夹中的数据是在原始数据的基础上,去除了部分冗余数据。
|
||||
|
||||
`final` 文件夹中的数据是从原始数据中抽离出的有用数据,并重新整理得到的。
|
||||
|
||||
`regulation` 文件夹中的数据主要用于观测原始值与显示值不同的热搜,这部分热搜猜测可能是经过微博平台调控的。(这部分数据没有太大意义,可以忽略)
|
||||
|
6
index.js
6
index.js
@ -4,10 +4,16 @@ const dotenv = require('dotenv');
|
||||
const schedule = require('node-schedule');
|
||||
const path = require('path');
|
||||
const os = require('os');
|
||||
const fs = require('fs');
|
||||
|
||||
/**
|
||||
* 环境变量
|
||||
*/
|
||||
if (!fs.existsSync('.env')) {
|
||||
// 如果没有 .env 文件,则报错并退出
|
||||
console.error('[ERROR] .env file not found!');
|
||||
return;
|
||||
}
|
||||
process.env = {}; // 清除系统自带的环境变量
|
||||
dotenv.config('./.env'); // 导入 .env 文件中的环境变量
|
||||
// console.log(process.env);
|
||||
|
Loading…
Reference in New Issue
Block a user