update

README.md

@@ -1,23 +1,54 @@
 # 力扣题库（完整版）
 
-使用 Python 脚本分批将力扣（国外版 `leetcode.com` 和 国内版 `leetcode-cn.com`）上面的题目下载下来，方便没有网的时候进行学习。
-
-### 仓库内容介绍
-
- - [x] 国外版力扣题库，在仓库 `算法题（国外版）` 文件夹下（其中的 html 文件）。
- - [x] 国内版力扣题库，在仓库 `算法题（国内版）/problem (Chinese)` 文件夹下，对于同时有英文版的题目来说，英文版在仓库 `算法题（国内版）/problem (English)` 文件夹下。
-
-### 一些说明
-
- - 仅包含可以在网页上直接打开的公开题目，不包含 VIP 题目。
- - 当前仓库的最后更新日期为 `2022.03.27`，仓库会每隔较长的一段时间从官方网站进行题目同步，同步后本仓库将更新。
-
-
-
-> **注意！**
+> 最后更新日期： **2024.12.20**
 >
-> **所有版权都为 LeetCode (及力扣中国) 官方所有，此处仅供学习使用，感谢 LeetCode 平台为我们提供大量的算法题目进行练习、提升。也请大家不要滥用，不要侵犯力扣平台的合法权益。**
+> 使用脚本前请务必仔细完整阅读本 `README.md` 文件
 
----
+### 仓库介绍
+
+使用 Python 脚本分批将力扣（`leetcode.com` 和 `leetcode-cn.com`）上面的题目保存下来，方便没有网的时候进行学习。（仅包含可以在网页上直接打开的公开题目，不包含 VIP 题目）
+
+
+
+### 仓库目录结构
+
+国外版力扣题库，在仓库 `leetcode/problem` 文件夹下；国内版力扣题库，在仓库  `leetcode-cn/problem (Chinese)` 和 `leetcode-cn/problem (English)` 文件夹下。（部分题目只有中文版，无对应英文版）。
+
+
+
+### 安装依赖
+
+```bash
+pip install -r requirements.txt
+```
+
+
+
+### 特别注意！
+
+#### 版权相关
+
+**所有版权都为 LeetCode (及力扣中国) 官方所有，此处仅供学习使用，不要他用。也请大家不要滥用，不要侵犯力扣平台的合法权益。**
+
+**感谢 LeetCode 平台为我们提供大量的算法题目进行练习与提升。如果大家经济条件允许，请大家多多支持力扣，例如充充会员等。**
+
+力扣题库的权益归属力扣，使用力扣题库，需要遵循力扣使用条例，若您不同意此条例，请立即关闭当前网页，不要继续使用本题库。
+
+力扣（LeetCode）• 使用条例： https://leetcode-cn.com/terms-c/
+
+LeetCode Terms of Service： https://leetcode.com/terms/
+
+
+
+#### 脚本原作者
+
+Python脚本是在网上教程的基础上进行二改得到的，原版地址：https://blog.csdn.net/weixin_37267014/article/details/81429057
+
+
+
+#### 其他
+
+由于脚本运行时会向力扣网站发出大量请求，所以请大家不要随便尝试此脚本，以免影响力扣网站正常运行。
+
+因为使用此脚本所造成的一系列问题，责任由您自己承担，作者不承担相应责任。
 
-Python脚本是在网上教程的基础上进行二改得到的，原版地址：https://blog.csdn.net/weixin_37267014/article/details/81429057

get.bat

@@ -0,0 +1,21 @@
+git checkout master
+git pull
+git count-objects -vH
+
+python leetcode.py
+python leetcode-cn.py
+
+git status
+echo "<EFBFBD><EFBFBD>Ҫ<EFBFBD><EFBFBD><EFBFBD>͵<EFBFBD> Git <20>ֿ<EFBFBD>"
+pause
+git add .
+git commit -m "update"
+git gc
+
+git remote add origin https://gitee.com/coder-xiaomo/leetcode-problemset
+git push origin
+
+git remote add github https://github.com/coder-xiaomo/leetcode-problemset
+git push github
+
+pause

leetcode-cn.py

@@ -0,0 +1,151 @@
+# coding:utf-8
+import re
+import json
+import os
+import threading
+import time
+import requests
+from requests.exceptions import RequestException
+from bs4 import BeautifulSoup
+
+import urllib3
+urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
+
+def get_proble_set(url):
+    try:
+        # response = requests.get(url)
+        response = requests.get(url, headers = {
+            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
+        }, verify=False)
+        if response.status_code == 200:
+            return response.text
+        return None
+    except RequestException:
+        return None
+
+def parse_proble_set(problemSet):
+    # print(len(problemSet)) # 2573
+    for i in range(len(problemSet)):
+        title = problemSet[i]["stat"]["question__title_slug"]
+        if os.path.exists("originData/[no content]{}.json".format(title)) or os.path.exists("originData/{}.json".format(title)):
+            print(i, "has been parsed.")
+            # print("The question has been parsed: {}".format(title))
+            continue
+        #construct_url(title)
+        # time.sleep(0.5)
+        time.sleep(1)
+        t =threading.Thread(target=construct_url,args=(title,))
+        t.start()
+        print(i, "is done.")
+        continue
+
+def construct_url(problemTitle):
+    url = "https://leetcode.cn/problems/" + problemTitle + "/"
+    # print(url)
+    get_proble_content(url, problemTitle)
+
+def save_problem(title,content, editorType = ""):
+    #content = bytes(content,encoding = 'utf8')
+    filename = title + ".html"
+    if editorType == "MARKDOWN":
+        filename = title + ".md"
+    # else if editorType = "CKEDITOR":
+    with open(filename,'w+',encoding="utf-8")as f:
+        f.write(content)
+
+def get_proble_content(problemUrl,title):
+    # 随便请求一个页面，获取csrf_token
+    response = requests.get('https://leetcode.cn/graphql/', data = '''{"operationName":"userPremiumInfo","variables":{},"query":"query userPremiumInfo {\n  userStatus {\n    isPremium\n    subscriptionPlanType\n    __typename\n  }\n}\n"}''')
+    setCookie = response.headers["set-cookie"]
+    # print(setCookie)
+    '''
+    print(setCookie)
+    setCookie = json.loads(setCookie)
+    print(type(setCookie))
+    '''
+    try:
+        pattern = re.compile(".*?csrftoken=(.*?);.*?",re.S)
+        csrftoken = re.search(pattern, setCookie)
+        # print(csrftoken.group(1))
+        url = "https://leetcode.cn/graphql"
+        data = {
+            "operationName":"questionData",
+            "variables":{"titleSlug":title},
+            "query": "query questionData($titleSlug: String!) {\n  question(titleSlug: $titleSlug) {\n    questionId\n    questionFrontendId\n    categoryTitle\n    boundTopicId\n    title\n    titleSlug\n    content\n    translatedTitle\n    translatedContent\n    isPaidOnly\n    difficulty\n    likes\n    dislikes\n    isLiked\n    similarQuestions\n    contributors {\n      username\n      profileUrl\n      avatarUrl\n      __typename\n    }\n    langToValidPlayground\n    topicTags {\n      name\n      slug\n      translatedName\n      __typename\n    }\n    companyTagStats\n    codeSnippets {\n      lang\n      langSlug\n      code\n      __typename\n    }\n    stats\n    hints\n    solution {\n      id\n      canSeeDetail\n      __typename\n    }\n    status\n    sampleTestCase\n    metaData\n    judgerAvailable\n    judgeType\n    mysqlSchemas\n    enableRunCode\n    envInfo\n    book {\n      id\n      bookName\n      pressName\n      source\n      shortDescription\n      fullDescription\n      bookImgUrl\n      pressImgUrl\n      productUrl\n      __typename\n    }\n    isSubscribed\n    isDailyQuestion\n    dailyRecordStatus\n    editorType\n    ugcQuestionId\n    style\n    exampleTestcases\n    __typename\n  }\n}\n"
+        }
+        headers = {
+            'x-csrftoken': csrftoken.group(1),
+            'referer':problemUrl,
+            'content-type':'application/json',
+            'origin':'https://leetcode.cn',
+            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
+        }
+        cookies = {
+            '__cfduid':'d9ce37537c705e759f6bea15fffc9c58b1525271602',
+            '_ga':'GA1.2.5783653.1525271604',
+            '_gid':'GA1.2.344320119.1533189808',
+            'csrftoken':csrftoken.group(1),
+            ' _gat':'1'
+        }
+        #payload表单为json格式
+
+        dumpJsonData = json.dumps(data)
+        response = requests.post(url,data = dumpJsonData, headers = headers,cookies = cookies)
+        dictInfo = json.loads(response.text)
+        # print(response.text)
+        if dictInfo["data"]["question"].get("content") is not None:
+            saveJSON(dictInfo, "originData/" + title + ".json")
+            # 英文版
+            content = dictInfo["data"]["question"]["content"]
+            title = dictInfo["data"]["question"]["title"]
+
+            # 中文版
+            translatedContent = dictInfo["data"]["question"]["translatedContent"]
+            translatedTitle = dictInfo["data"]["question"]["translatedTitle"]
+            titleSlug = dictInfo["data"]["question"]["titleSlug"]
+            editorType = dictInfo["data"]["question"]["editorType"] # 分为 MARKDOWN 和 CKEDITOR 两种编辑器
+
+            # 中文版
+            save_problem("problem (Chinese)/" + translatedTitle + " [{}]".format(titleSlug), translatedContent, editorType)
+            # 英文版
+            if content != "" and content != "<p>English description is not available for the problem. Please switch to Chinese.</p>":
+                save_problem("problem (English)/" + translatedTitle + "(English) [{}]".format(titleSlug), content)
+            else:
+                pass # 有一些题目没有英文，那么就不保存
+        else:
+            saveJSON(dictInfo, "originData/[no content]" + title + ".json")
+            # print("no content")
+    except Exception as e:
+        print("[error] ", e, problemUrl)
+
+def saveJSON(data, filename):
+    with open(filename, 'w', encoding='utf-8') as f:
+        json.dump(data, f, ensure_ascii=False, indent=4)
+
+def main():
+    url = "https://leetcode.cn/api/problems/all/"
+    jsonContent = get_proble_set(url)
+    if jsonContent == None:
+        print('列表请求失败！')
+        return
+    html = json.loads(jsonContent)
+    saveJSON(html, "origin-data.json")
+
+    # html = json.load(open("origin-data.json", 'r', encoding='utf-8'))
+
+    problemset = html["stat_status_pairs"]
+    parse_proble_set(problemset)
+
+
+if __name__=='__main__':
+    folderName = "leetcode-cn"
+    if not os.path.exists(folderName):
+        os.mkdir(folderName)
+    if not os.path.exists(folderName + "/originData"):
+        os.mkdir(folderName + "/originData")
+    if not os.path.exists(folderName + "/problem (Chinese)"):
+        os.mkdir(folderName + "/problem (Chinese)")
+    if not os.path.exists(folderName + "/problem (English)"):
+        os.mkdir(folderName + "/problem (English)")
+    os.chdir(folderName)
+    main()