飙血推荐
  • MySQL教程
  • HTML教程
  • JavaScript基础教程
  • JavaScript正则表达式运用
  • php入门教程
  • Excel函数教程
  • AngularJS教程
  • ThinkPHP5.0教程
  • UEditor使用文档

自动下载MarkDown格式会议论文的程序

时间:2021-12-04  作者:weimingai  

近期师兄发给我一个压缩包让我整理文献,而我发现压缩包里的内容是这样:

 这样:

 和这样的:

 我大概看了一下,可能有270多篇文章是这种格式,俗话说的好,没有困难的工作,只有勇敢的研究僧。所以决定用Python自己写一个脚本。

尽管这个程序还有许多不足之处:1)对于文件很大的时候会只下载一个18kb左右的无法打开文件;2)程序中间出现网络或者文件异常,没有对异常进行处理;3)因为md文件里面的pdf文章地址,有的打开是网站、有的打开可以直接下载,有的打开是pdf文件......,所以还需要人工去分一下哪一类域名下的网址可以直接下载或是pdf文件,一共可能也就20种以内,打印一下选几个关键词判断一下就行。

这个程序的主要思想:1)利用Python对文件夹和文件进行遍历;2)读取md文件内容并且根据# 标识识别文章标题,利用“pdf”和正则表达式识别出pdf下载的地址;3)使用urllib库的urlretrieve对指定网址的资源文件进行下载到指定文件夹。

结果:实现173篇文章的自动下载,并将无法下载的文章名和网址保存在相关的文件内。最后希望能够对你产生帮助,如果有帮助可以点个赞。

代码如下:

import os
import re
from urllib.request import urlretrieve
import ssl

from urllib import request
opener = request.build_opener()
opener.addheaders = ([(\'User-Agent\',\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36\')])
request.install_opener(opener)

# 关闭证书验证,方便下载
ssl._create_default_https_context = ssl._create_unverified_context
# md根路径
ori_path=r\'D:\User\Weiming\Desktop\conference_publication\'
pattern = re.compile(r\'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+\')  # 网页地址匹配模式
listdir=os.listdir(ori_path)
# print(listdir)
# 文章名和网页地址
paper_title=\'\'
pdf_path=\'\'
# 文献保存路径
save_dir=r\'D:\User\Weiming\Desktop\conference paper\'
# 可访问的地址
access_strings=[\'aaai.org\',\'dl.acm.org\',\'playbiqdata\',\'pasinit\',\'platanios\',\'muhaochen.github.io\',
                            \'arxiv.org\',\'openreview.net\',\'proceedings.mlr.press\',\'semantic-web-journal.net\',\'aidanhogan.com\']

# 保存下载失败的地址
fail_file=os.path.join(save_dir,\'fail_down.txt\')
for son_path in listdir: # 遍历每个会议文件夹
    new_dir=os.path.join(ori_path,son_path) # 生成会议文件夹路径
    # print(\'会议文件夹路径:\',new_dir)
    son_listdir=os.listdir(os.path.join(ori_path,son_path)) # 会议文件夹下文章文件夹数组
    # print(\'会议文章:\',son_listdir)

    for new_son_path in son_listdir: # 遍历 每个会议文件夹下,每个文章文件夹
        if new_son_path != \'README.md\': # 不访问会议文件夹下的README.md文件
            file_dir = os.path.join(new_dir, new_son_path) # 生成文章文件夹路径
            print(\'文章文件夹路径:\',file_dir)
            file_name=os.listdir(file_dir) # 获取README文件名称,发现有一些文件命名不是很统一
            # print(file_name)
            # print(len(file_name))
            # 如果不是一个文件,理论上是一个md文件
            if len(file_name)>1:
                print(\'该文件夹下不止一个文件?\',file_dir)
            # 如果文件夹下没有md文件
            if len(file_name)==0:
                print(\'该文件夹下没有文件:\',file_dir)
                continue
            md_file = os.path.join(file_dir, file_name[0])
            # print(\'文章README文件路径:\',md_file)
            f=open(md_file,encoding=\'utf-8\')
            for line in f:
                # print(line)
                if \'# \' in line:
                    paper_title=line[2:]
                    print(\'Paper Title: \',paper_title) # 打印一下文章名
                if \'**pdf**\' in line:
                    url = re.findall(pattern, line)
                    pdf_path=url[0][:-1]
                    print(\'PDF DownPath: \',pdf_path) # 匹配到的第一个字符串,去除最后面的 )
            exist=0
            for sub_string in access_strings:
                if sub_string in pdf_path:
                    exist=1
            if exist==1:
                paper_title=paper_title.rstrip()
                paper_title=paper_title.replace(\'\n\',\'\')
                paper_title=paper_title.replace(\':\',\'_\').replace(\'?\',\'_\').replace(\'!\',\'_\').replace(\'/\',\'_\')
                save_file_path=save_dir+\'\\\'+str(son_path)+\'_\'+paper_title+\'.pdf\'
                # 判断文件是否存在:
                if os.path.exists(save_file_path) == True:
                    print(\'已存在\')
                    continue
                request.urlretrieve(pdf_path,save_file_path) # 请求下载
            else:
                print(\'下载失败...\')
                print(paper_title,\'  \',pdf_path)
                failop = open(fail_file, \'a\', encoding=\'utf-8\')
                failop.write(paper_title.replace(\'\n\',\'\'))
                failop.write(\'\n\')
                failop.write(pdf_path)
                failop.write(\'\n\')
                failop.write(\'\n\')
                failop.close()
            f.close()

标签:编程
湘ICP备14001474号-3  投诉建议:234161800@qq.com   部分内容来源于网络,如有侵权,请联系删除。