google scholar爬虫(scrapy爬虫项目实战)

   谷歌SEO    

旧时王谢堂前燕,飞入寻常百姓家

--------------大数据的平民化和日常化

从前,没有互联网和大数据的时候,我们想要了解一些国家的统计数据,学术数据,商业数据,还是比较困难的,得到专门的部门或者处所,才能查阅。现在随着互联网大数据的兴起,很多国家部门,学术机构,商业机构,把数据直接在网上开放,民众获得数据和信息的门槛渐渐没有了,这是利国利民,提高全社会认知水平的大好事。我们就来点一点各行各业比较有影响力的数据平台。

数据库篇

- 国家统计局 -

http://www.stats.gov.cn/

主要包括国家经济宏观数据,社会发展、民生相关重要数据及信息,非常全面,且定期发布统计出版刊物,实用性强。

- 国家数据 -

http://data.stats.gov.cn/index.htm

详实的月度、季度、年度数据以及普查、地区、部门、国际数据

提供多种文件输出、制表、绘图、指标解释、表格转置、可视化图表、数据地理信息系统等多种功能

- wind(万得)-

http://www.wind.com.cn/

万得主要内容包括股票、债券、期货、外汇、基金、指数、权证、宏观行业等多项品种,7×24×365不间断的为金融机构、政府组织、企业、媒体提供准确、及时、完整的金融数据资讯

- 搜数网 -

http://www.soshoo.com/

搜数网、大型经济文献数据库的建设和维护、大批量数据收集处理、信息服务软件开发、海内外海量信息监测、个性化信息门户建设等。

- 中国统计信息网 -

http://www.tjcn.org/

中国统计信息网通过先进的网络技术汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分 析、经济新闻、主要统计指标排行等为辅助的多元化统计信息资料库,目前在线资料已达上万份。并通过专业的索引页面,帮助使用者在最短的时间内找到自己需要 的资料,大大减少了数据需求者在查询数据时所消耗的时间。

科研网站篇

- 中国知网 -

http://www.cnki.net/

中国知网,是国家知识基础设施(National Knowledge Infrastructure,NKI)的概念,由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目,由清华大学、清华同方发起,始建于1999年6月。在党和国家领导以及教育部、中宣部、科技部、新闻出版总署、国家版权局、国家发改委的大力支持下,在全国学术界、教育界、出版界、图书情报界等社会各界的密切配合和清华大学的直接领导下,CNKI工程集团经过多年努力,采用自主开发并具有国际领先水平的数字图书馆技术,建成了世界上全文信息量规模最大的"CNKI数字图书馆",并正式启动建设《中国知识资源总库》及CNKI网格资源共享平台,通过产业化运作,为全社会知识资源高效共享提供最丰富的知识信息资源和最有效的知识传播与数字化学习平台。

- 万方数据库 -

http://www.cnki.net/

万方数据库是由万方数据公司开发的,涵盖期刊、会议纪要、论文、学术成果、学术会议论文的大型网络数据库;也是和中国知网齐名的中国专业的学术数据库。其开发公司——万方数据股份有限公司是国内第一家以信息服务为核心的股份制高新技术企业,是在互联网领域,集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务商。

-人大复印-

http://ipub.exuezhe.com/index.html

人大数媒科技(北京)有限公司以人民大学书报资料中心的复印报刊资料系列数据库为内容基础,辅以先进的检索方式、优质的期刊、论文推荐而成的人文科学、社会科学资料库。

- 中经数据库 -

http://db.cei.gov.cn/page/others.aspx

中经网数据中心基于海量的经济统计数据,形成了《中经网统计数据库》、《世界经济数据库》和《一带一路统计数据库》等多个统计数据库产品。除此之外,我们 针对广大用户的需求进行了深入研究,发挥自己独特的专业视角和技术优势,研制开发了《宏观经济监测预测平台》、《标准值和绩效评价》、《行业景气指数》、 《宏观预测报告》和《宏观图谱》等多个数据分析产品。

- 国泰安数据库 -

http://www.gtarsc.com/Home

研发理念充分借鉴了芝加哥大学CRSP、标准普尔Compustat、纽约交易所TAQ、Thomson、GSIOnline等国际知名数据库的成功经验,并结合中国国情精心设计而成。该数据库是国内目前规模最大、信息最精准的金融、经济数据库,由股票、基金、债券、金融衍生产品、上市公司、经济、行业、高频数据8大系列及个性化数据服务构成。

- 维普 -

http://www.cqvip.com/?from=baidupingzhuan

维普公司收录有中文报纸400种、中文期刊12000多种、外文期刊6000余种;已标引加工的数据总量达1500万篇、3000万页次、拥有固定客户 5000余家,在国内同行中处领先地位。维普数据库已成为我国图书情报、教育机构、科研院所等系统必不可少的基本工具和获取资料的重要来源。

- 中文期刊服务平台 -

http://qikan.cqvip.com/

学术搜索篇

-sci-hub-

http://www.sci-hub.cc/

世界上第一个提供大众和公众获取数以百万计研究论文的网站。

研究论文是由科学家撰写的专门出版物,供其他研究人员阅读。论文的主要来源,例如研究–需要,它们包含新的结果和实验的详细描述

-微软学术搜索-

http://academic.research.microsoft.com/

它为研究员、学生、图书馆馆员和其他用户查找学术论文、国际会议、权威期刊、作者和研究领域等提供了一个更加智能、新颖的搜索平台,同时也是一个对象级别垂直搜索、命名实体的提取和消歧、数据可视化等许多研究思路的试验平台。

-德国Base学术搜索-

http://www.base-search.net/

BASE是世界级海量内容的搜索引擎之一,专注于学术开放获取网络资源。

-百度学术-

http://xueshu.baidu.com/

百度学术搜索是百度旗下的提供海量中英文文献检索的学术资源搜索平台,2014年6月初上线。涵盖了各类学术期刊、会议论文,旨在为国内外学者提供最好的科研体验。百度学术搜索可检索到收费和免费的学术论文,并通过时间筛选、标题、关键字、摘要、作者、出版物、文献类型、被引用次数等细化指标提高检索的精准性。

-读秀中文学术搜索-

http://www.duxiu.com/login.jsp

"读秀"是由海量全文数据及资料基本信息组成的超大型数据库,为用户提供深入到图书章节和内容的全文检索,部分文献的原文试读,以及高效查找、获取各种类 型学术文献资料的一站式检索,周到的参考咨询服务,是一个真正意义上的学术搜索引擎及文献资料服务平台。其中,可以申请图书馆文献传递的数据量达到310 万册。

-CNKI学术搜索-

http://scholar.cnki.net/

资源方面,已经收录了90%以上的学术资源,涉及到学术期刊、学位论文、会议论文、报纸、专利、标准、年鉴、工具书、图书等10多种类型;在外文资源方面,我们已经与数十家国际出版社合作,合作资源超过数亿条。

网络指数篇

- 百度指数 -

http://index.baidu.com/

百度指数是以百度海量网民行为数据为基础的数据分享平台。在这里,你可以研究关键词搜索趋势、洞察网民需求变化、监测媒体舆情趋势、定位数字消费者特征;还可以从行业的角度,分析市场特点。

- 微指数 -

http://data.weibo.com/index

微指数是通过关键词的热议度,以及行业/类别的平均影响力,来反映微博舆情或账号的发展走势。

更多指数,例如阿里指数(https://alizs.taobao.com/)、 友盟指数(http://www.umeng.com/)、爱奇艺指数(http://index.iqiyi.com/)、360好搜指数、谷歌趋势等。

 标签:

评论留言

我要留言

欢迎参与讨论,请在这里发表您的看法、交流您的观点。