• 网站很多资源会更新的，建议注册用户，注册后邮箱可以接收更新通知！
  • 欢迎使用乐趣导航 ，小清新无广告的网址导航，你值得拥有！

程序 INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱

资源 '冰汽时代2'

游戏百科 《冰汽时代2》（Frostpunk 2）是享誉盛名，且荣获BAFTA提名的社会生存游戏的最新续作，融合了城市建造，策略以及管理元素的前作开创了一种全新的游戏类型。续作设定在了毁灭性暴风雪平息后的30年，永无止尽的冰天雪地依旧覆盖着这片大地。 故事背景 玩家将扮演迫切寻求资源的大都会领袖，并且将需要竭尽全力扩张并寻找新的能源。经历了煤炭时代过后，在霜冻之地发展石油开采工业将成为残存人类的全新救赎。但是，改变往往并不会一帆风顺，在全新的复杂社会中，也并不是每一个人都会热情欢迎这种全新的展望。 诸多派系的不同要求与期望将必不可免地带来矛盾乃至冲突，但是哪怕如此，难道就一定要诉诸不择手段的高压统治吗？在阴魂不散的刺骨寒风与尔虞我诈的外部威胁面前，你需要拼尽全力，团结鼓舞你的人民，时刻准备好做出无法逃避的艰难牺牲！
View resource »

资源 '开源微博内容备份工具'

即使微博账号被封掉，也可以顺利的把全部内容导出。也可以时常给自己的微博备份一下，谁知道哪天触发某些内容就被ban掉了呢？这是一款开源的微博备份工具，应该很安全，所有代码均可以查看。 可以备份你全部发布的内容，备份输入格式有PDF、HTML以及电子书这三种格式选择。详细的各种说明我就不copy过来了，大家可以直接访问技术支持里面查看内容。
View resource »
资源 '最新限免游戏发布'

资源 '最新限免游戏发布'

将会发布EPIC最新限免游戏资源，感兴趣的小朋友可以关注一下。 每天起床第一句，看看哪有喜加一。 每次嫖完新游戏，心里都是笑嘻嘻！ 游戏游戏看看我，我的仓库在等你。 游戏～我要游戏，我要天天喜加一！
View resource »
乐趣论坛

乐趣论坛

金牌会员
注册
2019-04-25
消息
647
反馈评分
49
旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

官网

一个神奇的工具箱，拿回你的个人信息。

使用说明文档 | 视频演示 | English​

开发者回忆录🌈​

点击展开👉 开发者回忆录🌈

What is INFO-SPIDER​

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解自己的信息。 目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

详细使用说明参照使用说明文档或视频教程

你可以在 Gitter 与我们一起交流学习

Features​

  • 安全可靠：本项目为开源项目，代码简洁，所有源码可见，本地运行，安全可靠。
  • 使用简单：提供 GUI 界面，只需点击所需获取的数据源并根据提示操作即可。
  • 结构清晰：本项目的所有数据源相互独立，可移植性高，所有爬虫脚本在项目的 Spiders 文件下。
  • 数据源丰富：本项目目前支持多达24+个数据源，持续更新。
  • 数据格式统一：爬取的所有数据都将存储为json格式。
  • 个人数据丰富：本项目将尽可能多地为你爬取个人数据，后期数据处理可根据需要删减。
  • 数据分析：本项目提供个人数据的可视化分析，目前仅部分支持。
  • 文档丰富：本项目包含完整全面的使用说明文档和视频教程

Screenshot​

screenshot.png

QuickStart​

依赖安装​

  1. 安装python3和Chrome浏览器
  2. 安装与Chrome浏览器相同版本的驱动
  3. 安装依赖库 pip install -r requirements.txt

工具运行​

  1. 进入 tools 目录
  2. 运行 python3 main.py
  3. 在打开的窗口点击数据源按钮, 根据提示选择数据保存路径
  4. 弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭.
  5. 在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)

数据源​

  • GitHub
  • QQ邮箱
  • 网易邮箱
  • 阿里邮箱
  • 新浪邮箱
  • Hotmail邮箱
  • Outlook邮箱
  • 京东
  • 淘宝
  • 支付宝
  • 中国移动
  • 中国联通
  • 中国电信
  • 知乎
  • 哔哩哔哩
  • 网易云音乐
  • QQ好友
  • QQ群
  • 生成朋友圈相册
  • 浏览器浏览历史
  • 12306
  • 博客园
  • CSDN博客
  • 开源中国博客
  • 简书

数据分析​

  • 博客园
  • CSDN博客
  • 开源中国博客
  • 简书

计划​

  • 提供web界面操作，适应多平台
  • 对爬取的个人数据进行统计分析
  • 融合机器学习技术、自然语言处理技术等对数据深入分析
  • 把分析结果绘制图表直观展示
  • 添加更多数据源...

Visitors​



Developers want to say​

  1. 该项目解决了个人数据分散在各种各样的公司之间，经常形成数据孤岛，多维数据无法融合的痛点。
  2. 作者认为该项目的最大潜力在于能把多维数据进行融合并对个人数据进行分析，是个人数据效益最大化。
  3. 该项目使用爬虫手段获取数据，所以程序存在时效问题（需要持续维护，根据网站的更新做出修改）。
  4. 该项目的结构清晰，所有数据源相互独立，可移植性高，所有爬虫脚本在项目的Spiders文件下，可移植到你的程序中。
  5. 目前该项目v1.0版本仅在Windows平台上测试，Python 3.7，未适配多平台。
  6. 计划在v2.0版本对项目进行重构，提供web端操作与数据可视化，以适配多平台。
  7. 本项目INFO-SPIDER代码已开源，欢迎star支持。

Contributors​


Sponsors​



Thank you to JetBrains, who provide Open Source License for PyCharm!

Changelog​

点击展开 Changelog

  • 2020年7月10日
    1. 更新GUI布局
    2. 添加GitHub、QQ好友、QQ群数据源
  • 2020年7月12日
    1. 修复QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail、Outlook数据源
    2. 添加生成朋友圈相册功能
  • 2020年7月14日
    1. 修复京东、淘宝、支付宝、12306数据源
    2. 添加Chrome浏览记录功能
  • 2020年7月17日
    1. 修复中国移动、中国联通数据源
    2. 添加知乎、哔哩哔哩、网易云音乐数据源
  • 2020年7月19日
    1. 添加博客园、CSDN、开源中国、简书数据源
    2. 编写使用说明文档
    3. 录制使用视频教程
  • 2020年7月30日
    1. 添加博客园数据分析功能
    2. 使用pyechart绘制图表并生成html文件保存在数据目录下
  • 2020年8月18日
    1. 修复部分bug
    2. 更新README.md

License​

GPL-3.0
 
您必须登录或注册才可回复。
后退
顶部