ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。

特性:

  • Scrapyd 集群管理

    • 支持所有 Scrapyd JSON API
    • 支持通过分组和过滤来选择若干个节点
    • 一次操作, 批量执行
  • Scrapy 日志分析

    • 数据统计
    • 进度可视化
    • 日志分类
  • 增强功能

    • 自动打包项目
    • 集成 LogParser
    • 定时器任务
    • 监控和警报
    • 移动端 UI
    • web UI 支持基本身份认证

框架依赖:

  • 前端
    • Element
    • ECharts
  • 后端
    • Flask