zydi-lab/README.md

# Lab 实验数据采集系统

## 项目概述
这是一个用于实验数据采集和监控的分布式系统，包含采集端、服务器端和Web监控界面。

## 更新日志

### 2025-01-17更新
0. 本次主要更新paper页面；
1. 接入了memarid.js, 后端分析报告添加了对流程图的输出，前端渲染流程图；
2. 更新了文献报告显示的样式。
### 2025-01-16更新
1. 调整了项目页面和实验页面，项目页面增加了"reports"页面，可以查看项目分析报告，实验页面移除了左侧导航栏的下载数据和报告按钮；原有功能添加到实验详情页面
2. 将生成项目报告和实验报告的逻辑改为异步，不会阻碍其他路由
3. 给项目报告和实验报告添加了 AI Chat 功能
4. 将literature页面更名为paper
### 2025-01-15更新
0. 本次主要更新literature页面
1. 将左侧导航栏"Summary"改为查看总结报告页面，同时在Summary页面增加了"download"按钮和"regenerate"按钮，可以下载对所有文献的总结报告，也可以重新生成总结报告；
2. 左侧导航栏原"upload"按钮改为"literature list"，显示文献列表；
3. 移除左侧导航栏"upload"按钮，改为在文献列表页面中增加"upload"按钮，上传文献；
4. 更新了页面设计；
5. 将生成总结报告的逻辑改为异步，不会阻碍其他路由；
6. 优化了文献分析页面的AI chat功能，对markdown格式的回答进行渲染，更容易阅读；
7. 在分析文献的逻辑中添加了长文档分析，长文档会分段分析再合并，最后生成报告。
### 2025-01-14更新
1. 更新了设备管理逻辑，保证一个设备可以在多个用户之间切换，但一个设备只能被一名用户使用，以及删除设备逻辑，删除设备改为更新设备状态。
2. 优化了整个web的设计，包括设备注册页面，以及更新了左侧导航栏内容和各按钮样式
### 2025-01-13更新
1. 将各页面独立出来，便于维护，同时优化了Web设计，导航栏增加了literature入口。
2. 在文献分析部分，修改了前后端代码，支持文献批量上传，将文献上传和文献分析完全解耦，上传文件后会立即得到响应，分析过程在后台进行，前端通过 Redis 中的状态来实时更新界面显示，并且添加了项目列表，可直接从导航栏进入查看各项目的文献分析，也可以从项目进入文献分析页面。
3. 文献分析部分，增加了AI chat功能，接入API，可以对已经生成分析报告的文献进行提问，并保存历史记录，可查看历史回答。
### 2025-01-12更新
Initial commit

## 系统架构

### 1. 采集端 (boot.py)
    - 基于MicroPython实现的高速数据采集器
    - 支持多通道数据采集
    - 使用UDP协议传输数据
    - 支持设备序列号注册机制

### 2. 服务器端 (data.py)
    - 基于Python asyncio的异步UDP服务器
    - 支持数据解析和转发
    - 与MongoDB集成存储实验数据
    - 实现WebSocket实时数据推送
    - 设备在线状态管理

### 3. 设备管理 (device.py)
    - 设备注册和管理API
    - 序列号生成和验证
    - 设备状态监控
    - Redis集成用于在线状态追踪

### 4. Web界面
    - lab.html: 主界面
    - device.html: 设备管理界面
    - device-monitor.html: 单个设备数据监控界面
    
## 主要功能
    1. 高速数据采集
    2. 实时数据传输和显示
    3. 设备管理和监控
    4. 实验数据存储
    5. 在线状态追踪

## 使用说明
### 文件夹
    1. history 保存了历史版本代码，可以忽略
    2. lab 项目历史版本，可以忽略

### 文件结构
    lab/
    ├── #后端
    ├── boot.py # 采集端程序
    ├── data.py # 数据处理服务器
    ├── device.py # 设备管理API
    ├── main.py # 主程序
    ├── #前端
    ├── device.html              # 设备管理
    ├── device-monitor.html      # 单个设备数据监控界面
    ├── device-register.html     # 设备注册
    ├── paper.html          # 文献分析
    ├── reports.html             # 报告管理
    ├── lab.html                 # 前端主界面
    └── login.html               # 登录界面
    |
    └── README.md # 项目说明
    
#### 主程序 main.py  https://dev.obscura.work/lab
    1. 服务器：222.186.10.253
    2. PORT = 6000
    3. 数据库：
        mongodb: 222.186.10.253:27017/lab
        Redis：222.186.10.253:6379; db199、201-208

#### 设备管理 device.py  https://dev.obscura.work/devices
    1. 服务器：222.186.10.253
    2. PORT = 6001
    3. 数据库：
        mongodb: 222.186.10.253:27017/lab
        Redis：222.186.10.253:6379; db200
        
#### 采集端配置 boot.py
    SSID = "Obscura"
    UDP_HOST = "222.186.10.253"
    UDP_PORT = 6002

#### 数据处理 data.py
    1. 服务器：222.186.10.253
    2. PORT = 6002
    3. 数据库：
        mongodb: 222.186.10.253:27017/lab
        Redis：222.186.10.253:6379; db200; data type:stream

#### 前端页面 https://beta.obscura.work/lab/
    1. lab.html: 主界面
    2. device-register.html: 设备注册
    3. device-monitor.html: 单个设备数据监控
    4. device.html: 设备管理
    5. paper.html: 文献分析
    6. reports.html: 报告管理
    7. login.html: 登录界面

#### Redis 数据库使用情况

    1. DB 199: 实验状态数据
    - 键格式: `experiment_status:{experiment_id}:{serial_number}`
    - 值类型: String
    - 存储内容: 实验设备的活动状态 ("active" 或 "inactive")

    2. DB 200: 实验原始数据
    - 键格式: `experiment:{experiment_id}:{serial_number}`
    - 值类型: Redis Stream
    - 存储内容: 设备采集的原始数据点

    3. DB 201: 实验分析报告
    - 键格式: `experiment_report:{experiment_id}`
    - 值类型: String (JSON)
    - 存储内容: 单个实验的分析报告
    - 使用位置: 实验数据分析相关路由

    4. DB 202: 项目分析报告
    - 键格式: `project_report:{project_id}`
    - 值类型: String (JSON)
    - 存储内容: 整个项目的汇总分析报告

    5. DB 203: 文献分析报告
    - 键格式: `reference_report:{reference_id}`
    - 值类型: String (JSON)
    - 存储内容: 单个文献的分析报告

    6. DB 204: 文献汇总报告
    - 键格式: `reference_summary_report:{project_id}`
    - 值类型: String (JSON)
    - 存储内容: 项目所有文献的汇总分析报告

    7. DB 205: 项目备忘录
    - 键格式: `memo:{project_id}`
    - 值类型: String (JSON)
    - 存储内容: 项目的备忘录内容和创建时间

    8. DB 206: 实验备忘录
    - 键格式: `memo:{experiment_id}`
    - 值类型: String (JSON)
    - 存储内容: 实验的备忘录内容和创建时间

    9. DB 207: 文献AI对话记录
    - 键格式: `reference_chat:{reference_id}`
    - 值类型: String (JSON)
    - 存储内容: 单个文献的AI对话记录

    10. DB 208: 存储文献AI对话的任务状态
    - 键格式: `task:{task_id}`
    - 值类型: String (JSON)
    - 存储内容: 单个文献的AI对话的任务状态跟踪