JamesFlare1212
c447dc51ee
fix(cache): prevent data loss on 5xx and validate cookies
...
Critical fixes:
1. getActivityDetailsRaw never throws on 5xx - returns null immediately
2. Cache-manager preserves existing data when fetch returns null
3. After 5xx error, validate cookie on next request (backend may invalidate sessions)
4. Cookie validation: fetch activity ID 1 to test, re-login if fails
This prevents local cache corruption during server outages.
2026-04-10 23:41:18 -04:00
JamesFlare1212
fb68c1ad5d
refactor(scan): remove multi-thread scan logic, use sequential processing
2026-04-08 12:04:27 -04:00
JamesFlare1212
0a133159e8
重构 scan: 实现多线程并发爬虫功能
...
- 新增 Semaphore 信号量类控制并发数
- 新增 BatchProcessor 批量处理器带进度回调
- 重构 initializeClubCache 和 updateStaleClubs 为并发模式
- 修复 Cookie 4xx 判断逻辑（仅 401/403 触发重新登录）
- 添加环境变量配置：CONCURRENT_API_CALLS 等
- 新增并发功能测试脚本 test-concurrency.ts
性能提升：从串行处理提升至可配置的并发处理（默认 8 线程）
修复问题：404 错误不再误判为认证失败
2026-04-07 18:18:18 -04:00
JamesFlare1212
a8f468a497
feat: 使用 Playwright 实现自动化 cookie 获取和验证
...
主要变更:
- 新增 Playwright 登录认证服务 (services/playwright-auth.ts)
- 重构 get-activity.ts 使用 Playwright 替代 Axios 登录
- 实现自动 cookie 过期检测和重试机制
- 优化 Docker 配置支持 Playwright 浏览器运行
- 添加启动脚本自动验证和刷新 cookies
- 完善错误处理：区分 4xx(认证失败) 和 5xx(服务器错误)
技术细节:
- 删除旧版 login_template.txt 和 nkcs-engage.cookie.txt
- 添加 startup.sh 启动时自动验证 cookies
- 改进 cookie 验证逻辑，添加指数退避重试
- Dockerfile 安装 Playwright 系统依赖
- docker-compose.yaml 添加 volumes 和 health checks
测试:
- 添加 auth.spec.ts 自动化测试
- 添加 get-cookies.ts 和 test-cookies-validity.ts 工具脚本
- 验证 401/500/000 等错误场景处理正确
2026-04-06 16:05:38 -04:00
