Files
xlgo-core/utils/file.go
T
杭州明婳科技 6595e94677 fix: 多模型评审终审收口 — P0安全 + 主线A并发治理 + 文档对齐
经 deepseek/GLM/Claude 三轮对抗性评审 + 交叉核验 + 终审(见
last_report.md、cross_review_assessment.md),逐条回读源码核实并修复。
go build / vet / test -race ./... 全绿。

安全(P0):
- JWT alg confusion:WithValidMethods 固定 HMAC + keyfunc 方法断言
- JWT 空密钥 / 不支持算法 fail-closed(ErrEmptySecret / ErrUnsupportedAlgorithm)
- 上传大小实测封顶(enforceUploadSize),不信任客户端 file.Size
- HTTP headers/cookies map 竞态(写锁+快照)+ SSRF 防护(opt-in dialer.Control)

并发/资源(主线A 闭合):
- 包级可变全局一律 atomic.Pointer:DefaultRedis / DefaultStorage /
  DefaultManager / Validator / DefaultCache 等,消除裸指针数据竞争
- trace.Close 去 sync.Once(防 exporter 泄漏);app OnReady 失败走 Shutdown
- ws.Hub.Stop stopOnce 防 double-close;cron 接入 App 生命周期(WithCron)
- ratelimit failClosed atomic.Bool;Recover Written() 守卫
- cron checkAndRun 锁内收集锁外 spawn(wg.Add 在锁内防 Stop 竞态)

终审剩余项收口(H-A~M-H + L 系列):
- 副本连接池 MaxOpenConns/2 截断修复(replicaMaxOpenConns)
- JWT 黑名单 1s 超时 + 显式错误;ratelimit GetRedis 取一次复用
- GetPage 深分页上限;HashFile 流式;ReadFile 去 TOCTOU
- config Clone() 深拷贝;cache 锁操作返 ErrRedisNotReady
- compress 解压残留清理;正则预编译;EqualsIgnoreCase→EqualFold
- 删 redisLimiters 死代码;CLI 输入校验 + 回滚

文档:
- README/GUIDE/CHANGELOG 对齐当前 API(含破坏性变更迁移说明)
- docs/README 索引修正;config 注释修正(RS256 已不支持)

破坏性变更详见 CHANGELOG.md [Unreleased]。项目处于研发初期、无下游用户。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-07-03 23:16:03 +08:00

113 lines
2.8 KiB
Go

package utils
import (
"io"
"os"
"path/filepath"
)
// 本文件提供通用本地文件操作工具(读/写/复制/追加/存在性/删除)。
//
// ⚠️ 安全说明(M3):这些函数直接操作调用方传入的路径,不做路径穿越校验。
// 若路径可能来自不可信输入(用户上传文件名、URL 参数等),调用方必须自行净化
// (如 filepath.Clean + 前缀锚定),否则存在任意文件读/写/删风险。
// 框架自身的不可信文件处理(storage 上传/下载)已在 storage 包内做穿越防护(C4)。
// FileExists 检查文件是否存在
func FileExists(path string) bool {
_, err := os.Stat(path)
return err == nil
}
// DirExists 检查目录是否存在
func DirExists(path string) bool {
info, err := os.Stat(path)
if err != nil {
return false
}
return info.IsDir()
}
// EnsureDir 确保目录存在,不存在则创建
func EnsureDir(path string) error {
return os.MkdirAll(path, 0755)
}
// ReadFile 读取文件内容。
//
// M-F 修复:去掉前置 FileExists 检查(TOCTOU 竞态——检查与读取之间文件可能被删除/替换),
// 直接 os.ReadFile 并返回其错误。文件不存在时返回 *os.PathError,调用方可经
// errors.Is(err, os.ErrNotExist) 精确判断。
//
// 注意:本函数无大小上限(os.ReadFile 语义),读取不可信/超大文件有 OOM 风险——
// 需限长读取请用 io.ReadAll(io.LimitReader(...));流式哈希大文件请用 HashFile(已流式)。
func ReadFile(path string) ([]byte, error) {
return os.ReadFile(path)
}
// WriteFile 写入文件内容(覆盖)
func WriteFile(path string, data []byte) error {
dir := filepath.Dir(path)
if err := EnsureDir(dir); err != nil {
return err
}
return os.WriteFile(path, data, 0644)
}
// AppendFile 追加内容到文件
func AppendFile(path string, data []byte) error {
dir := filepath.Dir(path)
if err := EnsureDir(dir); err != nil {
return err
}
f, err := os.OpenFile(path, os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0644)
if err != nil {
return err
}
defer f.Close()
_, err = f.Write(data)
return err
}
// CopyFile 复制文件
func CopyFile(dst, src string) error {
srcFile, err := os.Open(src)
if err != nil {
return err
}
defer srcFile.Close()
// 确保目标目录存在
dir := filepath.Dir(dst)
if err := EnsureDir(dir); err != nil {
return err
}
dstFile, err := os.Create(dst)
if err != nil {
return err
}
defer dstFile.Close()
_, err = io.Copy(dstFile, srcFile)
return err
}
// FileSize 获取文件大小
func FileSize(path string) (int64, error) {
info, err := os.Stat(path)
if err != nil {
return 0, err
}
return info.Size(), nil
}
// RemoveFile 删除文件(忽略不存在的错误)
func RemoveFile(path string) error {
err := os.Remove(path)
if os.IsNotExist(err) {
return nil
}
return err
}