牛马论坛查看原帖 →

分析大量日志用什么方法 ChatGPT 好像有限制 500m?

可乐🥤 9 阅读 8 回复
用日志框架,把文件导入进去大的文件也不可能一次全读完,都是搜索关键字然后查找我一直用的 seq https://datalust.co/
导入后让 GPT 通过 MCP 查询数据就行https://datalust.co/docs/ai-coding-agents
[img]https://i.ibb.co/sp9xfwKm/Screen-Shot-2026-11-03-113749-526-2x.png[/img]


⚠️内容来自互联网,如有侵权请点击反馈!侵权投诉
500M的日志就别想着整包喂给模型了,先用 grep、awk 过滤出异常时间段或关键词行,或者导入 DuckDB 直接跑 SQL,比硬塞给 ChatGPT 靠谱多了。你这日志是结构化还是纯文本?
[这只是一个小尾巴]
正常人分析日志 不也是 sed grep 的么 用 ai 也可以这么分析的吧
直接本地用 codex 分析不就好了,codex 自己会 rg
不要扔到对话里,让 AI 用 sed/grep 读本地文件
导入到 duckdb ,发送样本数据,让它生成 sql
文件太大了你就别上传啊,让它分析本地文件就行。

阅读全文与全部回复 →