Portway
在编程智能体不断变长的对话发往 API 的途中进行压缩。
只发送变化的部分
编程智能体每一轮都会把整段对话重新上传,包括之前的工具结果。Portway 把上一次请求用作压缩字典,由接收端的 Portway 还原出完整请求,再转发给模型。压缩需要两端都参与。直接连接服务商时,仍然可以使用路由和请求日志。
四十轮对话的传输量
在项目提供的可复现基准测试中,对话从 256 KiB 开始,每轮增加 4 KiB。四十轮下来,智能体共提交 13.2 MiB,经过 Portway 后实际通过网络传输的是 99 KiB。在浏览器控制台和终端仪表盘里,可以对自己会话中的每个请求比较这两个大小。
功能
- 遵循 RFC 9842 的字典压缩 Zstandard 帧。接收端不接受某种压缩格式时,发送端可以回退到普通 zstd 或原始请求体。
- 按模型在多个上游之间路由,不内置任何服务商、端点、凭据或价格。
- 按模型和计费档位记录 token 用量和费用,包括长上下文费率,可通过 CLI 生成报告。
- 终端仪表盘和浏览器控制台使用同一组主题:Catppuccin、Tokyo Night、Nord、Dracula 和 Gruvbox。
- 可嵌入的 Rust 库 portway-core,以及面向 Codex 和 Claude Code 的配置插件。