Portway

在编程智能体不断变长的对话发往 API 的途中进行压缩。

portway.told.me GitHub 源码 brew install rath/tap/portway
Portway 浏览器控制台:47 个请求,节省 204.6 MB 上传量,正在使用的上游,以及每轮请求大小的图表。
Claude Code 和 Codex 会话期间的浏览器控制台:节省了 96% 的上传量。

只发送变化的部分

编程智能体每一轮都会把整段对话重新上传,包括之前的工具结果。Portway 把上一次请求用作压缩字典,由接收端的 Portway 还原出完整请求,再转发给模型。压缩需要两端都参与。直接连接服务商时,仍然可以使用路由和请求日志。

四十轮对话的传输量

在项目提供的可复现基准测试中,对话从 256 KiB 开始,每轮增加 4 KiB。四十轮下来,智能体共提交 13.2 MiB,经过 Portway 后实际通过网络传输的是 99 KiB。在浏览器控制台和终端仪表盘里,可以对自己会话中的每个请求比较这两个大小。

功能

  • 遵循 RFC 9842 的字典压缩 Zstandard 帧。接收端不接受某种压缩格式时,发送端可以回退到普通 zstd 或原始请求体。
  • 按模型在多个上游之间路由,不内置任何服务商、端点、凭据或价格。
  • 按模型和计费档位记录 token 用量和费用,包括长上下文费率,可通过 CLI 生成报告。
  • 终端仪表盘和浏览器控制台使用同一组主题:Catppuccin、Tokyo Night、Nord、Dracula 和 Gruvbox。
  • 可嵌入的 Rust 库 portway-core,以及面向 Codex 和 Claude Code 的配置插件。

截图

Portway 终端仪表盘:每轮 10.9 MB 的请求只发送几 KB,旁边是上游列表和套接字吞吐量图表。
显示同一会话的终端仪表盘。