Trước ngày 11/8, hoá đơn Copilot cho bạn biết bạn đã tiêu bao nhiêu. Nó không cho biết bạn tiêu vào cái gì, và khi các model tính theo mức dùng đã có mặt trong thực đơn thì khoảng trống đó bắt đầu thành vấn đề thật.
Báo cáo sử dụng nay bóc tách mức tiêu theo từng model, và theo từng loại token: đầu vào, đầu ra, đọc cache và ghi cache, mỗi loại quy về số AI credit tương ứng.
Báo cáo cho biết gì
Cách GitHub diễn đạt là bạn giờ truy được chính xác cách token đầu vào, đầu ra và token cache cộng lại thành chi phí của từng model. Bốn loại token được tách riêng, và chính chi tiết đó khiến báo cáo hữu dụng chứ không chỉ mang tính thông tin:
- Token đầu vào — phần ngữ cảnh bạn và agent gửi đi
- Token đầu ra — phần model sinh ra, thường là dòng đắt nhất
- Đọc cache — ngữ cảnh lấy từ cache, thường được giảm giá rất mạnh
- Ghi cache — chi phí để đưa ngữ cảnh vào cache ngay từ đầu
Xem ở đâu, và ai xem được
Phần này nằm ở trang AI usage trong cài đặt thanh toán, và quản trị viên tải được báo cáo AI usage về dưới dạng file để có bảng bóc tách.
Quyền truy cập theo cách chia quen thuộc: quản trị viên gói Copilot Business và Copilot Enterprise, cùng toàn bộ người dùng Copilot cá nhân. Nửa sau mới đáng chú ý — người dùng cá nhân được nhìn vào chi tiêu của chính mình đúng như cách quản trị viên nhìn vào chi tiêu của cả đội, điều không phải lúc nào cũng xảy ra với các tính năng kiểu này.
Vì sao hai cột cache mới là phần thú vị
Phần lớn mọi người sẽ nhìn đầu vào và đầu ra, vì đó là những con số họ vốn đã có sẵn cách hình dung. Nhưng thông tin hành động được lại nằm ở hai cột cache.
Token đầu vào đã cache rẻ hơn hẳn token đầu vào mới — chính bảng giá Kimi K3 của GitHub đặt token cache ở mức một phần mười giá thường. Con số đọc cache cao so với đầu vào nghĩa là công việc của bạn đang hưởng khoản giảm giá đó. Ghi cache cao mà đọc cache thấp nghĩa là bạn đang trả tiền để nạp một cái cache mà bạn không dùng lại — và đó chính là hình ảnh trên hoá đơn của việc liên tục mở phiên mới ở hàng loạt repository khác nhau.
Đó là vấn đề về nhịp làm việc, không phải vấn đề về model, và nó vô hình trong mọi báo cáo chỉ hiển thị con số tổng.
Ba câu hỏi cuối cùng cũng trả lời được
Ba câu hỏi mà tuần trước còn phải đoán thì nay đã có dữ liệu đứng sau.
- Model đắt có đang thực sự làm phần việc đắt tiền không, hay nó chỉ là mặc định của bạn cho những câu hỏi mà một model nhỏ trả lời được?
- Trong các khoản chi này, đâu là đầu ra — tức phần sinh ra thật — và đâu là ngữ cảnh bạn lôi theo trong mọi lượt yêu cầu?
- Mức tăng tháng trước đến từ thêm người, thêm việc, hay vẫn từng ấy việc nhưng bị đẩy sang model đắt hơn?
Một lưu ý về cách dùng
Đừng vội biến thứ này thành bảng xếp hạng chi tiêu theo từng lập trình viên. Mức tiêu token bám theo hình dạng công việc chứ không theo mức độ cẩn thận của con người: người refactor một dịch vụ cũ đồ sộ sẽ đốt nhiều token hơn người viết code mới độc lập, và họ không hề lãng phí.
Báo cáo này là công cụ tốt để tìm lãng phí mang tính cấu trúc — một model đắt bị đặt làm mặc định cho cả đội, một tác vụ tự động gửi lại cùng khối ngữ cảnh trong mỗi lần chạy, một cái cache không bao giờ được đọc. Nó là công cụ tệ để đánh giá con người, và dùng theo cách đó là con đường nhanh nhất khiến mọi người lặng lẽ né tránh chính công cụ bạn mua cho họ.