ตัวเลขที่ราคานี้ยืนอยู่
ทุกแถวคือผลวัดจริงจากตัวเราเตอร์ ไม่ใช่ค่าที่เขียนไว้ในหน้านี้ ระบบยิงทดสอบแต่ละโมเดลเป็นรอบ แล้วเก็บค่ามัธยฐานของ latency และ tok/s ไว้ในฐานข้อมูล หน้านี้แค่อ่านค่าล่าสุดออกมา
ทำไมต้องดู
คนส่วนใหญ่เลือกโมเดลจากชื่อ แต่ของจริงตัดสินที่เวลาถึง token แรก - สองตัวที่ชื่อคล้ายกันใช้เวลาต่างกันสองเท่าได้ในวันเดียวกัน
| # | โมเดล | uptime | latency | tok/s | ตัวอย่าง | สถานะ |
|---|---|---|---|---|---|---|
| กำลังอ่านค่าจากเราเตอร์... | ||||||
-GET /api/models
แต่ละคอลัมน์วัดอะไร
uptime
สัดส่วนการยิงที่ได้คำตอบกลับมาในช่วงที่วัด ไม่ใช่ค่า uptime ของผู้ให้บริการ
latency
เวลาถึง token แรก หน่วยมิลลิวินาที เป็นค่ามัธยฐานของตัวอย่างทั้งหมด
tok/s
token ต่อวินาทีตลอดคำตอบ ไม่ใช่วัดช่วงสั้น ๆ ตอนเริ่มตอบ
# ดูค่าดิบที่หน้านี้ใช้ curl -s https://lazarus-th.duckdns.org/api/models | python3 -m json.tool