เซิร์ฟเวอร์ AI
เซิร์ฟเวอร์ประสิทธิภาพสูงสำหรับการฝึกอบรมและการอนุมาน AI
| รูปภาพ | สินค้า | ราคา | ความจุ |
|---|
ทำความเข้าใจความจุของโมเดล
ความจุของโมเดลหมายถึงจำนวนพารามิเตอร์ในโมเดล AI (เช่น 70B = พารามิเตอร์ 70 พันล้านตัว) โมเดลขนาดใหญ่กว่ามักต้องการหน่วยความจำและพลังการประมวลผลมากขึ้น แต่สามารถให้ผลลัพธ์และการให้เหตุผลที่ดีขึ้นได้
ความแม่นยำ (FP16 / FP8 / FP4) ส่งผลต่อปริมาณหน่วยความจำที่ความจุโมเดลต้องการ: รูปแบบความแม่นยำต่ำจะลดความต้องการหน่วยความจำลงครึ่งหนึ่งต่อระดับ (FP16 → FP8 → FP4) โดยอาจส่งผลต่อความแม่นยำของผลลัพธ์
| ขนาดโมเดล | หน่วยความจำทั่วไป (FP16) | หน่วยความจำทั่วไป (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |