Perkakasan Edge AI
Modul pengiraan untuk pelaksanaan AI terbenam dan edge.
| Foto | Produk | Harga | Kapasiti |
|---|
Memahami kapasiti model
Kapasiti model merujuk kepada bilangan parameter dalam model AI (cth. 70B = 70 bilion parameter). Model lebih besar umumnya memerlukan lebih banyak memori dan kuasa pengiraan, tetapi boleh menawarkan penaakulan dan kualiti output yang lebih baik.
Ketepatan (FP16 / FP8 / FP4) mempengaruhi keperluan memori untuk kapasiti model tertentu: format ketepatan lebih rendah mengurangkan separuh keperluan memori setiap penurunan langkah (FP16 → FP8 → FP4), dengan sedikit pengurangan ketepatan output.
| Saiz model | Memori tipikal (FP16) | Memori tipikal (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |