Formats FP32/FP16/BF16/FP8/INT8/INT4, GPTQ, AWQ, SmoothQuant, GGUF, NF4, outliers, batching continu, PagedAttention et décodage spéculatif.
