File size: 1,673 Bytes
2051791 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | #!/bin/bash
# export HF_HOME=/data/hugginface
# conda activate quant-eval
if [ ! -d logs ]; then
mkdir logs
fi
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
# 6.98 6.96 6.95 5.86 5.84 5.82 5.80 5.78 5.76 5.74
# 5.72 5.70 5.68 5.66 5.64 5.62 5.60 5.58 5.56 5.54
# 5.52 5.50 5.48 5.46 5.44 5.42 5.40 5.38 5.36 5.34
# 5.32 5.30 5.28 5.26 5.24 5.22 4.99 4.97 4.95 4.93
# 4.91 4.89 4.87 4.85 4.83 4.81 4.79 4.77 4.75 4.73
# 4.71 4.69 4.67 4.65 4.63 4.39 4.37 4.03 4.01 3.99
# 3.97 3.95 3.93 3.91 3.89 3.87 3.85 3.83 3.81 3.79
# 3.77 3.75 3.73 3.71 3.69 3.67 3.65 3.63 3.61 3.59
# 3.43 3.41 3.39 3.37 3.35 3.33 3.31 7.56 7.54 7.53
# 7.50 7.48 7.47 7.44 7.42 7.41 7.38 7.36 7.34 7.32
# 7.30 7.29 7.26 7.24 7.22 7.20 7.19 7.16 7.14 7.13
# 7.10 7.08 7.06 7.04 7.02 7.01
python ../src/cli.py llm \
--task eval_ppl \
--model 0 1 2 \
--algo mxq \
--config 6.98 6.96 6.95 5.86 5.84 5.82 5.80 5.78 5.76 5.74 5.72 5.70 5.68 5.66 5.64 5.62 5.60 5.58 5.56 5.54 5.52 5.50 5.48 5.46 5.44 5.42 5.40 5.38 5.36 5.34 5.32 5.30 5.28 5.26 5.24 5.22 4.99 4.97 4.95 4.93 4.91 4.89 4.87 4.85 4.83 4.81 4.79 4.77 4.75 4.73 4.71 4.69 4.67 4.65 4.63 4.39 4.37 4.03 4.01 3.99 3.97 3.95 3.93 3.91 3.89 3.87 3.85 3.83 3.81 3.79 3.77 3.75 3.73 3.71 3.69 3.67 3.65 3.63 3.61 3.59 3.43 3.41 3.39 3.37 3.35 3.33 3.31 7.56 7.54 7.53 7.50 7.48 7.47 7.44 7.42 7.41 7.38 7.36 7.34 7.32 7.30 7.29 7.26 7.24 7.22 7.20 7.19 7.16 7.14 7.13 7.10 7.08 7.06 7.04 7.02 7.01 \
--experiment-name eval_ppl_gap_bits_dense1-mxq \
--quant-snapshot-dir="/fdata/llm/mxq/snapshots" \
--result-dir="/fdata/llm/mxq/results" \
2>&1 \
| tee logs/bench-$(date +%Y%m%d%H%M%S).log
|