lm-quant-toolkit/scripts/eval-llm-ppl-gap-bits-dense1.sh

#!/bin/bash

# export HF_HOME=/data/hugginface
# conda activate quant-eval

if [ ! -d logs ]; then
    mkdir logs
fi

export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True


# 6.98 6.96 6.95 5.86 5.84 5.82 5.80 5.78 5.76 5.74
# 5.72 5.70 5.68 5.66 5.64 5.62 5.60 5.58 5.56 5.54
# 5.52 5.50 5.48 5.46 5.44 5.42 5.40 5.38 5.36 5.34
# 5.32 5.30 5.28 5.26 5.24 5.22 4.99 4.97 4.95 4.93
# 4.91 4.89 4.87 4.85 4.83 4.81 4.79 4.77 4.75 4.73
# 4.71 4.69 4.67 4.65 4.63 4.39 4.37 4.03 4.01 3.99
# 3.97 3.95 3.93 3.91 3.89 3.87 3.85 3.83 3.81 3.79
# 3.77 3.75 3.73 3.71 3.69 3.67 3.65 3.63 3.61 3.59
# 3.43 3.41 3.39 3.37 3.35 3.33 3.31 7.56 7.54 7.53
# 7.50 7.48 7.47 7.44 7.42 7.41 7.38 7.36 7.34 7.32
# 7.30 7.29 7.26 7.24 7.22 7.20 7.19 7.16 7.14 7.13
# 7.10 7.08 7.06 7.04 7.02 7.01

python ../src/cli.py llm \
    --task eval_ppl \
    --model 0 1 2 \
    --algo mxq \
    --config 6.98 6.96 6.95 5.86 5.84 5.82 5.80 5.78 5.76 5.74 5.72 5.70 5.68 5.66 5.64 5.62 5.60 5.58 5.56 5.54 5.52 5.50 5.48 5.46 5.44 5.42 5.40 5.38 5.36 5.34 5.32 5.30 5.28 5.26 5.24 5.22 4.99 4.97 4.95 4.93 4.91 4.89 4.87 4.85 4.83 4.81 4.79 4.77 4.75 4.73 4.71 4.69 4.67 4.65 4.63 4.39 4.37 4.03 4.01 3.99 3.97 3.95 3.93 3.91 3.89 3.87 3.85 3.83 3.81 3.79 3.77 3.75 3.73 3.71 3.69 3.67 3.65 3.63 3.61 3.59 3.43 3.41 3.39 3.37 3.35 3.33 3.31 7.56 7.54 7.53 7.50 7.48 7.47 7.44 7.42 7.41 7.38 7.36 7.34 7.32 7.30 7.29 7.26 7.24 7.22 7.20 7.19 7.16 7.14 7.13 7.10 7.08 7.06 7.04 7.02 7.01 \
    --experiment-name eval_ppl_gap_bits_dense1-mxq \
    --quant-snapshot-dir="/fdata/llm/mxq/snapshots" \
    --result-dir="/fdata/llm/mxq/results" \
    2>&1 \
    | tee logs/bench-$(date +%Y%m%d%H%M%S).log