{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 375,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 95.0182876586914,
      "learning_rate": 9.920000000000002e-06,
      "loss": 105.7315,
      "mean_token_accuracy": 0.09069436218123883,
      "num_tokens": 131072.0,
      "step": 4
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 86.67267608642578,
      "learning_rate": 9.813333333333333e-06,
      "loss": 96.5549,
      "mean_token_accuracy": 0.09622917557135224,
      "num_tokens": 262144.0,
      "step": 8
    },
    {
      "epoch": 0.032,
      "grad_norm": 134.05670166015625,
      "learning_rate": 9.706666666666668e-06,
      "loss": 85.9707,
      "mean_token_accuracy": 0.09924814943224192,
      "num_tokens": 393216.0,
      "step": 12
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 350.1399230957031,
      "learning_rate": 9.600000000000001e-06,
      "loss": 70.13,
      "mean_token_accuracy": 0.09573241986799985,
      "num_tokens": 524288.0,
      "step": 16
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 711.8109741210938,
      "learning_rate": 9.493333333333334e-06,
      "loss": 49.4668,
      "mean_token_accuracy": 0.10240077541675419,
      "num_tokens": 655360.0,
      "step": 20
    },
    {
      "epoch": 0.064,
      "grad_norm": 544.7271118164062,
      "learning_rate": 9.386666666666668e-06,
      "loss": 22.758,
      "mean_token_accuracy": 0.6434303732821718,
      "num_tokens": 786432.0,
      "step": 24
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 144.55421447753906,
      "learning_rate": 9.280000000000001e-06,
      "loss": 6.2443,
      "mean_token_accuracy": 0.9672888554632664,
      "num_tokens": 917504.0,
      "step": 28
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 50.88039779663086,
      "learning_rate": 9.173333333333334e-06,
      "loss": 2.2291,
      "mean_token_accuracy": 0.9668161626905203,
      "num_tokens": 1048576.0,
      "step": 32
    },
    {
      "epoch": 0.096,
      "grad_norm": 111.66119384765625,
      "learning_rate": 9.066666666666667e-06,
      "loss": 1.7604,
      "mean_token_accuracy": 0.9706238936632872,
      "num_tokens": 1179648.0,
      "step": 36
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 3.0309858322143555,
      "learning_rate": 8.96e-06,
      "loss": 1.6321,
      "mean_token_accuracy": 0.96866818331182,
      "num_tokens": 1310720.0,
      "step": 40
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 3.216538906097412,
      "learning_rate": 8.853333333333334e-06,
      "loss": 1.391,
      "mean_token_accuracy": 0.9703097771853209,
      "num_tokens": 1441792.0,
      "step": 44
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.2325334548950195,
      "learning_rate": 8.746666666666667e-06,
      "loss": 1.3561,
      "mean_token_accuracy": 0.9683448188006878,
      "num_tokens": 1572864.0,
      "step": 48
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 2.1915929317474365,
      "learning_rate": 8.64e-06,
      "loss": 1.17,
      "mean_token_accuracy": 0.9709315784275532,
      "num_tokens": 1703936.0,
      "step": 52
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 1.618494987487793,
      "learning_rate": 8.533333333333335e-06,
      "loss": 1.1517,
      "mean_token_accuracy": 0.9705505203455687,
      "num_tokens": 1835008.0,
      "step": 56
    },
    {
      "epoch": 0.16,
      "grad_norm": 1.0973531007766724,
      "learning_rate": 8.426666666666667e-06,
      "loss": 1.0748,
      "mean_token_accuracy": 0.9720278568565845,
      "num_tokens": 1966080.0,
      "step": 60
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.197716236114502,
      "learning_rate": 8.32e-06,
      "loss": 1.0738,
      "mean_token_accuracy": 0.9712793119251728,
      "num_tokens": 2097152.0,
      "step": 64
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 3.2662317752838135,
      "learning_rate": 8.213333333333335e-06,
      "loss": 0.9791,
      "mean_token_accuracy": 0.9734124913811684,
      "num_tokens": 2228224.0,
      "step": 68
    },
    {
      "epoch": 0.192,
      "grad_norm": 2.22454833984375,
      "learning_rate": 8.106666666666666e-06,
      "loss": 0.8829,
      "mean_token_accuracy": 0.9752626791596413,
      "num_tokens": 2359296.0,
      "step": 72
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 10.479799270629883,
      "learning_rate": 8.000000000000001e-06,
      "loss": 0.8778,
      "mean_token_accuracy": 0.975015128031373,
      "num_tokens": 2490368.0,
      "step": 76
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.5676300525665283,
      "learning_rate": 7.893333333333335e-06,
      "loss": 0.8283,
      "mean_token_accuracy": 0.9759523719549179,
      "num_tokens": 2621440.0,
      "step": 80
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.7672796249389648,
      "learning_rate": 7.786666666666666e-06,
      "loss": 0.8644,
      "mean_token_accuracy": 0.9749372210353613,
      "num_tokens": 2752512.0,
      "step": 84
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 1.5923023223876953,
      "learning_rate": 7.680000000000001e-06,
      "loss": 0.7702,
      "mean_token_accuracy": 0.9773267563432455,
      "num_tokens": 2883584.0,
      "step": 88
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.6468647718429565,
      "learning_rate": 7.573333333333333e-06,
      "loss": 0.7288,
      "mean_token_accuracy": 0.9785596635192633,
      "num_tokens": 3014656.0,
      "step": 92
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.5576863288879395,
      "learning_rate": 7.4666666666666675e-06,
      "loss": 0.7363,
      "mean_token_accuracy": 0.9779561907052994,
      "num_tokens": 3145728.0,
      "step": 96
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 2.6385979652404785,
      "learning_rate": 7.360000000000001e-06,
      "loss": 0.7688,
      "mean_token_accuracy": 0.9766516983509064,
      "num_tokens": 3276800.0,
      "step": 100
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.8966882228851318,
      "learning_rate": 7.253333333333335e-06,
      "loss": 0.6682,
      "mean_token_accuracy": 0.9798859935253859,
      "num_tokens": 3407872.0,
      "step": 104
    },
    {
      "epoch": 0.288,
      "grad_norm": 1.0822303295135498,
      "learning_rate": 7.146666666666667e-06,
      "loss": 0.6918,
      "mean_token_accuracy": 0.9789478182792664,
      "num_tokens": 3538944.0,
      "step": 108
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 1.0026942491531372,
      "learning_rate": 7.04e-06,
      "loss": 0.6361,
      "mean_token_accuracy": 0.9800962433218956,
      "num_tokens": 3670016.0,
      "step": 112
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 0.9697505235671997,
      "learning_rate": 6.9333333333333344e-06,
      "loss": 0.6608,
      "mean_token_accuracy": 0.979592103511095,
      "num_tokens": 3801088.0,
      "step": 116
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.2079904079437256,
      "learning_rate": 6.826666666666667e-06,
      "loss": 0.5854,
      "mean_token_accuracy": 0.9816998448222876,
      "num_tokens": 3932160.0,
      "step": 120
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 1.9481562376022339,
      "learning_rate": 6.720000000000001e-06,
      "loss": 0.5883,
      "mean_token_accuracy": 0.9816949348896742,
      "num_tokens": 4063232.0,
      "step": 124
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.8685667514801025,
      "learning_rate": 6.613333333333334e-06,
      "loss": 0.5572,
      "mean_token_accuracy": 0.9824575446546078,
      "num_tokens": 4194304.0,
      "step": 128
    },
    {
      "epoch": 0.352,
      "grad_norm": 1.206168293952942,
      "learning_rate": 6.5066666666666665e-06,
      "loss": 0.5408,
      "mean_token_accuracy": 0.982963752001524,
      "num_tokens": 4325376.0,
      "step": 132
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 2.035712718963623,
      "learning_rate": 6.4000000000000006e-06,
      "loss": 0.5665,
      "mean_token_accuracy": 0.9818029161542654,
      "num_tokens": 4456448.0,
      "step": 136
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.4054605960845947,
      "learning_rate": 6.293333333333334e-06,
      "loss": 0.5484,
      "mean_token_accuracy": 0.9823860600590706,
      "num_tokens": 4587520.0,
      "step": 140
    },
    {
      "epoch": 0.384,
      "grad_norm": 1.3287094831466675,
      "learning_rate": 6.186666666666668e-06,
      "loss": 0.5362,
      "mean_token_accuracy": 0.9835489504039288,
      "num_tokens": 4718592.0,
      "step": 144
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 2.980499505996704,
      "learning_rate": 6.08e-06,
      "loss": 0.5465,
      "mean_token_accuracy": 0.9827720392495394,
      "num_tokens": 4849664.0,
      "step": 148
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 1.3520195484161377,
      "learning_rate": 5.973333333333334e-06,
      "loss": 0.517,
      "mean_token_accuracy": 0.983446417376399,
      "num_tokens": 4980736.0,
      "step": 152
    },
    {
      "epoch": 0.416,
      "grad_norm": 1.2579379081726074,
      "learning_rate": 5.8666666666666675e-06,
      "loss": 0.5056,
      "mean_token_accuracy": 0.9842263720929623,
      "num_tokens": 5111808.0,
      "step": 156
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 2.252026319503784,
      "learning_rate": 5.76e-06,
      "loss": 0.5229,
      "mean_token_accuracy": 0.9836711697280407,
      "num_tokens": 5242880.0,
      "step": 160
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 1.2698060274124146,
      "learning_rate": 5.653333333333334e-06,
      "loss": 0.4646,
      "mean_token_accuracy": 0.9852073341608047,
      "num_tokens": 5373952.0,
      "step": 164
    },
    {
      "epoch": 0.448,
      "grad_norm": 1.5042601823806763,
      "learning_rate": 5.546666666666667e-06,
      "loss": 0.5029,
      "mean_token_accuracy": 0.984351010993123,
      "num_tokens": 5505024.0,
      "step": 168
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.9958365559577942,
      "learning_rate": 5.4400000000000004e-06,
      "loss": 0.4788,
      "mean_token_accuracy": 0.9851621706038713,
      "num_tokens": 5636096.0,
      "step": 172
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.9716078042984009,
      "learning_rate": 5.333333333333334e-06,
      "loss": 0.4484,
      "mean_token_accuracy": 0.985568018630147,
      "num_tokens": 5767168.0,
      "step": 176
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.1012027263641357,
      "learning_rate": 5.226666666666667e-06,
      "loss": 0.4358,
      "mean_token_accuracy": 0.9859038721770048,
      "num_tokens": 5898240.0,
      "step": 180
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 1.2046291828155518,
      "learning_rate": 5.12e-06,
      "loss": 0.4547,
      "mean_token_accuracy": 0.9855281561613083,
      "num_tokens": 6029312.0,
      "step": 184
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 1.0735691785812378,
      "learning_rate": 5.013333333333333e-06,
      "loss": 0.4746,
      "mean_token_accuracy": 0.9851747266948223,
      "num_tokens": 6160384.0,
      "step": 188
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.0135657787322998,
      "learning_rate": 4.9066666666666666e-06,
      "loss": 0.4239,
      "mean_token_accuracy": 0.9866608530282974,
      "num_tokens": 6291456.0,
      "step": 192
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.8359453678131104,
      "learning_rate": 4.800000000000001e-06,
      "loss": 0.4342,
      "mean_token_accuracy": 0.9866013824939728,
      "num_tokens": 6422528.0,
      "step": 196
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.00949227809906,
      "learning_rate": 4.693333333333334e-06,
      "loss": 0.4317,
      "mean_token_accuracy": 0.9866328313946724,
      "num_tokens": 6553600.0,
      "step": 200
    },
    {
      "epoch": 0.544,
      "grad_norm": 1.1209454536437988,
      "learning_rate": 4.586666666666667e-06,
      "loss": 0.4416,
      "mean_token_accuracy": 0.9860401172190905,
      "num_tokens": 6684672.0,
      "step": 204
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 1.0413671731948853,
      "learning_rate": 4.48e-06,
      "loss": 0.4304,
      "mean_token_accuracy": 0.9864061810076237,
      "num_tokens": 6815744.0,
      "step": 208
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 0.7713757157325745,
      "learning_rate": 4.3733333333333335e-06,
      "loss": 0.4408,
      "mean_token_accuracy": 0.9862897284328938,
      "num_tokens": 6946816.0,
      "step": 212
    },
    {
      "epoch": 0.576,
      "grad_norm": 1.0856741666793823,
      "learning_rate": 4.266666666666668e-06,
      "loss": 0.4363,
      "mean_token_accuracy": 0.9863903503865004,
      "num_tokens": 7077888.0,
      "step": 216
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.762695848941803,
      "learning_rate": 4.16e-06,
      "loss": 0.4345,
      "mean_token_accuracy": 0.9862556718289852,
      "num_tokens": 7208960.0,
      "step": 220
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.8599634170532227,
      "learning_rate": 4.053333333333333e-06,
      "loss": 0.4168,
      "mean_token_accuracy": 0.9865854158997536,
      "num_tokens": 7340032.0,
      "step": 224
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.8917364478111267,
      "learning_rate": 3.946666666666667e-06,
      "loss": 0.3778,
      "mean_token_accuracy": 0.9881123788654804,
      "num_tokens": 7471104.0,
      "step": 228
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.6947170495986938,
      "learning_rate": 3.8400000000000005e-06,
      "loss": 0.3877,
      "mean_token_accuracy": 0.9877418763935566,
      "num_tokens": 7602176.0,
      "step": 232
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.9257314801216125,
      "learning_rate": 3.7333333333333337e-06,
      "loss": 0.3812,
      "mean_token_accuracy": 0.9878675621002913,
      "num_tokens": 7733248.0,
      "step": 236
    },
    {
      "epoch": 0.64,
      "grad_norm": 1.9576170444488525,
      "learning_rate": 3.6266666666666674e-06,
      "loss": 0.42,
      "mean_token_accuracy": 0.986813249066472,
      "num_tokens": 7864320.0,
      "step": 240
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.9040073156356812,
      "learning_rate": 3.52e-06,
      "loss": 0.386,
      "mean_token_accuracy": 0.987710103392601,
      "num_tokens": 7995392.0,
      "step": 244
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 1.030599594116211,
      "learning_rate": 3.4133333333333334e-06,
      "loss": 0.4029,
      "mean_token_accuracy": 0.9871034454554319,
      "num_tokens": 8126464.0,
      "step": 248
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.9309128522872925,
      "learning_rate": 3.306666666666667e-06,
      "loss": 0.3999,
      "mean_token_accuracy": 0.9872954823076725,
      "num_tokens": 8257536.0,
      "step": 252
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.7675857543945312,
      "learning_rate": 3.2000000000000003e-06,
      "loss": 0.4193,
      "mean_token_accuracy": 0.9866136480122805,
      "num_tokens": 8388608.0,
      "step": 256
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.8219704031944275,
      "learning_rate": 3.093333333333334e-06,
      "loss": 0.4057,
      "mean_token_accuracy": 0.9868441838771105,
      "num_tokens": 8519680.0,
      "step": 260
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.9892351627349854,
      "learning_rate": 2.986666666666667e-06,
      "loss": 0.3385,
      "mean_token_accuracy": 0.9892081767320633,
      "num_tokens": 8650752.0,
      "step": 264
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.8646839261054993,
      "learning_rate": 2.88e-06,
      "loss": 0.4018,
      "mean_token_accuracy": 0.987593112513423,
      "num_tokens": 8781824.0,
      "step": 268
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.8883484601974487,
      "learning_rate": 2.7733333333333336e-06,
      "loss": 0.4082,
      "mean_token_accuracy": 0.9872159268707037,
      "num_tokens": 8912896.0,
      "step": 272
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.7417464852333069,
      "learning_rate": 2.666666666666667e-06,
      "loss": 0.4002,
      "mean_token_accuracy": 0.9869667831808329,
      "num_tokens": 9043968.0,
      "step": 276
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.8781360983848572,
      "learning_rate": 2.56e-06,
      "loss": 0.3838,
      "mean_token_accuracy": 0.9879082888364792,
      "num_tokens": 9175040.0,
      "step": 280
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.7206087708473206,
      "learning_rate": 2.4533333333333333e-06,
      "loss": 0.4011,
      "mean_token_accuracy": 0.9870665278285742,
      "num_tokens": 9306112.0,
      "step": 284
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.7289225459098816,
      "learning_rate": 2.346666666666667e-06,
      "loss": 0.4053,
      "mean_token_accuracy": 0.9868325497955084,
      "num_tokens": 9437184.0,
      "step": 288
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.8088091611862183,
      "learning_rate": 2.24e-06,
      "loss": 0.4259,
      "mean_token_accuracy": 0.9863878916949034,
      "num_tokens": 9568256.0,
      "step": 292
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.692416250705719,
      "learning_rate": 2.133333333333334e-06,
      "loss": 0.3744,
      "mean_token_accuracy": 0.9881744775921106,
      "num_tokens": 9699328.0,
      "step": 296
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.8444411754608154,
      "learning_rate": 2.0266666666666666e-06,
      "loss": 0.38,
      "mean_token_accuracy": 0.9878210332244635,
      "num_tokens": 9830400.0,
      "step": 300
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.698093593120575,
      "learning_rate": 1.9200000000000003e-06,
      "loss": 0.4046,
      "mean_token_accuracy": 0.9871846791356802,
      "num_tokens": 9961472.0,
      "step": 304
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.6660715341567993,
      "learning_rate": 1.8133333333333337e-06,
      "loss": 0.3735,
      "mean_token_accuracy": 0.9878482241183519,
      "num_tokens": 10092544.0,
      "step": 308
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.8037408590316772,
      "learning_rate": 1.7066666666666667e-06,
      "loss": 0.3628,
      "mean_token_accuracy": 0.9884408693760633,
      "num_tokens": 10223616.0,
      "step": 312
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 1.1215479373931885,
      "learning_rate": 1.6000000000000001e-06,
      "loss": 0.4113,
      "mean_token_accuracy": 0.9866763446480036,
      "num_tokens": 10354688.0,
      "step": 316
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.8912140130996704,
      "learning_rate": 1.4933333333333336e-06,
      "loss": 0.3753,
      "mean_token_accuracy": 0.9878699872642756,
      "num_tokens": 10485760.0,
      "step": 320
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.7743899822235107,
      "learning_rate": 1.3866666666666668e-06,
      "loss": 0.3936,
      "mean_token_accuracy": 0.987536245957017,
      "num_tokens": 10616832.0,
      "step": 324
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.813690185546875,
      "learning_rate": 1.28e-06,
      "loss": 0.392,
      "mean_token_accuracy": 0.9875784479081631,
      "num_tokens": 10747904.0,
      "step": 328
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.7513279914855957,
      "learning_rate": 1.1733333333333335e-06,
      "loss": 0.3511,
      "mean_token_accuracy": 0.9887354131788015,
      "num_tokens": 10878976.0,
      "step": 332
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.7692511081695557,
      "learning_rate": 1.066666666666667e-06,
      "loss": 0.3855,
      "mean_token_accuracy": 0.9876275006681681,
      "num_tokens": 11010048.0,
      "step": 336
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.8504297733306885,
      "learning_rate": 9.600000000000001e-07,
      "loss": 0.3715,
      "mean_token_accuracy": 0.9881636761128902,
      "num_tokens": 11141120.0,
      "step": 340
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.7928897142410278,
      "learning_rate": 8.533333333333334e-07,
      "loss": 0.361,
      "mean_token_accuracy": 0.9885325860232115,
      "num_tokens": 11272192.0,
      "step": 344
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.8380333781242371,
      "learning_rate": 7.466666666666668e-07,
      "loss": 0.394,
      "mean_token_accuracy": 0.9870442487299442,
      "num_tokens": 11403264.0,
      "step": 348
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.9250849485397339,
      "learning_rate": 6.4e-07,
      "loss": 0.3746,
      "mean_token_accuracy": 0.9879132714122534,
      "num_tokens": 11534336.0,
      "step": 352
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.9055423140525818,
      "learning_rate": 5.333333333333335e-07,
      "loss": 0.4153,
      "mean_token_accuracy": 0.9869474172592163,
      "num_tokens": 11665408.0,
      "step": 356
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.814559817314148,
      "learning_rate": 4.266666666666667e-07,
      "loss": 0.3759,
      "mean_token_accuracy": 0.988111924380064,
      "num_tokens": 11796480.0,
      "step": 360
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.8249328136444092,
      "learning_rate": 3.2e-07,
      "loss": 0.3727,
      "mean_token_accuracy": 0.9882096629589796,
      "num_tokens": 11927552.0,
      "step": 364
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.7737669348716736,
      "learning_rate": 2.1333333333333334e-07,
      "loss": 0.4041,
      "mean_token_accuracy": 0.9868866726756096,
      "num_tokens": 12058624.0,
      "step": 368
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.6931367516517639,
      "learning_rate": 1.0666666666666667e-07,
      "loss": 0.3835,
      "mean_token_accuracy": 0.9874988459050655,
      "num_tokens": 12189696.0,
      "step": 372
    }
  ],
  "logging_steps": 4,
  "max_steps": 375,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 5000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.935438365196288e+18,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}