{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.016,
  "eval_steps": 500,
  "global_step": 60,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0002666666666666667,
      "grad_norm": 0.42936185002326965,
      "learning_rate": 4e-05,
      "loss": 1.0858,
      "step": 1
    },
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 0.3859248757362366,
      "learning_rate": 8e-05,
      "loss": 0.9206,
      "step": 2
    },
    {
      "epoch": 0.0008,
      "grad_norm": 0.3788315951824188,
      "learning_rate": 0.00012,
      "loss": 1.132,
      "step": 3
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 0.5478439331054688,
      "learning_rate": 0.00016,
      "loss": 1.019,
      "step": 4
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 0.6532280445098877,
      "learning_rate": 0.0002,
      "loss": 1.0875,
      "step": 5
    },
    {
      "epoch": 0.0016,
      "grad_norm": 0.3587557375431061,
      "learning_rate": 0.00019636363636363636,
      "loss": 0.8724,
      "step": 6
    },
    {
      "epoch": 0.0018666666666666666,
      "grad_norm": 0.3098128139972687,
      "learning_rate": 0.00019272727272727274,
      "loss": 0.7417,
      "step": 7
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 0.3779929280281067,
      "learning_rate": 0.0001890909090909091,
      "loss": 0.8396,
      "step": 8
    },
    {
      "epoch": 0.0024,
      "grad_norm": 0.27506184577941895,
      "learning_rate": 0.00018545454545454545,
      "loss": 0.6917,
      "step": 9
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 0.35665228962898254,
      "learning_rate": 0.00018181818181818183,
      "loss": 0.7327,
      "step": 10
    },
    {
      "epoch": 0.0029333333333333334,
      "grad_norm": 0.3704247772693634,
      "learning_rate": 0.0001781818181818182,
      "loss": 0.9461,
      "step": 11
    },
    {
      "epoch": 0.0032,
      "grad_norm": 0.2856270372867584,
      "learning_rate": 0.00017454545454545454,
      "loss": 0.8597,
      "step": 12
    },
    {
      "epoch": 0.0034666666666666665,
      "grad_norm": 0.32342857122421265,
      "learning_rate": 0.0001709090909090909,
      "loss": 0.9186,
      "step": 13
    },
    {
      "epoch": 0.0037333333333333333,
      "grad_norm": 0.33127686381340027,
      "learning_rate": 0.00016727272727272728,
      "loss": 0.6687,
      "step": 14
    },
    {
      "epoch": 0.004,
      "grad_norm": 0.2710918188095093,
      "learning_rate": 0.00016363636363636366,
      "loss": 0.7765,
      "step": 15
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 0.21632041037082672,
      "learning_rate": 0.00016,
      "loss": 0.8245,
      "step": 16
    },
    {
      "epoch": 0.004533333333333334,
      "grad_norm": 0.29844146966934204,
      "learning_rate": 0.00015636363636363637,
      "loss": 0.83,
      "step": 17
    },
    {
      "epoch": 0.0048,
      "grad_norm": 0.25882166624069214,
      "learning_rate": 0.00015272727272727275,
      "loss": 0.7466,
      "step": 18
    },
    {
      "epoch": 0.005066666666666666,
      "grad_norm": 0.30816012620925903,
      "learning_rate": 0.0001490909090909091,
      "loss": 0.8743,
      "step": 19
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 0.2706385552883148,
      "learning_rate": 0.00014545454545454546,
      "loss": 0.6515,
      "step": 20
    },
    {
      "epoch": 0.0056,
      "grad_norm": 0.23322783410549164,
      "learning_rate": 0.00014181818181818184,
      "loss": 0.772,
      "step": 21
    },
    {
      "epoch": 0.005866666666666667,
      "grad_norm": 0.2468387484550476,
      "learning_rate": 0.0001381818181818182,
      "loss": 0.6343,
      "step": 22
    },
    {
      "epoch": 0.0061333333333333335,
      "grad_norm": 0.23218180239200592,
      "learning_rate": 0.00013454545454545455,
      "loss": 0.76,
      "step": 23
    },
    {
      "epoch": 0.0064,
      "grad_norm": 0.23469966650009155,
      "learning_rate": 0.00013090909090909093,
      "loss": 0.6903,
      "step": 24
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 0.2517063617706299,
      "learning_rate": 0.00012727272727272728,
      "loss": 0.7372,
      "step": 25
    },
    {
      "epoch": 0.006933333333333333,
      "grad_norm": 0.1962875872850418,
      "learning_rate": 0.00012363636363636364,
      "loss": 0.6622,
      "step": 26
    },
    {
      "epoch": 0.0072,
      "grad_norm": 0.24588844180107117,
      "learning_rate": 0.00012,
      "loss": 0.9196,
      "step": 27
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 0.230533629655838,
      "learning_rate": 0.00011636363636363636,
      "loss": 0.8072,
      "step": 28
    },
    {
      "epoch": 0.007733333333333333,
      "grad_norm": 0.26301872730255127,
      "learning_rate": 0.00011272727272727272,
      "loss": 0.7263,
      "step": 29
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.2372722029685974,
      "learning_rate": 0.00010909090909090909,
      "loss": 0.6835,
      "step": 30
    },
    {
      "epoch": 0.008266666666666667,
      "grad_norm": 0.3091089427471161,
      "learning_rate": 0.00010545454545454545,
      "loss": 0.7797,
      "step": 31
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 0.21774427592754364,
      "learning_rate": 0.00010181818181818181,
      "loss": 0.6403,
      "step": 32
    },
    {
      "epoch": 0.0088,
      "grad_norm": 0.21708498895168304,
      "learning_rate": 9.818181818181818e-05,
      "loss": 0.6425,
      "step": 33
    },
    {
      "epoch": 0.009066666666666667,
      "grad_norm": 0.22271808981895447,
      "learning_rate": 9.454545454545455e-05,
      "loss": 0.6148,
      "step": 34
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 0.22858861088752747,
      "learning_rate": 9.090909090909092e-05,
      "loss": 0.7436,
      "step": 35
    },
    {
      "epoch": 0.0096,
      "grad_norm": 0.24401907622814178,
      "learning_rate": 8.727272727272727e-05,
      "loss": 0.6798,
      "step": 36
    },
    {
      "epoch": 0.009866666666666666,
      "grad_norm": 0.2290969043970108,
      "learning_rate": 8.363636363636364e-05,
      "loss": 0.6074,
      "step": 37
    },
    {
      "epoch": 0.010133333333333333,
      "grad_norm": 0.2825275957584381,
      "learning_rate": 8e-05,
      "loss": 0.6961,
      "step": 38
    },
    {
      "epoch": 0.0104,
      "grad_norm": 0.24464188516139984,
      "learning_rate": 7.636363636363637e-05,
      "loss": 0.6302,
      "step": 39
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 0.2045094072818756,
      "learning_rate": 7.272727272727273e-05,
      "loss": 0.7019,
      "step": 40
    },
    {
      "epoch": 0.010933333333333333,
      "grad_norm": 0.18769198656082153,
      "learning_rate": 6.90909090909091e-05,
      "loss": 0.8457,
      "step": 41
    },
    {
      "epoch": 0.0112,
      "grad_norm": 0.24082112312316895,
      "learning_rate": 6.545454545454546e-05,
      "loss": 0.7579,
      "step": 42
    },
    {
      "epoch": 0.011466666666666667,
      "grad_norm": 0.2472972273826599,
      "learning_rate": 6.181818181818182e-05,
      "loss": 0.828,
      "step": 43
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 0.32660773396492004,
      "learning_rate": 5.818181818181818e-05,
      "loss": 0.7524,
      "step": 44
    },
    {
      "epoch": 0.012,
      "grad_norm": 0.3056609034538269,
      "learning_rate": 5.4545454545454546e-05,
      "loss": 0.8436,
      "step": 45
    },
    {
      "epoch": 0.012266666666666667,
      "grad_norm": 0.1863543689250946,
      "learning_rate": 5.090909090909091e-05,
      "loss": 0.5511,
      "step": 46
    },
    {
      "epoch": 0.012533333333333334,
      "grad_norm": 0.2429007887840271,
      "learning_rate": 4.7272727272727275e-05,
      "loss": 0.7711,
      "step": 47
    },
    {
      "epoch": 0.0128,
      "grad_norm": 0.25397196412086487,
      "learning_rate": 4.3636363636363636e-05,
      "loss": 0.8094,
      "step": 48
    },
    {
      "epoch": 0.013066666666666667,
      "grad_norm": 0.26945605874061584,
      "learning_rate": 4e-05,
      "loss": 0.5859,
      "step": 49
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 0.23465315997600555,
      "learning_rate": 3.6363636363636364e-05,
      "loss": 0.5563,
      "step": 50
    },
    {
      "epoch": 0.0136,
      "grad_norm": 0.266638845205307,
      "learning_rate": 3.272727272727273e-05,
      "loss": 0.7066,
      "step": 51
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 0.20438891649246216,
      "learning_rate": 2.909090909090909e-05,
      "loss": 0.7359,
      "step": 52
    },
    {
      "epoch": 0.014133333333333333,
      "grad_norm": 0.2593930661678314,
      "learning_rate": 2.5454545454545454e-05,
      "loss": 0.5124,
      "step": 53
    },
    {
      "epoch": 0.0144,
      "grad_norm": 0.23415830731391907,
      "learning_rate": 2.1818181818181818e-05,
      "loss": 0.7128,
      "step": 54
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 0.27328217029571533,
      "learning_rate": 1.8181818181818182e-05,
      "loss": 0.5716,
      "step": 55
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 0.21882164478302002,
      "learning_rate": 1.4545454545454545e-05,
      "loss": 0.5479,
      "step": 56
    },
    {
      "epoch": 0.0152,
      "grad_norm": 0.2591126561164856,
      "learning_rate": 1.0909090909090909e-05,
      "loss": 0.5455,
      "step": 57
    },
    {
      "epoch": 0.015466666666666667,
      "grad_norm": 0.2311299741268158,
      "learning_rate": 7.272727272727272e-06,
      "loss": 0.6588,
      "step": 58
    },
    {
      "epoch": 0.015733333333333332,
      "grad_norm": 0.24080176651477814,
      "learning_rate": 3.636363636363636e-06,
      "loss": 0.7181,
      "step": 59
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.26424649357795715,
      "learning_rate": 0.0,
      "loss": 0.6948,
      "step": 60
    }
  ],
  "logging_steps": 1,
  "max_steps": 60,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2597935040317440.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}