{
  "calls": {
    "with_tools": 240,
    "no_tools": 480
  },
  "median_latency_s_with_tools": 54.75,
  "arms": {
    "schema": {
      "no_tools": 0.2647058823529412,
      "with_tools": 0.23529411764705882,
      "delta": -0.02941176470588236,
      "competing_no_tools": 0.16176470588235295,
      "competing_with_tools": 0.29411764705882354,
      "abstention_no_tools": 0.8333333333333334,
      "abstention_with_tools": 0.5
    },
    "prose": {
      "no_tools": 0.29411764705882354,
      "with_tools": 0.3235294117647059,
      "delta": 0.02941176470588236,
      "competing_no_tools": 0.35294117647058826,
      "competing_with_tools": 0.47058823529411764,
      "abstention_no_tools": 0.8333333333333334,
      "abstention_with_tools": 0.6666666666666666
    },
    "prose_full": {
      "no_tools": 0.7647058823529411,
      "with_tools": 1.0,
      "delta": 0.23529411764705888,
      "competing_no_tools": 0.029411764705882353,
      "competing_with_tools": 0.0,
      "abstention_no_tools": 0.6666666666666666,
      "abstention_with_tools": 0.5
    },
    "vercy": {
      "no_tools": 0.7647058823529411,
      "with_tools": 0.9705882352941176,
      "delta": 0.20588235294117652,
      "competing_no_tools": 0.014705882352941176,
      "competing_with_tools": 0.0,
      "abstention_no_tools": 0.5833333333333334,
      "abstention_with_tools": 0.6666666666666666
    },
    "vercy_pad": {
      "no_tools": 0.8529411764705882,
      "with_tools": 1.0,
      "delta": 0.1470588235294118,
      "competing_no_tools": 0.0,
      "competing_with_tools": 0.0,
      "abstention_no_tools": 0.6666666666666666,
      "abstention_with_tools": 0.5
    },
    "vercy_fed": {
      "no_tools": 0.7794117647058824,
      "with_tools": 1.0,
      "delta": 0.22058823529411764,
      "competing_no_tools": 0.014705882352941176,
      "competing_with_tools": 0.0,
      "abstention_no_tools": 0.6666666666666666,
      "abstention_with_tools": 0.8333333333333334
    }
  },
  "by_family_with_tools": {
    "schema": {
      "COMP": 0.4166666666666667,
      "TEMP": 0.2,
      "XORG": 0.08333333333333333,
      "ABST": 0.5
    },
    "prose": {
      "COMP": 0.4166666666666667,
      "TEMP": 0.5,
      "XORG": 0.08333333333333333,
      "ABST": 0.6666666666666666
    },
    "prose_full": {
      "COMP": 1.0,
      "TEMP": 1.0,
      "XORG": 1.0,
      "ABST": 0.5
    },
    "vercy": {
      "COMP": 1.0,
      "TEMP": 1.0,
      "XORG": 0.9166666666666666,
      "ABST": 0.6666666666666666
    },
    "vercy_pad": {
      "COMP": 1.0,
      "TEMP": 1.0,
      "XORG": 1.0,
      "ABST": 0.5
    },
    "vercy_fed": {
      "COMP": 1.0,
      "TEMP": 1.0,
      "XORG": 1.0,
      "ABST": 0.8333333333333334
    }
  },
  "tests": {
    "schema_vs_vercy": {
      "p_no_tools": 0.00055,
      "p_with_tools": 0.0,
      "better": 25,
      "worse": 0,
      "a_with_tools": 0.23529411764705882,
      "b_with_tools": 0.9705882352941176
    },
    "prose_vs_vercy": {
      "p_no_tools": 0.00151,
      "p_with_tools": 0.0,
      "better": 22,
      "worse": 0,
      "a_with_tools": 0.3235294117647059,
      "b_with_tools": 0.9705882352941176
    },
    "prose_full_vs_vercy": {
      "p_no_tools": 1.0,
      "p_with_tools": 1.0,
      "better": 0,
      "worse": 1,
      "a_with_tools": 1.0,
      "b_with_tools": 0.9705882352941176
    },
    "vercy_vs_vercy_fed": {
      "p_no_tools": 1.0,
      "p_with_tools": 1.0,
      "better": 1,
      "worse": 0,
      "a_with_tools": 0.9705882352941176,
      "b_with_tools": 1.0
    },
    "schema_vs_prose_full": {
      "p_no_tools": 0.00151,
      "p_with_tools": 0.0,
      "better": 26,
      "worse": 0,
      "a_with_tools": 0.23529411764705882,
      "b_with_tools": 1.0
    }
  }
}