| { |
| "6": { |
| "score": 0.9666666666666667, |
| "success": {}, |
| "failure": { |
| "8": { |
| "modification": "(such as:add /delete /modify/ ...)", |
| "score": 0.96 |
| }, |
| "12": { |
| "modification": "Integrate self-ask mechanism before generating answers", |
| "score": 0.49333333333333335 |
| }, |
| "11": { |
| "modification": "Introduce self-ask mechanism before generating answers", |
| "score": 0.8533333333333334 |
| } |
| } |
| }, |
| "1": { |
| "score": 0.9666666666666667, |
| "success": {}, |
| "failure": { |
| "3": { |
| "modification": "(add QAScEnsemble operator for improved solution selection)", |
| "score": 0.96 |
| }, |
| "4": { |
| "modification": "(add a Review operator to evaluate the generated answer before ensemble selection)", |
| "score": 0.11333333333333334 |
| } |
| } |
| }, |
| "3": { |
| "score": 0.96, |
| "success": { |
| "5": { |
| "modification": "modify: Added a step to generate an initial solution before using QAScEnsemble for better context.", |
| "score": 0.9666666666666667 |
| } |
| }, |
| "failure": {} |
| }, |
| "0": { |
| "score": 0.9466666666666667, |
| "success": { |
| "10": { |
| "modification": "add QAScEnsemble operator to improve solution selection", |
| "score": 0.96 |
| }, |
| "1": { |
| "modification": "(add: QAScEnsemble)", |
| "score": 0.9666666666666667 |
| }, |
| "2": { |
| "modification": "add QAScEnsemble operator to enhance solution selection", |
| "score": 0.96 |
| } |
| }, |
| "failure": {} |
| }, |
| "2": { |
| "score": 0.96, |
| "success": { |
| "6": { |
| "modification": "(such as:add /delete /modify/ ...)", |
| "score": 0.9666666666666667 |
| } |
| }, |
| "failure": {} |
| } |
| } |
