| # | images | texts | source | image_correspondence_ratings | image_correspondence_min | visual_dependency_ratings | visual_dependency_min | formatting_ratings | formatting_min | relevance_ratings | relevance_min |
|---|
1
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x06\\x0e\\x00\\x00\\x04\\x0e\\x08\\x02\\x00\\x00\\x00\\x8c\\xd0T\\xd6\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xddw\\xbceU}7\\xfe\\xcfj\\xbb\\x9dv\\xeb4\\x18\\x18\\xaa\\x80T\\xc7F\\xb0\\xa1`\\xc5\\x9a\\x18\\xe3cAED\\xd4\\xa8\\x89\\xcf\\xe3O\\x8d\\xa6\\xf9h4F\\x9f\\xc7\\x08\\x98\\x18{\\xec\\xc6$\\xf6\\x84\\xa0\\x08\\x01\\x1fD\\xb1\\x82\\x88\\x08\\x023L\\xbb\\xed\\xb4]W\\xfb\\xfd\\xb1\\xce\\\\\\x06\\x9d1N\\x02a\\xc0\\xef\\xfbu^w\\xee=\\xb3\\xef>{\\xaf\\xb5\\xf6\\xbeg}\\xcfw\\xad\\xc5\\xb4q \\x84\\xfc\\xc6\\xe3\\x9c\\xd5u3\\x1a\\x8d\\x00t:\\x9d8\\x8e\\x9c\\xf3\\xf7\\xf4A\\x11r_V\\xd7u\\x14ER\\xf2\\xd1(\\xbf\\xe4\\x92K\\xbe\\xff\\xfd\\xef\\xdf\\xff\\xfe\\xf7\\x7f\\xfa\\xd3\\x9f\\xce9\\xbf\\xa7\\x0f\\xed>\\xc59\\xc7\\x18\\xab\\xaa\\xaa\\xdd\\xce\\xc6\\xe3\\xe2s\\x9f\\xfb\\\\Y\\x96/z\\xd1\\x8b\\x84\\x10\\xf7\\xf4\\xa1\\x91{\\x80\\x10\\xac\\xaa\\x1a\\xe7\\\\\\x9a&\\xce\\xf9\\x1bn\\xb8\\xe1\\x92K.\\xf9\\xd6\\xb7\\xbeU\\x14\\xc5\\x9a5kN=\\xf5\\xd43\\xcf<\\xf3\\xa0\\x83\\xd6\\x03\\xa8k\\xad\\x94\\xf2\\x9e\\xfe\\x14\\xde\\x95\\xee-\\xe5o\\x8c\\x89c\\xe5=\\xb46Q$\\x01\\xdc~\\xfb\\xf6\\xeb\\xaf\\xbf\\xfe\\x07?\\xf8\\xc1\\xd9g\\x9f=773\\x18\\x8cz\\xbd\\x0e\\x80\\xd1(o\\xb7[\\xf4\\x96\\x89\\x10r\\xdf\\xc3(TD\\x08\\x01 \\x04s\\x0eEQ\\x00\\xc8\\xb2\\x8csXK\\xef{\\x08\\xb9\\x1b\\t\\xc1\\x8cq\\xde{\\xa5DU5\\xa3\\xd1(\\x8e\\xe3n\\xb7M\\x97\\xde]K\\x08\\x06\\xc090\\x06\\xc60\\x1a\\xe5\\xe3\\xf1x\\xfd\\xfa\\xb5T\\xce\\xbf\\x998g\\xcey\\xef\\xbd\\x10\\x9c1\\x00\\xd0\\xda6M\\x93\\xa6iUU\\x9c\\xf3$\\x89\\x00\\xec\\x19\\xce\\xb8\\x87\\x8f\\xf8\\xbe\\xe5\\xdeR\\xfe\\xce9)\\x85\\xb5\\xce\\x18\\x13\\x0e\\t\\xc0\\xf2r\\xbfi\\x9au\\xeb\\xd6\\x00XZZ\\x99\\x99\\x99f\\x0ceY\\xa7iL\\xf7\\x13B\\xc8}\\x0f\\x85\\x8a\\x08!\\xf0\\xdeK\\xc9\\x01hm\\x01(%\\x00\\x18\\xe3Xx\\x1fG\\x08\\xb9\\x1bTU\\xc5\\x18c\\x8cI)\\xc3E\\x07\\xa0,\\xeb(\\x8a\\xee\\xd9\\x03\\xbb\\x8f\\xd1Z\\'IT\\x14U]\\xd7\\xd3\\xd3\\xbd\\xf0dU5J\\xa9{\\xf6\\xc0\\xc8=\\x821\\x16\\xf2\\xf6\\x8cqM\\xd30\\xc6\\x92$^\\xfd[\\xe7=\\xacu\\xce9\\xef\\xbd\\x10BJN!\\x80\\xbb\\xd6\\xbd\\xa5\\xfcC\\x88\\xd9\\x18g\\x8c\\xe1\\x9c\\x87\\xc4\\xa2Uu\\xad\\x01\\xc4\\xb1\\x02PUM\\x14E\\x94}F\\x08\\xb9\\xef\\xa1P\\x11!\\x04\\xd6Z)%c0\\xc6\\x02\\x90Rx\\x0fc\\x0c\\r\\xd0 \\xe4\\xee\\x13\\x068`woDJ\\xe9\\xbd\\xd7Z\\xc7q|O\\x1f\\xda}\\n\\xe7\\xcc\\xdaI\\xe0\\xdbZ\\xcb9g\\x8ci\\xad)T\\xf4\\x9b\\xa9i\\x1a11I7\\xab\\xebZk\\x1d.\\xbd(\\x8a\\xf8\\x04\\x8cqZk\\n\\xdd\\xde\\xb5\\xee-\\xe5\\xcf\\x18\\x0bcWC\\x1a\\x941\\x861&\\x84h\\x9aFk\\x9d$I\\x08\\x1eimCT\\xeb\\x1e9HB\\x08\\xb9[Q\\xa8\\x88\\x10\\x02\\xe7\\x1c\\xe7\\xdc{\\xef\\x9c\\x03\\x10\\xbaR\\xe1\\xc9{\\xfa\\xd0\\x08\\xb9\\xcfZ\\xfd\\xd4\\xda{\\xcf9\\xe7\\x9cy?\\x89e\\xdc\\xd3\\x87v\\x9f\\xc29k\\x1a\\xbd\\x1a\\x95\\xb3\\xd6\\x86\\xef)[\\xe47\\xd6j\\xd2J\\xb8\\x06\\x7f\\xe9\\x7f\\xe1\\x9c\\x13\\x82{\\x0f\\xad\\xb5\\x94\\xf2\\x97\\xb7!\\xff\\x15\\xf7\\x8a\\xf2\\xb7\\xd6\\x86O\\xd1VS>\\xad\\xf5\\x8c1\\xc6\\xee\\x98\\xbd(\\xcfK\\xcey\\x9a\\xc6\\xa0\\xfb\\t!\\xe4\\xbe\\x88BE\\x84\\x10\\x84\\xcf\\xdb\\x7f!T\\x14\\x9e\\xb9\\x87\\x8f\\x8c\\x90\\xfb\\xae\\x90C\\x04@)\\xc59\\xb7\\xd6:\\xe7\\x84\\x104\\xf0\\xf3\\xaee\\x8c\\x01 \\xa54\\xc6Xk\\xb3,\\x01\\r\\xf4\\xfb\\r\\x16z\\xfb!\\x0c\\xa1\\xb5\\xf6\\xdeK)C\\x8a\\x19c\\xccZ\\x1b\\x1aL\\x14Ea2\\x1d\\n\\x01\\xdc\\xb5\\xee-\\xe5/\\x04\\xd3\\xda:\\xe7\\xa4\\x94B0\\xef\\x11fM\\x12\\x82\\x85Cr\\xce9\\xe7V\\xc7\\xa0Q\\x96\"!\\xe4\\xbe\\x87BE\\x84\\x100\\xc6BTh\\xcf\\x08\\xd1\\xea\\x93\\x84\\x90\\xbb\\x83sn\\xf5\\xf3j\\xe7&\\xf9D\\xab\\xfd\\x10rW\\t\\x99\\x0b\\xde\\xa3i\\xb4R*\\xe4l\\x15EE\\x03\\xfd~3UU\\xa5\\x94\\nY!\\xa1\\xff\\x1ff\\xcf\\xd93\\xbf\\x0f\\x8016\\x8c?\\xa2\\xb1Ew\\xad{K\\xf9\\x87\\xfb\\x86\\xb5\\xde\\x18\\x13\\x0e\\x0c\\x80\\xf7>\\xbc/\\xe2\\x9cK)\\xc3\\xcd\\xc4ZO\\x03Z\\t!\\xf7I\\x14*\"\\x84L\\xb2\\xc19\\xe7Bp`2\\xa9$c\\x8c\\x06\\xc2\\x10r\\xf7Y\\x1d\\xcb\\xd04\\x8dR*|:M!\\x8c\\xbb\\x83s\\xce\\x18\\xa3\\x94\\x92\\x927\\x8d1\\xc6dYB!\\xb9\\xdfLa\\xb9\\xcf0WqX\\
|
[
{
"user": "Click on 'Get monthly updates on new WordPress features, themes, and plugins.'",
"assistant": "click(x=0.4174, y=0.4735)"
},
{
"user": "Double-click on 'Best Software'",
"assistant": "double_click(x=0.4358, y=0.8844)"
},
{
"user": "Double-click on 'Comprehensive guides and tutorials.'",
"assistant": "double_click(x=0.8158, y=0.9297)"
},
{
"user": "Drag to select 'Why Subscribe?'",
"assistant": "drag(from_coord=[0.2, 0.3174], to_coord=[0.3219, 0.3174])"
},
{
"user": "Drag to select 'directly in your email.'",
"assistant": "drag(from_coord=[0.2245, 0.1594], to_coord=[0.3439, 0.1594])"
}
]
|
guienv
|
[
3,
3,
3,
3,
3
]
|
3
|
[
2,
4,
4,
4,
2
]
|
2
|
[
4,
4,
4,
4,
4
]
|
4
|
[
5,
5,
3,
5,
5
]
|
3
|
2
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x05F\\x00\\x00\\x04\\x08\\x08\\x02\\x00\\x00\\x00N\\x06\\x96\\x9e\\x00\\x01\\x00\\x00IDATx\\x9c\\xec}w\\xbc]U\\x99\\xf6\\xb3\\xd6\\xee\\xa7\\xdf~ozH\\x08$@\\x08\\xbdH\\x11\\xa4\\xab U\\x11\\x05\\xa4\\x8c\\x0e3\\x16F\\xd1\\xd1\\x11E\\x1d\\x1d{\\x19\\x1cGG\\x1d\\x07A)\\x02\\x82t$\\xf4$\\xa4\\x90@H\\xef\\xc9Mn\\xbf\\xf7\\xf4\\xb3\\xebZ\\xeb\\xfb\\xe3=gs\\x08E\\x9d\\xd1\\x11\\xe6;\\xcf\\x0f\\xf2;\\xf7\\x9c\\xbd\\xd7^{\\xad\\xb5\\xcb\\xf3\\x96\\xe7e\\xfd\\xfd\\xfd\\x8c1\\xbd\\x01\\xc6\\x98\\x94RJ\\xc9\\x18\\xc3k\\x81s.\\xa5\\xa4\\x0f\\x8c1!\\x84\\xef\\xfbA\\x10\\x000\\x0c\\xc34MM\\xd3\\x94RJ\\xa9\\xbd6\\xde\\xbcy\\xf3\\x11G\\x1c\\x01@J\\xc99\\x7f\\xcd\\xc6[h\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xe1-\\n\\xa5\\x14c\\xec\\xf9\\xe7\\x9f\\xdfo\\xbf\\xfd\\xc20d\\x8cU\\xabU\\xa5T\\x14E\\xa6iZ\\x96\\xa5i\\x9a\\x94\\x92\\xf82c\\xec\\xf5x\\xb7R\\x8a\\x18\\xb7\\x942\\x8a\\xa2(\\x8ah\\xaf0\\x0cu]7MS\\xd7u\\xda@\\xa7\\xb6\\xe8\\xdf?\\xbe\\x8b\\xf4\\x81Z\\'\\xd2\\xae\\x9a@[\\xbe^\\xe7Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xe1\\xff\\x1eb\\x16L|\\x9989}\\xaf\\x94\\x12B\\xd0\\x06\\xff\\r\\xb2L\\\\\\x9bh|\\xfc\\r\\x00N\\\\\\xff\\x8f\\xa7\\xe2\\xf1fdi JO\\xfd#\\xf7~lo\\xf8S\\xbb\\xd8B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0bou\\x10;\\x16B\\x08!\\x88#7\\xfb\\xdb\\xd1\\x88y\\xff\\x93Z#\\xd0\\x8e\\xf4\\r\\xb1x\\x1dM\\x0ev\\xda\"\\xf6\\xc3\\xbf^s\\xf4\\xab\\x10\"\\x0cC!\\x04\\x1a\\x04>>\\x12\\x1d\\xa6\\xc5\\xea[h\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Z\\xf8\\xff\\x10B\\x88(\\x8a\\x88\\xc9k\\x9aF9\\xe9\\xc4\\xe75M#\\xbeL\\x0e\\xfc7\\x80z%\\xe8\\xcbx/jD\\x8f\\xdb\\x12B\\xfc\\x91\\xa6\\x82\\x98\\xff\\xc7\\x04>\\xde1\\x0e$\\xd04\\xed\\x7fr\\xfe-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xf0VD\\xec\\xa5\\'v\\x1c\\xf3\\xe5\\xf8\\xfb\\x98D\\xbf^\\n<\\xfdD\\xb1\\xfaB\\x88\\xe6\\xfc\\xf7\\x98\\xde\\x93i\\x80\\x93$\\x1em\\x1aEQ\\xf3\\xd6\\xaf\\tr\\xe3\\xd3\\xc6\\x14\\xcaO\\x88\\xa5\\xf5\\xa8\\x918a\\xe0/1@-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xf0\\xe6D\\xcc\\xc6\\x89\\\\\\x93\\xc3\\x9b\\xd8q\\xb3\\xdc\\xdd\\x1b\\xf0\\xe5W\\x93t\"\\xdd\\xa44\\x1f\\xfb\\xd7\\x95R\\xf5o\\xf7\\xda\\xfa\\r:G\\x1b\\xc7=\\xd04\\x8dl\\x03\\xaf\\xa6\\xf4\\x7f\\xbc\\xe4^\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xfc\\x9fAs\\x198\"\\xcb\\xe4\\x0bG#&\\x9fX\\xfa\\x1b7\\x12\\xf3\\xeb\\x98\\xd2\\xeb\\xbaN\\x06\\x82\\xe6\\xb4w\\xbe\\x17\\xd1\\x7f\\xe3Fc\\xd3\\x02Q\\xfa8`\\x80\\x88\\xfd^\"y-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xf0\\xff\\x1bbF\\x1c3n\\xa2\\xcf\\x00(\\xf6\\xfe\\x0fR\\xe6\\xe6l\\xf7x\\xf7\\xb8v]\\x9c\\x0e\\xaf\\x9b\\xa6\\t\\x80Z\\x8c\\xbfm\\x0e\\x00\\x88C\\xf6\\xe9O\\xcf\\xf3b\\'<\\xe5\\x00\\x90\\xa9 >*9\\xf0\\xe9\\xa7\\xd7<\\xa5V4~\\x0b-\\xb4\\xd0B\\x0b-\\xb4\\xd0\\xc2\\x9b\\x10\\xad\\xb7\\xb5\\x16Zh\\xa1\\x85\\xff9\\xc8s\\xeey\\x9em\\xdb\\x00,\\xcbRJ9\\x8e\\x13\\x04\\x81\\xef\\xfb\\xa4\\x96\\xa7i\\x1a\\xb9\\xdf\\r\\xc3\\xa0\\xbd\\xf6\\xe2\\xddA\\x10\\xc4N~\\x8a\\xde\\xe7\\x9c\\x93\\xcc^\\x1cb\\x1f\\x86\\xa1\\x94R\\x8f\\x83\\xfbc\\x1b\\x00\\x89\\xd8\\xebz\\xbdd}sV<\\x85\\xd6\\xc7\\xdfPW\\xe2\\x03\\xbff;\\xb1A\\xa2\\xf5lh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\x16Zh\\xe1\\xff\\x1f\\xc4,8\\xf6\\xb1\\x93\\xe8=q\\xeaf\\x85\\xbc\\xbdxwL\\xab\\xd1\\x08\\xdd\\x8f5\\xf6\\xe8\\xcf\\xf8\\x10:\\x99\\x10\\xc86\\x10\\x86!\\xc5\\xf4+\\xa5b\\xc9\\xfaf*\\xde\\x1cW\\x1f\\xfb\\xe7c\\xf1\\xfd\\xd7l\\xc7\\xb2\\xac\\xbd\\xdayc\\xf9\\xbd\\x16Zh\\xa1\\x85\\x16Zh\\xa1\\x85\\xbf4\\xfe\\\\\\x19\\x82\\x7f\\xea+\\xcd_\\xeb\\xb8\\x7f|\\xb3\\xad\\xdc\\xc9\\x16Zh\\xa1\\x85\\xff9\\x9a3\\xe7\\xe3[kL\\xb1c\\x11{4\\x9e\\x0b\\xf1\\xbd\\x97\\xc8r,\\x8cO\\x11\\xf4\\xba\\xae\\x1b\\x86\\x11\\xef\\xaei\\x9ai\\x9a\\x9c\\xf3\\xba\\x97\\x9e\\xfc\\xfe\\xe4\\x93\\'\\x1eN\\xdeu\\xf2\\xe9\\xbf:\\xd3\\x9e\\xf8<9\\xe4\\xa9\\xdd\\xe6]^\\xdd\\x0e\\x05\\xf6\\xb7\\xbc\\xf4-\\xb4\\xd0B\\x0b-\\xb4\\xd0\\xc2\\x9b\\x04\\x7fE\\xef\
|
[
{
"user": "Double-click on 'More'",
"assistant": "double_click(x=0.337, y=0.6483)"
},
{
"user": "Click on 'Maida Vale Library'",
"assistant": "click(x=0.1878, y=0.9525)"
},
{
"user": "Drag to select 'Facebook'",
"assistant": "drag(from_coord=[0.0956, 0.6483], to_coord=[0.1378, 0.6483])"
},
{
"user": "Click on 'Mayfair'",
"assistant": "click(x=0.1226, y=0.9738)"
}
]
|
guienv
|
[
3,
3,
3,
3
]
|
3
|
[
4,
4,
4,
2
]
|
2
|
[
4,
4,
4,
4
]
|
4
|
[
5,
5,
5,
5
]
|
5
|
3
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x06\\xa4\\x00\\x00\\x045\\x08\\x02\\x00\\x00\\x00\\\\\\x179\\xa0\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xddw\\x9c\\x14\\xf5\\xf98\\xf0\\xcf\\xf4\\x99\\x9d\\x9dm\\xb7\\xbbW\\x81;\\xca!M\\x11\\xa4\\xa9\\x88]\\x81(\\x89F\\xc4\\x1e\\xd1\\xa8_M4\\x9aDc\\x89-Q\\xa3_\\x13\\x1b\\xf6.\\xd6\\xa0\\xb1\\x8b\\x8d\\x80\\x82\\xd2D\\x8aH\\xaf\\xd7oo{\\x99^~\\x7f<a\\x7fD9\\xbe\\x1e!A\\xc9\\xf3~\\xf9\\xf2u\\xdc\\xed\\xcd\\xce\\xce\\x96\\x9by>O\\xa1F\\x8e\\x1cI\\x10B\\x08!\\x84\\x10B\\x08!\\x84\\x10B?|\\xf4\\xbe\\xde\\x01\\x84\\x10B\\x08!\\x84\\x10B\\x08!\\x84\\xd0\\xde\\x81\\xc1>\\x84\\x10B\\x08!\\x84\\x10B\\x08!\\x84\\xf6\\x13\\x18\\xecC\\x08!\\x84\\x10B\\x08!\\x84\\x10Bh?\\x81\\xc1>\\x84\\x10B\\x08!\\x84\\x10B\\x08!\\x84\\xf6\\x13\\x18\\xecC\\x08!\\x84\\x10B\\x08!\\x84\\x10Bh?\\x81\\xc1>\\x84\\x10B\\x08!\\x84\\x10B\\x08!\\x84\\xf6\\x13\\x18\\xecC\\x08!\\x84\\x10B\\x08!\\x84\\x10Bh?\\x81\\xc1>\\x84P\\x8f\\xb9\\xae\\xeb8\\x0e\\xc30,\\xcb\\xda\\xb6\\xedy\\x1eEQ\\xba\\xaeS\\x14e\\x18\\x86\\xa2(\\xae\\xebR\\x14\\xe5y\\x9em\\xdb4M\\x9b\\xa6I\\x08\\xb1m\\x9b\\x10\\xc20\\x0c\\xc30\\xc9d2\\x1c\\x0e\\xb3,\\xcb\\xb2,M\\xd3\\xae\\xebZ\\x96\\xe58\\x0e!\\x84\\xa2\\xa8}\\xfc\\xf0\\x10B\\x08!\\x84\\xd0>bYV \\x100\\x0cC\\x10\\x04\\x96e\\xd3\\xe9\\xb4$I\\x8e\\xe3p\\x1c\\xa7i\\x9a \\x08\\xae\\xebr\\x1cg\\xdb\\xb6\\xa2(pz\\xd9#\\x14EY\\x96\\xe5y\\x1e\\xc30>\\x9f\\xcf\\xb2,\\xd34\\x19\\x86\\xb1,K\\x14E\\xc30h\\x9a\\xa6i\\xda0\\x0cQ\\x14-\\xcb\\x82SY\\xd34}>\\x1f\\xc30\\xe5\\xf3\\xdb\\x9e\\xde\\xaf\\xeb\\xba~\\xbf\\x1f\\xee\\x9a\\xe7yB\\x88\\xe38,\\xcbR\\x14\\x05\\xff4M\\xd3\\xef\\xf7\\xcb\\xb2\\\\,\\x16\\xf7`\\xfb\\x08!\\xb43\\xfc\\x10A\\x08\\xf5\\x18EQ4M\\xc3\\xb9\\x0eD\\xfa\\x18\\x86\\xe18.\\x1c\\x0e\\xa7\\xd3\\xe9b\\xb1\\x08q@M\\xd3\\x02\\x81@\\xb1X\\xe48.\\x18\\x0cz\\x9e\\'\\x08\\x82\\xae\\xeb<\\xcf\\xd7\\xd4\\xd4477\\x1b\\x86a\\x9a\\xa6\\xe384M\\xf3<\\xcfq\\x9c\\xe7y\\x96e\\xed\\xeb\\xc7\\x87\\x10B\\x08!\\x84\\xf6\\r\\x96e\\xe1\\xec\\xb1X,\\xf2<\\x1f\\x8b\\xc5L\\xd3,\\x95J,\\xcbz\\x9e\\xa7i\\x9a\\xe7y\\xba\\xae\\x87B\\xa1\\xcd\\x9b7+\\x8a\\xb2\\x07w\\x01g\\xaa>\\x9fo\\xfb\\xf6\\xed\\x8a\\xa2\\x84\\xc3\\xe1l6+I\\x12D\\xf1l\\xdb.\\x7f!IR6\\x9b\\r\\x87\\xc3\\x8a\\xa2l\\xdb\\xb6\\xcd\\xe7\\xf3q\\x1c\\xc70\\xcc\\x1e\\xdc\\xa9\\xeb\\xba\\x85B\\x81\\xe7y\\xd7uK\\xa5\\x92\\xe7y\\x8e\\xe3\\xa8\\xaa\\x9a\\xcf\\xe7M\\xd3\\xf4<O\\x14\\xc5\\xae\\xae\\xae|>\\xaf(\\xca\\x9e\\xdd\\x05B\\x08\\x95\\xb1\\xfbz\\x07\\x10B?<\\x14EA\\xe2^9\\xbf\\x8f\\xa6i\\x96e\\xdb\\xda\\xdaF\\x8d\\x1a\\xb5v\\xed\\xda\\x11#F\\x1cs\\xcc1G\\x1f}\\xb4m\\xdb\\x8d\\x8d\\x8d\\x99Lf\\xe9\\xd2\\xa5\\xcd\\xcd\\xcd\\xb3f\\xcdjnn\\xe68\\x8eeYH\\x00t]\\x17VVq\\x01\\x13!\\x84\\x10B\\x08\\t\\x82\\x00\\xf1\\xb5L&\\xa3\\xaa\\xaai\\x9a\\x15\\x15\\x15\\x83\\x06\\r:\\xef\\xbc\\xf3\\x86\\x0c\\x19\\x12\\x8f\\xc7\\xdb\\xdb\\xdb\\xd7\\xaf_?c\\xc6\\x0c]\\xd7\\xf7 \\xb3\\x0fV\\xac]\\xd7\\xdd\\xb8q\\xe3\\x80\\x01\\x03\\x8a\\xc5\\xa2$I\\xd1h\\xd40\\x0cM\\xd3 \\x9cG\\x08\\xb1,\\xabP(\\xc0\\x8f<\\xcf3\\x0c\\xa3_\\xbf~\\x1b7n\\xac\\xae\\xae\\x86eo\\xd7u{t\\xbf\\xd1h\\xb4\\xa5\\xa5\\xa5\\xba\\xba\\xdaq\\x1cM\\xd3X\\x96%\\x84p\\x1c\\x17\\x8dFM\\xd3loo\\xaf\\xaf\\xafw\\x1c\\xc7\\xf3<\\x96eK\\xa5\\x12\\xa4\\xfb!\\x84\\xd0\\x9e\\xa1F\\x8e\\x1c\\xb9\\xaf\\xf7\\x01!\\xf4\\x03\\xe3y\\x1eM\\xd3Pu+\\x08\\x02!\\x04\\x16$5Mkll\\xfc\\xf9\\xcf\\x7f>i\\xd2$\\x9a\\xa6UU\\xf5\\xf9|p\\n\\x05U\\x0f\\x14E}\\xf0\\xc1\\x077\\xdf|\\xb3eY\\xba\\xae\\x07\\x02\\x01\\xdb\\xb6\\xcb\\xa7J\\xe5$A\\xd82B\\x08!\\x84\\x10\\xfao\\xc3q\\\\*\\x95\\xaa\\xaa\\xaa\\xd24MUU\\xc30~\\xf6\\xb3\\x9f\\x9d}\\xf6\\xd9\\xf5\\xf5\\xf5pnI\\x08)\\x14\\n\\x8a\\xa2\\\\r\\xc9%\\x0b\\x16,\\x10E\\xb1G\\xdb\\x87E\\xebb\\xb1XUUU,\\x16\\xa7N\\x9dz\\xc4\\x11G\\x0c\\x192\\x84a\\x98\\x95+W~\\xf4\\xd1G\\xcf?\\xff<!\\xe4\\xec\\xb3\\xcf>\\xee\\xb8\\xe3\\x0e:\\xe8 \\xdb\\xb6\\xbf\\xfe\\xfa\\xebO?\\xfdt\\xd6\\xacY~\\xbf\\xbf\\xb3\\xb3\\xd3\\xef\\xf7C\\xb8\\xb0G\\xf7\\xeb\\xba\\xae$IW_}\\xf5\\xa1\\x87\\x1e\\x1a\\x8b\\x
|
[
{
"user": "Drag to select '3'",
"assistant": "drag(from_coord=[0.2835, 0.4531], to_coord=[0.2871, 0.4531])"
},
{
"user": "Move to 'DJ Equipment'",
"assistant": "move_mouse(x=0.5141, y=0.1161)"
},
{
"user": "Click on '11'",
"assistant": "click(x=0.2941, y=0.4995)"
},
{
"user": "Click on 'Leftovers will also be available online from Sat 25 Nov at 9am.'",
"assistant": "click(x=0.3206, y=0.2335)"
}
]
|
guienv
|
[
3,
3,
3,
3
]
|
3
|
[
4,
4,
5,
2
]
|
2
|
[
5,
4,
4,
4
]
|
4
|
[
5,
5,
5,
5
]
|
5
|
4
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x04~\\x00\\x00\\x03z\\x08\\x02\\x00\\x00\\x00w\\xe1\\x19\\xd6\\x00\\x00\\x13>IDATx\\x9c\\xed\\xd7\\xc1\\t\\x00 \\x10\\xc00u\\xffu\\xef\\xef\\x14E\\x90d\\x82~\\xbbgf\\x01\\x00\\x00P:\\xaf\\x03\\x00\\x00\\x00\\xfeg\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\x00\\x00r\\xd6\\x0b\\x00\\x00 g\\xbd\\x00\\
|
[
{
"user": "Click on '(519) 888-7465 x77273'",
"assistant": "click(x=0.1713, y=0.6478)"
},
{
"user": "Right-click on 'www.sedar.com'",
"assistant": "right_click(x=0.163, y=0.1489)"
},
{
"user": "Double-click on 'www.sec.gov'",
"assistant": "double_click(x=0.2857, y=0.1489)"
},
{
"user": "Double-click on '[email protected]'",
"assistant": "double_click(x=0.2013, y=0.6713)"
},
{
"user": "Click on '). These factors should be considered carefully, and readers should not place undue reliance on BlackBerry's forward-looking statements. BlackBerry has no intention and undertakes no obligation to update or revise any forward-looking statements, whether as a result of new information, future events or otherwise, except as required by law.'",
"assistant": "click(x=0.4952, y=0.2062)"
}
]
|
guienv
|
[
1,
1,
1,
1,
1
]
|
1
|
[
1,
4,
4,
5,
1
]
|
1
|
[
4,
4,
4,
4,
4
]
|
4
|
[
4,
3,
3,
5,
1
]
|
1
|
5
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x03R\\x00\\x00\\x042\\x08\\x02\\x00\\x00\\x00-\\x17Y\\x84\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xbdg\\xbc\\x14\\xc5\\xd6\\xff[\\x1d\\'\\xc7\\x9d#9\\xe7(A\\x82\\x04A@T\\x92\\x88(\\xa0bD\\x14\\x03\\x98\\x03&L\\xe7(\\xa6\\xa3\\x88d\\x01\\x91 \\x08\\x92D\\xa2\"\\x08\"\\n\\x12$\\xc3\\xce{\\xf2LO\\xf7tw\\xdd\\x17\\xeb\\xee\\xbas\\xf0\\x9c\\xf3\\xfc\\xef\\xff9&\\xf6\\xfa\\xbe\\xd8\\x9f\\xde=\\xdd\\xd5U\\xd5\\xe9\\xd7k\\xd5Z\\xc5QJ\\tR[\\xd14-\\x91Hx\\xbd^BH*\\x95\\x92$I\\xd3\\xb4T*\\xe5p8\\xd8\\x1a\\xc308\\x8e\\xe3y>\\x1e\\x8f;\\x1c\\x0eEQx\\x9e\\xb7X,\\xf0+!\\x84Rj\\x9af*\\x95\\xb2Z\\xad\\xa6i\\xea\\xba.\\xcb2!D\\xd7uQ\\x14M\\xd3\\xe4y\\x1e\\xfe\\xc2.\\xd1h\\xd4\\xe5r\\xc1\\x1aX\\x8e\\xc5bN\\xa73\\x12\\x89\\xd8\\xedvQ\\x14Y\\xf5TU\\x85\\x03q\\x1c\\x07\\xeb\\x13\\x89\\x84\\xddn7\\x0c\\x83\\xe7y\\x8e\\xe3\\xe0\\xe8\\x9a\\xa6Y,\\x96\\xf4eV7@\\xd7uB\\x88(\\x8a\\xacJ\\x1c\\xc7\\xa9\\xaaj\\xb5Z5M\\x93e\\xd90\\x0cB\\x88 \\x08\\xb01\\xc7q\\xb0L)5\\x0cC\\x10\\x04v,\\xd34\\x05AH\\xa5R\\x82 \\xf0<O)U\\x14\\xc5n\\xb7\\xffN\\'\\x0cA\\x10\\x04A\\xfe\\x17\\xf0\\x7ft\\x05\\x90?\\x06]\\xd7S\\xa9\\x94,\\xcb\\xa0\\xf9\\x02\\x81\\x00h#Y\\x96\\x1d\\x0eGII\\tl\\x03\\xa2\\x87\\xe7yEQ@\\x0b\\xdal6\\x8b\\xc5\\xa2\\xeb\\xba \\x08\\xba\\xae\\xeb\\xba\\xae\\xaa\\xaa \\x08V\\xab\\x95\\x10\\xc2q\\x1ch>B\\x88\\xa6i\\x84\\x10\\xd34\\x83\\xc1 |]\\x98\\xa6I\\x08q\\xb9\\\\\\x84\\x90D\"\\x91L&].\\x97\\xa6iN\\xa7SQ\\x14\\xa7\\xd3)\\x8a\\xa2\\xaa\\xaa\\xe1p\\x18J\\x001\\'\\x8a\"h\\xb5h4\\xfak\\x81e\\x9a&lv\\xfa\\xf4i\\x8e\\xe3`\\x19T\\x9a\\xaa\\xaa\\xc1`\\x10J\\xa0\\x94\\xaa\\xaa*\\x8ab*\\x95\\xe2y\\xde0\\x0cV8!D\\x10\\x04EQ\\xa0V\\xa2(\\x82\\xe6\\xd34\\xcd4MQ\\x149\\x8e\\x0b\\x85BP,\\xfc$I\\x12\\xa54\\x10\\x08p\\x1c\\x07\\xcdD\\x10\\x04A\\x90??(\\xfbj/?\\xfe\\xf8#\\xc7q\\xfb\\xf6\\xed#\\x84\\xb8\\\\.\\x9b\\xcd\\x16\\x8dFA\\'\\xf9\\xfd~B\\x88\\xcdf\\x13\\x04\\xc10\\x8cd2\\xc9\\x8cg\\xa0\\x08EQ\\x8c\\xc7\\xe3 \\xc8\\xacV+\\x18\\xbdTUUUU\\xd7\\xf5@ @\\x08\\x01!%\\x8a\\xa2\\xcf\\xe7\\x03\\x0b\\x99\\xc5b\\xa1\\x94\\xc6\\xe3qB\\x88\\xd3\\xe9\\x04\\xf9\\x95H$\\xe0X\\x94R\\xd8\\xc6\\xe3\\xf1\\x80\\x06%\\x84\\xe8\\xba>w\\xee\\xdc\\xee\\xdd\\xbb\\xaf\\\\\\xb9\\x12\\xec\\x82\\x84\\x10\\xd34\\xbf\\xfa\\xea\\xabV\\xadZ\\xd9\\xed\\xf6\\xc2\\xc2\\xc2i\\xd3\\xa6\\x85\\xc3\\xe1\\xbau\\xeb\\xc2O\\xa6i\\x82\\xca\\xb4X,>\\x9f\\x8f\\x10\\xf2\\xd3O?]s\\xcd5\\x99\\x99\\x99\\xf9\\xf9\\xf9c\\xc6\\x8c9s\\xe6\\x8c(\\x8a\\x8a\\xa2PJ\\xd7\\xad[\\x97\\x97\\x97\\xe7r\\xb9\\x86\\x0c\\x192\\x7f\\xfe|\\xbb\\xdd\\x0e\\x95?t\\xe8\\xd0\\xa0A\\x83\\x1a5j$\\xcb\\xf2\\xe8\\xd1\\xa3\\x93\\xc9$X\\x04\\t!\\xb1Xl\\xdb\\xb6m\\xb7\\xddv\\xdb\\xc3\\x0f?L\\x08\\xf1z\\xbd\\xa9T\\xeaw:g\\x08\\x82 \\x08\\xf2\\xbf\\x00e_-\\x85R\\xca\\xf3<!\\xc4j\\xb5\\x06\\x83AI\\x92\\x92\\xc9\\xa4\\xc3\\xe1\\x00\\x9dd\\xb5Z\\xc3\\xe10h/\\xb0\\xe4\\x81N\"\\x84\\xb8\\xdd\\xee\\xf4B@\\xc3\\x19\\x86\\x01V@\\xd8\\xd2\\xef\\xf7\\xa7R\\xa9\\x8c\\x8c\\x0cBH\"\\x91\\x88D\"\\x84\\x10\\xf0 s\\x1c\\x07V\\xc3d2)\\xcb\\xb2 \\x08^\\xafWU\\xd5X,&\\x08\\x02X\\xd1\\x08!\\xa2(\\x1a\\x86\\xf1\\xf8\\xe3\\x8f\\xbb\\xdd\\xee\\xc7\\x1f\\x7f\\xfc\\xeb\\xaf\\xbf>~\\xfc8\\xd8\\x05UU=t\\xe8P\\xdf\\xbe}o\\xb9\\xe5\\x96\\x9d;w\\xce\\x9a5k\\xf6\\xec\\xd9\\xcf?\\xff<!$\\x10\\x08\\xf0<\\x0f\\xedRU\\x15*\\xb9u\\xeb\\xd6\\xd1\\xa3G\\x17\\x14\\x14l\\xd8\\xb0a\\xc1\\x82\\x05\\xe7\\xcf\\x9f\\x1f0`\\x80\\xae\\xebv\\xbb}\\xdd\\xbauW_}\\xf5\\x03\\x0f<p\\xe0\\xc0\\x81\\xde\\xbd{\\xdfv\\xdbm\\xdb\\xb6ms8\\x1c\\xb1X\\xacg\\xcf\\x9e\\xcd\\x9b7\\x9f3g\\xce\\xce\\x9d;\\x8f\\x1d;6`\\xc0\\x00A\\x10\\xe2\\xf1\\xf8\\x9a5k\\xbat\\xe92h\\xd0\\xa0E\\x8b\\x16\\x81\\xdaK$\\x12\\xe9\\x0ee\\x04A\\x10\\x04\\xf9\\xf3B\\x91\\xda\\xca\\x8e\\x1d;\\x9cN\\xe7\\xd6\\xad[\\xe1\\xdfd2I)\\x05\\xa7m \\x10\\x80\\x95\\xc1`PUU\\xb6K,\\x16\\xa3\\x94\\x9e={\\xf6\\xd7\\xa5\\x95\\x96\\x96RJal_2\\x99\\x8cD\"\\x94\\xd2x<\\x0e\\xbfVWW\\xa7\\x97@)\\x05c[zi\\xb0q4\\x1a\\xd54\\r*\\xf3\\xf7\\xbf\\xff}\\xd3\\xa6M\\xaa\\xaa\\x16\\x14\\x14\\xcc\\
|
[
{
"user": "Click on 'https://www.youtube.com/watch?v=UjI_bspcUHA&ab_channel=WinnerBrain'",
"assistant": "click(x=0.5312, y=0.2486)"
},
{
"user": "Drag to select 'Hi Emma Watson, you are my greatest idol. Weren\u2019t you even a couple with Tom Felton? I would really like to get in touch with you because you are my greatest idol of all. What is your email address, or your address, i.e. your normal address, not your fan address. With the greatest fan love, your Greta.'",
"assistant": "drag(from_coord=[0.1929, 0.8063], to_coord=[0.8729, 0.8063])"
},
{
"user": "Double-click on 'Hi Emma Watson? I\u2019m Ashlie Harman from Indiana and I saw your video on'",
"assistant": "double_click(x=0.5276, y=0.2225)"
},
{
"user": "Drag to select 'January 26, 2021'",
"assistant": "drag(from_coord=[0.1929, 0.7225], to_coord=[0.3282, 0.7225])"
}
]
|
guienv
|
[
3,
3,
4,
3
]
|
3
|
[
5,
1,
4,
4
]
|
1
|
[
4,
5,
4,
4
]
|
4
|
[
5,
5,
5,
5
]
|
5
|
6
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x06\\x0e\\x00\\x00\\x03\\xe8\\x08\\x02\\x00\\x00\\x00\\x89j\\x92\\xc7\\x00\\x00\\xee\\x90IDATx\\x9c\\xec\\xfdw\\x9cmea\\xe8\\xff?k\\xf7=\\xf5\\xcc9s*]\\x94\\xa2\\x14A\\x90\\xa6\\x14\\x01)\\n\\x82\\x08\\x08X\\xae\\x10\\x90`\\x89]A\\x8d\\xb9\\x8aF\\x8dF%\\x1a\\xd4\\xd8\\x90P\"`T\\x10\\xb1\\x10\\x91&\\x8a`\\x01\\x1bR\\x0fp\\xe0\\xb4\\xa9{v\\xdf{\\xfd\\xfex\\x16\\xfb{~*\\xde\\x9b\\\\\\x89W\\xef\\xfb\\xfd\\xca+\\xaf\\x999{\\xaf\\xbd\\xd6\\x9a\\x91\\x99\\xf9\\xccS\\x924M\\x03\\x00\\x00\\x00\\x00\\x84\\x90\\xfbS\\x9f\\x00\\x00\\x00\\x00\\x00\\xff\\xb7\\x90\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x02\\x00\\x00\\x00 #\\x15\\x01\\x00\\x00\\x00\\x90\\x91\\x8a\\x00\\x00\\x00\\x00\\xc8HE\\x00\\x00\\x00\\x00d\\xa4\"\\x00\\x00\\x00\\x002R\\x11\\x00\\x00\\x00\\x00\\x19\\xa9\\x08\\x00\\x00\\x00\\x80\\x8cT\\x04\\x00\\x00\\x00@F*\\x0
|
[
{
"user": "Move to 'I BUILT MY SITE FOR FREE USING'",
"assistant": "move_mouse(x=0.4058, y=0.9715)"
},
{
"user": "Double-click on 'Home'",
"assistant": "double_click(x=0.8174, y=0.731)"
},
{
"user": "Move to 'Copyright \u00a9 2023 All rights reserved'",
"assistant": "move_mouse(x=0.2042, y=0.758)"
},
{
"user": "Drag to select 'Website builder'",
"assistant": "drag(from_coord=[0.2194, 0.777], to_coord=[0.2813, 0.777])"
},
{
"user": "Right-click on '-'",
"assistant": "right_click(x=0.2161, y=0.777)"
}
]
|
guienv
|
[
3,
1,
1,
1,
1
]
|
1
|
[
4,
5,
4,
4,
5
]
|
4
|
[
4,
4,
4,
4,
4
]
|
4
|
[
1,
5,
3,
5,
5
]
|
1
|
7
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x03\\xb4\\x00\\x00\\x03\\xa5\\x08\\x02\\x00\\x00\\x00\\xd2/<\\xc7\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfdg\\x90\\x1cU\\xde\\xed\\x8d\\xee\\xf4>\\xb3\\xb2\\\\W\\xfbn\\xb5$\\xe4`\\xb0\\x02\\t\\x8f\\x04\\x08o\\x06\\x18\\x18\\xe1\\xbd\\x1b\\xbc\\x99\\x19\\xbc\\xb7\\xc2{\\xef\\xadp\\xc2\\x08\\x10\\xde#\\x10FB^j\\xa9}\\xf9J\\xef3\\xf7\\xfba\\xcf\\xe8\\xdc\\x1b\\xe79\\x11\\xf7\\x8d\\xe7\\x893p\\xa3~A\\x10\\x98\\xea\\xae\\xac\\xcc\\xa4X\\xfb\\x9fk\\xaf\\x85}\\xbcx-\\xf8\\x1d\\x01q,\\xae\\xd5+\\x87\\x1dp\\xc0)g\\x9f=w\\xee\\\\\\x08a\\x14E\\x04A\\x00\\x00 \\x84\\xbe\\xefs\\x1c\\xc7q\\x9ceY\\x04A$IBc\\x84i\\x9a\\x1c\\xc7\\x11\\x04\\x11\\xc71M\\xd3,\\xcb\\xd6\\xebu\\x9e\\xe7}\\xdf\\x07\\x00d2\\x99u\\xeb\\xd6\\xa5\\xd3i\\x86a\\x82 \\x08\\xc3\\x90$I\\x92$\\xa3(bY\\xb6\\xd1h\\xa8\\xaa\\x1a\\x04\\x81\\xeb\\xba\\xa9T\\x8a$\\xc9b\\xb1\\xd8\\xd3\\xd33<<L\\x92\\xa4(\\x8aa\\x182\\x0cS\\xab\\xd52\\x99L\\x92$\\xba\\xae\\x0b\\x82\\x10\\xc71\\x86a\\x86a\\x9cu\\xd6Y\\x07\\x1dt\\xd0\\x81\\x07\\x1e\\x08\\x00P\\x14\\xc5q\\x9c$\\xc6)\\x8a\\xf2<O\\x10\\x04\\x0c\\xc34McY\\x16\\xc7\\xf10\\x0c\\x1b\\x8d\\xc6\\xf1\\xc7\\x1f\\xff\\xd1G\\x1fQ\\x14U*\\x95dY\\x8e`\\x08p\\x1c\\xe0\\xd0\\xf7C\\x1c\\xc7%I1M\\x93cx\\xdb\\xb69\\x9aJ\\xa9\\xf2\\xc8\\xc8\\x08\\x84Q.\\x9b\\xd5\\xb4z\\x1c\\x87/\\xbf\\xfc\\xea\\t\\'\\x9c\\x14\\x06\\x91(\\x8a\\xba\\xae\\'I\\xa2\\xaa\\xaa\\xeb\\xba\\x10B\\x8a\\xa2\\xc20\\x0c\\x82@\\x96e\\x82 j\\xb5\\xda\\x93O>\\xb9x\\xf1\\xe2W^ye``\\xa0\\xbd\\xbd=\\x0cC\\x00\\x00\\xc7q\\x8e\\xe3`\\x18\\xe6\\xbanwww\\xa9T\\x82\\x10\\xe28\\x0e!$I\\x92\\xa2(\\xcfw\\x01\\x00\\x14E9\\x8e\\x83\\x01\\x9ceY]\\xd7s\\xb9\\x9c\\xa6\\x194M\\xe38n\\x18\\x86\"\\xab\\x10B\\xcf\\xf3h\\x86\\x04\\x00\\xdc{\\xef\\xdd\\xaa\\xaa\\x1es\\xcc1\\x14E}\\xf2\\xc9\\'\\x97]t\\xd1G_~\\x89\\xe38EQq\\x1cS\\x14e\\x18\\x86,\\xcbI\\x92DQDQ\\x14\\x840\\x8e\\xe3$I\\x14E\\x19\\x19\\x19I\\xa7\\xd3Q\\x14a\\x18\\xf6\\xbf\\xde\\x17\\xc36\\xbdo\\xa3\\xd1\\x90e\\xb9R\\xa9\\xe4\\xf3y\\x00\\xc0\\xe8\\xe8h&\\x93\\x11\\x04A\\xd7u\\x1c\\xc7\\xd1\\xef\\x07\\x00$I\"\\x08B\\xb1Xd\\x18\\x86a\\x98$I0\\x0c\\xc30,I\\x12\\x96e\\x93$!\\x08\\xc2\\xb2,\\x86a4MSU\\x95\\xe3\\xb8R\\xa9\\x94\\xc9d8\\x96i4\\x1a\\x9e\\xe7\\xb1,K\\x914\\x00\\xc0rl\\x9a\\xa6k\\xb5\\xc6)\\xa7\\x9c\\xf2\\xeak\\xf3\\x05A\\xa8k\\x06\\x8e\\xe3\\xd9l\\xb6\\xd1\\xa8\\xf14cY\\x86 \\x08\\xbe\\xef\\xab\\xaa:::\\xca\\xb2,\\xc30\\xe8f\\xa3i:\\x08\\x02\\x9a\\xa6=\\xcfS\\x14%\\x0c\\xc30\\x0c\\xff\\xcb\\xfb\\x81\\xa2(\\xd34\\xff\\xf1\\x8f\\x7ftuu\\x9dq\\xc6\\x19\\x92$i\\x9a\\x96\\xc9d\\x82 @W\\x07\\x00\\xc0\\xf3|\\x92$q\\x1c\\xbb\\xae\\x8b\\xe38z#\\xcf\\xf30\\x0c\\xbb\\xe6\\x9ak\\xb6\\xd9f\\x9b\\x03\\x0f<0\\n\\x01A\\x10$I:\\x8e\\x03A\\xfc\\xfc\\xf3\\xcf\\x7f\\xff\\xfd\\xf7w\\xdf}\\xb7(\\xf2A\\x10(\\x8a288\\xc8\\xf1l:\\x9d.\\x16\\x8b\\x8a\\xa2\\xe0\\x18a\\x18\\xc6\\xdc\\xb9s\\xef\\xbb\\xef>UUY\\x96UUuxx\\x98\\xa2(\\x9e\\xe7?\\xf8\\xe0\\x83\\x8f?\\xfe\\xf8\\xc6\\x1bo\\x14Eqtt\\xf4\\xc09s\\xae\\xbb\\xf5\\xe6Y\\xb3fa\\x18V.\\x97\\xdb\\xdb:j\\xb5\\x9a,\\xcb\\xae\\xeb\\xd24\\xcb\\xb2l\\xa5RaY\\x96\\xc0\\xa9$Ix\\x9e\\x1f+\\x15%%\\r\\xb1\\xff\\xccwG\\x93&M\\x9a4i\\xf2?\\x02\\xf9\\x9f>\\x80\\xff_AB\\xb6^\\xaf_z\\xe9\\xa5\\xaa\\xaaFQ\\xb4\\xd5V[\\x9d~\\xfa\\xe9Q\\x10]|\\xf1\\xc5\\xabW\\xaf>\\xf8\\xe0\\x83\\xe7?\\xff<\\xa0\\xe9\\xddv\\xdf}\\xd6\\xacY\\xcf?\\xff|\\xb9\\\\\\xc60\\xec\\xca+\\xaf\\x9c5kV\\xb5ZE\\n\\x83\\xe7\\xf9\\xef\\xbe\\xfb\\xee\\xfa\\xeb\\xaf\\xdfe\\x97]\\xb2\\xd9\\xec\\x82\\x05\\x0b\\xae\\xb8\\xe2\\x8a\\xbe\\xbe\\xbe\\xa7\\x9f~z\\xf9\\xf2\\xe5a\\x18\\x8e\\x1f?\\xfe\\x94SN\\xe9\\xe9\\xe9\\xf9\\xec\\xb3\\xcf\\xee\\xb9\\xe7\\x9e\\xae\\xae\\xae\\r\\x1b6\\xec\\xb6\\xdbn\\xc7\\x1dw\\x9ca\\x18\\xdd\\xdd\\xdd\\x8f>\\xfa\\xe8\\x82\\x05\\x0bZZZ\\xba\\xba\\xba\\x06\\xd6\\xac\\xa1izxx\\xf8\\xfe\\xfb\\xef\\xff\\xe1\\xab\\xaf\\xe6\\x9ex\\xf2\\t\\xc7\\x9f\\xb4a\\xc3\\x86\\x17_|q\\xe9\\xd2\\xa5\\xd7^{\\xed\\xe6\\x9bo^.\\x97\\x0b\\x85\\xc2o\\xbf\\xfd\\xf6\\xe2\\x8b/\\xba\\xae{\\xca)\\xa7l\\x
|
[
{
"user": "Click on 'Mark Hunter \u2013 The Sales Hunter'",
"assistant": "click(x=0.2031, y=0.4582)"
},
{
"user": "Double-click on 'Jennifer David \u2013 Writing Of A Mrs.'",
"assistant": "double_click(x=0.2126, y=0.8826)"
},
{
"user": "Move to 'Michael Margolis \u2013 Get Storied'",
"assistant": "move_mouse(x=0.1999, y=0.381)"
},
{
"user": "Right-click on 'Broc Edwards \u2013 Fool With A Plan'",
"assistant": "right_click(x=0.2073, y=0.7862)"
},
{
"user": "Right-click on 'Bruce Zimmerman \u2013 Continuous Innovation'",
"assistant": "right_click(x=0.2041, y=0.6801)"
}
]
|
guienv
|
[
1,
1,
3,
3,
3
]
|
1
|
[
4,
4,
4,
4,
4
]
|
4
|
[
4,
4,
4,
4,
4
]
|
4
|
[
5,
3,
5,
5,
5
]
|
3
|
8
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x07j\\x00\\x00\\x03v\\x08\\x02\\x00\\x00\\x00\\xb7\\x84\\x9e>\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfd\\xd9\\x93$W\\x96&\\xf8}\\xe7\\xdc\\xab\\x8b\\xad\\xbe\\xc4\\x1e\\x81@`O\\xec(\\xe4\\x82DVn\\xb5fUW/\\xd5\\xd5{KszfZ(\\x94!e^\\x86\"\\xe4\\x03\\xf9\\xc4\\x17\\xf2\\xef\\xa0\\x8c\\xc8\\x90#\\x14\\x92\\xc3a7{\\xa9\\xae\\xbd\\xb22++\\x91\\xd8\\x12@`\\x8d\\xdd\\xc3#|\\xb7U\\x97{\\xcf\\xe1\\x83\\x9a\\xb9{Dx\\x00\\xe1\\xe8\\x0c\\x00\\xd98?\\x81(\\xcc\\xcd\\xcd\\xd4\\xd4L\\xd5\\xd4C?=z.\\xfd\\xaf\\xfe\\xc3G8\\x0cU=\\xcc\\xc3\\x85\\x00@v\\x9f\\xb8\\xfbt\"\\xda?\\xc3\\xdd\\xfbU\\xe9^\\x16`\\xfexQT\\xcd\\xfc\\xef\\r\\xabx\\x80\\xef\\xfd\\r\\xec.\\xe7\\x81\\x8bq\\xc7\\xbd\\x0c8\\xe8!\\xe6o\\x8c1\\xc6\\x18c\\x8c1\\xbf\\x18$@\\x04\\x1dp|t\\xb8\\xe3\\x9a\\xbb\\x12\\xe2p\\xef\\xc7_JLH\\x15\\xbc\\xbb\\x00w[\\x8c]\\x0e\\xb7\\x1c0\\xdev\\xd8x\\xc0\\xfd\\xf0\\x87Y\\xfeO^\\x00c\\x8c1\\xc6\\xdc\\xe6p\\x7fk\\x7f\\xe1\\x0e\\xfa\\xc7J\\x00\\xc0\\x80\\x1c4%U\\x05\\x18\\x88\\xd0\\xd9\\xfd\\xcaB\\xcdT\\xeea\\n\\x86\\x08\\xe4n\\xf3?hJw\\xb9_\\x0f\\xb8\\x9f\\x98U\\x84\\xf80\\xf3\\xb7\\xa9MmjS\\x9b\\xda\\xd4\\xa66\\xb5\\xa9Mmj\\xd3_\\xc4\\x94\\x84\\xf5n\\xc7;\\x879\\xae\\xf9\\x98\\xe9\\xa1\\x8e\\xbf\\x00\\x90\\x10\\x04\\x00\\x81\\x00@?1\\xc0u\\xb7\\x1d0Z\\xe0k\\x8c1\\xc6|\\xbe\\xe8s\\xac>\\xdeWq\\xac{\\x8f\\xd7\\x00\\x12R(\\xe1\\xb6\\xa9@\\x9b\\xdb\\x10\\x9d\\xdd\\x0f\\x86\\xb0\\x82IYI>y\\xca\\x01\\x1a\\xf4.\\xf3\\xb7\\xa9MmjS\\x9b\\xda\\xd4\\xa66\\xb5\\xa9MmjS\\x9b\\xdeu\\nf\\xf8C\\x1d\\x7f\\x11\\x89\\xcc\\xab\\xa1w\\x83\\xe0\\xbb\\'\\xc2L\\xd8\\xbbZt\\xff\\xe3\\xad\\xfa\\xd8\\x18c\\x8c\\xf9\\xbc|n\\xf1\\xf1\\x9d3TU\\x86@\\x84!\\xf7\\xb2\\x00M!\\xb2\\x8a\\x872@\\x80~\\xf2\\x94\\xe2!\\x9b]\\x1c\\x96\\x1cx\\xa5\\x981\\xc6\\x18c\\x8c1\\xc6|\\x16\\x94w\\xe3\\xd7\\xfb\\x80\\t\\xe9\\xbd\\x1f\\x7f\\tE\\xe2\\x00\\x92{\\x08\\x8e\\x01@\\xc1J\\x0c\\xf0\\xc7<\\xde\\xe2cc\\x8c1\\xe63\\xf6Ei^1\\xbb\\xa1\\x9e\\xe5\\xe3\\xfe\\x9e\\xeb\\xbc5\\xf2\\xec\\x86\\x12fs\\xb8\\xb7\\xcb\\xad\\x14\\xd0\\x1ct\\xa8\\x04\\xfcP\\xc4\\x12dc\\x8c1\\xc6\\x18c\\xcc\\xe7c\\x96\\x1d\\xdf\\xb7\\xf8Xi\\x1e\\xbf\\xde\\xd3\\xf1\\x97S\\x90z%\\xc5=\\x95\\x1eC\\x08\\xc4*$\\xbb=+\\xacy\\x851\\xc6\\x18\\xf3\\xb9\\xfb\\xdc\\xe2\\xe3\\xfde\\xc8\\xfbC\\xe4\\x08\\xe2O\\x1azn\\xef\\xf1\\x88z\\xa8\\xb8VY\\x81\\xfb;\\xb4]se\\x971\\xc6\\x18c\\x8c1\\xc6|\\xd6\\xe8>W\\x1f\\x0bA\\x0fw\\xfcELM;\\xe3\\xdd\\xae\\xc7w/\\xe6Q\\x08\\xa9\\xce\\x9a$\\xefK\\x90aU\\xc3\\xc6\\x18c\\xcc\\xe7\\xe7s\\xae>\\xc6\\xad\\xd9\\xb1\\x92\\n+\\x10\\xef\\xf1\\xf1 9d3\\x8a\\xddf\\x17\\x87^\\xbc\\xdb\\xdc\\xf5\\x9f/\\x14\\xee}\\xe6\\xc6\\x18c\\x8c1\\xc6\\x18\\xf3\\x8b#P\\x1cx<u\\xe8\\xe3\\x9a\\x83\\x1f-\\xc4\\xe1P\\xc7_\\xa0\\x14\\x1a\\xef\\xb1y\\x05\\x00\\x07\\xdd\\r\\x9a\\xad\\xf4\\xd8\\x18c\\x8c\\xf9\"\\xf8\\xfc\\xe3\\xe3F\\xf3\\xaf\\x19\\xa7\\xb1\\x13\\n\\xc6\\xc7%\\xb0\\xb7\\xf6P\\x16\\xd5x\\x88f\\x14J\\xaat\\xa8\\xb3\\xf1\\x9f\\xea\\x9fY\\xd6\\xbc\\xc2\\x18c\\x8c1\\xc6\\x18\\xf3\\xb98\\xf8`\\xe7\\x17\\x13\\x1fC\\x88\\xf4P\\xc7_`\\xd7\\x94\\xef\\xdc\\xd6\\xb3\\xf8@\\x91|\\xe5\\xf2H\\xce\\x82cc\\x8c1\\xe6\\x8b\\xe3\\xae\\xf1\\xf1\\xdeX\\x04w\\x19\\xf2\\xee6wy\\x80\\xeeNo\\x9b\\xcfm7\\x9ai+\\x14\\xff\\x87\\xbf\\xffR\\xef\\xde\\x17\\xdf\\x18c\\x8c1\\xc6\\x18c\\xcc\\x7f\\x16\\x86\\xc0\\xff\\xf9\\x7f\\xfa\\xc9\\xd0\\xb7\\xef\\xfd)z\\x97^\\x18wK\\x9fw\\x8fCo\\x1f\\x82\\xefpC\\xc4\\x1bc\\x8c1_\"\\x9fQ\\xf5\\xf1=\\xfe1\\xf6\\x12:@G\\xef\\xb9\\xff\\x83\\xf2\\xac\\x13\\xc5\\'\\x8f\\xfa;\\x9f\\xd2}\\x1e\\xdaN\\xbf(\\x05\\xdd\\xc6\\x18c\\x8c1\\xc6\\x98/\\x9d\\xfb\\xdaL\\xef>\\x1f\\x7f\\ty/\\xf7\\xb4\\xfcV\\x9el\\x8c1\\xc6|f>\\x8b\\xac\\xf3\\xce\\x8a\\xe3\\xbb>\\x92$\\x00\\x91\\xea{\\x9d51\\x9aq\\x18\\xeem\\xe4_@\\x80x?\\x9bK0\\x08\\xf7s\\xa8\\nc\\x8c1\\xc6\\x18c\\x8c\\xb9\\x9b\\xfb|\\xbcs\\xf8\\xe3/>\\xcc\\xf2\\x04x\\xfd\\xa4\\xacy\\xff\\x90z\\x96 \\x1bc\\x8c1\\x9f\\x81\\xfb\\x1e\\x1f\\xdf\\xad[\\xc5\\x81\\x84X\\x01=\\xdcR\\xc5CN\\xef\\xebH\\xc4t\\x9f\\xe7o\\x8c1\\xc6
|
[
{
"user": "Double-click on '\u201cYou Wanna See Something?\u201d, centered around the main characters all realizing that they needed Fanny\u2019s dance studio \u2013 and each other. This, of course, is the challenge when you have a finale that burns everything down as effectively as Michelle\u2019s macing of'",
"assistant": "double_click(x=0.3775, y=0.7223)"
},
{
"user": "Double-click on 'Posted by'",
"assistant": "double_click(x=0.1589, y=0.8544)"
},
{
"user": "Right-click on 'How I Resist'",
"assistant": "right_click(x=0.0643, y=0.4989)"
},
{
"user": "Click on 'Email This'",
"assistant": "click(x=0.1586, y=0.8747)"
},
{
"user": "Click on 'LGBTQIA+ Book Reviews'",
"assistant": "click(x=0.0861, y=0.4616)"
}
]
|
guienv
|
[
3,
3,
3,
3,
3
]
|
3
|
[
4,
4,
4,
4,
2
]
|
2
|
[
4,
4,
4,
4,
4
]
|
4
|
[
1,
5,
5,
4,
5
]
|
1
|
9
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x05V\\x00\\x00\\x04$\\x08\\x02\\x00\\x00\\x00\\x19\\xc6\\xd2;\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfd{\\xccnYZ\\x10\\xfa>\\x971\\xc6\\xbc\\xbc\\xb7\\xef\\xb6n\\xb5\\xea\\xd2U\\rm\\xd3@\\xb3E J\\x8e\\xe4d\\x9b\\xb4\\xeelO\\x88\\x104zT\\x08z\\x12\\xa3F\\x83\\x9e`\\xe2\\x1f\\x98t\\xe4\\x0f\\x8e\\x124\\x12\\x0f9\\xff\\xa8h\\x08\\xf1\\x82l\\xe3m\\xc7-bC\\xd3\\xdc\\x1a\\x10A\\xa0\\xa1\\xbb\\xban\\xeb\\xf6\\xdd\\xde\\xeb\\xbc\\x8d1\\x9e\\xe7\\xfc1\\xbfo\\xadUUkuW\\xd3\\xb5\\xaaL\\xf5\\xf3\\xcb\\xaaY\\xef\\xf7~\\xefe\\xbes\\xcew~\\xf3y\\xc6\\x18\\xcf\\xc0\\xff\\xdf\\x1f\\xf9\\xbf\\x01\\x13(GQ\\x01B\\xef\\x95|\\x04\\xd9\\xacw\\xe4)\\xabt\\xfd\\xd6{\\xff\\xf4\\xd37?\\xf8\\xc1\\x0f<\\xf7\\xf4\\xf5\\x05\\xbb\\xa6\\xd9\\xe6\\xa2l\\x91\\x7f\\xfb\\xee\\xbd\\xff\\xfd/\\xfd\\x15 \\x0f\\xde\\x03\\xf8\\x0c\\xa4@\\x00\\xc0\\x00\\x08\\x00\\n\\x17\\x10\\x8c1\\xc6\\x18c\\x8c1\\xc6\\x18\\xf3\\xbb\\'\\tb\\xfe\\x7f\\xfd?\\xfe\\xf7\\xc9\\xa4\\xfe\\xda\\xaf\\xfd_\\x9e{\\xe6\\x99\\xaf\\xfa\\xaa\\x0f\\x1e\\xde\\xbc)\\xed\\x86\\n\\x0f\\xb9\\xef6\\x9b\\x94\\xfa\\xa6i~\\xf9W>\\xf9\\xdf\\xff\\xdb\\xaffM\\x18\\xb8\\x1dv\\x90%\\xa6~Z\\x16\\x07\\x07\\x07\\xae\\xef{`\\x12\\xa5\\x94U\\xd9y\"v\\x8e\\x91\\xab\\xe9DQR\\x1aD\\xca\\xa2\\xf4\\xde\\xfb\\x94\\xd2n\\xdb\\x8a\\xa4\\xd5\\xea|\\x93e+pw\\xd7\\\\\\xc4\\xf7\"@\\xef\\xf6\\xe60\\xc6\\x18c\\x8c1\\xc6\\x18c\\xde\\xcb$\\xa5~\\xb3\\x89\\xaf\\xbc\\xfaR\\xd7\\xac\\x8b\\x82\\x9dg\\xef\\xb9\\x90A5\\xdf;=\\xbeu\\xebUI\\x83\\xf7\\xfeC_\\xf5\\x95E]\\x00\\xc1\\xae\\xdb\\xf5\\xcdn\\xb3]I\\xcaep\\xae\\x8b\\x03&\\x14\\xa5A\\x14\\xbd\\xa2\\xf7\\xa0\\x8a\\xa4E\\xe1\\xb3\\x8ajv\\xc1\\x87\\x10\\x88h\\x18\\x86\\xf5z\\xbdi\\xb6\\xa7\\xa7\\xa7\\xc7\\xbb\\xddy?l\\x89!%(\\x03\\x08Z\\n\\xc0\\x18c\\x8c1\\xc6\\x18c\\x8cy\\x824\\x12\\xcb0t\\xf7\\xee\\xddn\\xda\\xd5\\xe2p\\xbew4\\xdb\\xdb\\x9b\\x17\\x03#\\xc2\\xbd\\x93\\xbb\\xbf\\xfd\\xe9O1\\xd2s\\xef{\\xe6\\x85/\\x7fa\\xbe7W\\xa4\\xb6o7\\xab\\xf5\\xea\\xfct\\xb5<i\\x9a\\xc6\\x01\\x00 \\x01 \\x91\\x02\\xa2\\x80\\xe4\\x9c\\xb3fv\\xa8\\xaa\\x02\\x9as\\xee\\xfb\\xbei\\xda\\xcdfG\\x92\\xe3j\\xb5Y\\xaf\\xd7\\xbb\\xdd\\xb2\\x1d\\xfaP^\\xac\\x07\\x8e}\\xfd-\\r`\\x8c1\\xc6\\x18c\\x8c1\\xc6<\\t\\n\\x94g\\xf3:g\\xbf\\xd8\\x9b\\xcc\\xe7\\xf3\\xaa\\xf2\\xc3\\xd0\\xad\\xd69\\xc6A5\\x9f\\xad\\xce\\x86\\x9c\\xaa\\xaa\\xa8\\xe7\\xb3\\xc5\\xe1\\xc1d2a\\xef\\x16\\xba7\\xa9&\\xf3\\xf9\\xbc*\\xc3\\x9d;\\xb7\\x9c\\x0f\\x059\\x16 V\\xc9\\xe8\\x940\\xe6\\x14c\\x0e\\x00@(\"\\xc304\\xcd \\xaa\\x8a\\x9a\\xbaJw\\xbb\\x14\\x13\\x91c\\xce\\x88x\\x19\\xfc\\x83\\xc5\\xff\\xc6\\x18c\\x8c1\\xc6\\x18c\\xcc\\x93\\x82\\x029\\xee\\xedM\\xa7\\xd3\\xe9\\xcd\\xa7o\\\\\\xb9r\\xe5\\xfa\\xf5\\xeb\\x80x\\xb6<\\xbb{\\xf7n\\xd75}\\xdf\\x16eypx4\\x9d\\xcf|\\x11\\x14A\\x85]\\x08U\\x95\\'\\x93\\t\\xa4x~~\\xee|\\x11\\xc89E\\x8aYAA\\tS\\xce)g\\x07\\x8a\\n\\xaa\\x9aR\\xea\\xba\\x0e\\x00\\xd8\\x91\\xf6\\xbd\\x1bz\\x04U\\xe7\\xbc\\x0b\\xd1\\x05\\x10\\x04\\xc5\\x87J\\xff\\x19c\\x8c1\\xc6\\x18c\\x8c1\\xe6\\tH\\xf1\\xf0h\\xff\\xe9\\x9b\\xcf\\xbe\\xff\\xcb\\x9e\\xbfz\\xf5jYU\\xc7\\xc7\\xc7\\xe7\\xe7\\xf9\\xec\\xecl\\xb9^y\\xcf\\xd7\\xaf_\\x9f-\\xf6B=+\\xca\\xa9sN\\x92\\x82\\x0b\\x8e\\x83\\x9bM\\x16M\\xe3]\\xe1\\x80\\x1c\\x10\\x8b\\xa2@\\x02@ Dd\\x87\\x9asD\\xc4\\x9c#\\xa2\\x86\\x10\\xbc\\xf7\\x9a\\xb5\\xef{\\x89C\\x1ab\\n\\x85xOD\\xa0\\n\\x00\\x80\\xfcno\\tc\\x8c1\\xc6\\x18c\\x8c1\\xe6\\xbdK\\t\\xd8]\\xbbz\\xe3\\xfd_\\xfe\\x81g\\x9f}z2\\x99 b\\xd3t{\\x07\\xf1\\xda\\xf5\\x9b\\xbe\\x9a\\x84\\x10\\xf6\\x0f\\x0fC9\\xf3~\\xe2\\x8b)\\x80\\xa0\\x08\\x90SEp\\xc1\\xfb\\x80\\x82N@ED\\x04\\x92dPB f\\x02\\xf2}\\xdf\\x8bjJ\\x89\\x99C\\x08uUy\\xefIT3\\xf4}\\xdf\\'\\xc5\\t\\x03\\x10 \\x03\\x10\\x90\\x8d\\x020\\xc6\\x18c\\x8c1\\xc6\\x18c\\x9e$_\\x1c\\x1d]\\xbfq\\xfd\\xe6\\xde\\xe2\\x08\\x00r\\xcee5\\xbb\\xeaJ_L\\xaem\\xb7\\xcc\\xcc\\xcc\\x02\\xea\\\\\\t\\x14b\\xd7;\\x00\\x10\\x891z\\x11\\xc8\\x92Rr\\x08\\x9cEE\\x04\\x11\\x01U5\\x03(\\x11\\xab\\x8a\\x8a\\x10\\xa2/\\n\\xef\\n\\xcf\\x0e\\x15U
|
[
{
"user": "Move to 'Church Commissioner Question: Peterborough\u00a0Cathedral'",
"assistant": "move_mouse(x=0.2928, y=0.3703)"
},
{
"user": "Right-click on 'Related'",
"assistant": "right_click(x=0.2551, y=0.1189)"
},
{
"user": "Click on 'EU (Notification of Withdrawal) Bill: Archbishop of York speaks to amendment on EU\u00a0Nationals'",
"assistant": "click(x=0.3536, y=0.783)"
},
{
"user": "Right-click on 'Friday, December 2, 2016'",
"assistant": "right_click(x=0.4499, y=0.4226)"
}
]
|
guienv
|
[
3,
3,
3,
3
]
|
3
|
[
4,
4,
4,
2
]
|
2
|
[
4,
4,
4,
4
]
|
4
|
[
1,
5,
1,
5
]
|
1
|
10
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x04L\\x00\\x00\\x03\\xfd\\x08\\x02\\x00\\x00\\x00\\x18Ro\\xb3\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfdy\\xbceW]\\xe7\\xff\\x7f\\xd6\\xb0\\x873\\xdd\\xb9\\xc6TF\\x02\\t\\x04H\\x88!\\xcc!\\x0c2\\x04l\\x95\\xc6\\xb1qh\\xda\\x16\\xbe\\xda\\xad\\xb6\\xbf\\xb6\\xd5vj\\xbbU\\x94\\xb6[mmP\\x1a\\x15\\x01\\x99d&\\xa0(\\xc8 \\xa2\\x02\\x06\\x82a\\n\\x012T\\x92\\x1an\\xdd\\xe9\\x0c{\\\\k\\xfd\\xfe\\xd8\\xf7\\x9e\\xbaUI \\x15\\xaa\\xa8\\xaa\\xcd\\xeb\\xc9},N\\x9d{\\xee\\xde\\xfb\\x9c;d\\xbf\\xcfg\\xad\\xcfV!\\x049\\x95\\x9a\\xad\\xab\\xa3wx\\t\"\\xe2W\\x0e\\x1d\\x14\\x11-^DT\\xf0\\xdb\\xbeB\\x9f\\xd2\\xe3\\x01\\x1e\\xb0 \\xba\\xd2fqi\\xa7\\xd6\\xda9g\\x8c\\x11\\x11\\xef\\xbd\\xd6\\xfc\\xd0\\x02\\xc0\\xfdr/\\xe7\\x1c!(\\x15\\xc4\\x07\\t\\xb5h\\xd9\\x7f\\xcb\\x17#\\xab\\x95R\\xda\\xfb{>\\x16\\xc0\\xd9A)\\xe7\\x9c\\x8e\"\\xe7e\\xf7\\x05\\x17\\x8a(\\x11+J\\xee\\xed<\\xbf\\xf9M?\\xf9\\xa7R\\x9c\\x9c\\x01\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V!\\xe4\\x00\\x00\\x00\\x00h\\x15B\\x0e\\x00\\x00\\x00\\x80V\\xf9f\\x0c9A\\xdd\\xdf\\xf1To\\xffD\\xc7o\\x8c3\\xe7\\xf5\\x01\\x00\\x00\\x00\\x1e\\x80\\xb3>\\xe4\\x18cB\\x08\\xde{\\xa5\\x94\\xd6\\xba\\xb9\\xdd|\\xca{\\xdf\\xdcVJ\\x89H\\x08AD\\x9c\\x97\\xca\\x85\\xda\\x05\\x17T\\x10\\x1d\\x94\\x11e\\xbc\\xe8\\xda\\x05e\"m\\xa2\\xdaKU\\xfb\\xa0\\x8c\\xd2\\xd6y\\xa9J\\'Ake\\x83W\\xdeIs[\\x82Vb\\xa6\\xf7\\x18\\x1dY\\x13+1\\xde\\x89\\xd2\\xd6\\x8b\\x16eD[\\xa5\\xad\\x0b\\xca\\x07%\\xda\\x8a2\\xda\\xc6J\\xdb\\xb2\\xf6\\xd3}\\xb9\\xa0j\\x17D\\xdb\\xe6\\xb6\\xf3\\xd2<\\xb2\\xac\\xbd\\x0fJ\\xdb\\xd8y)*\\x17D{\\xd1\\xce\\x8b\\x8d\\xa3\\x10\\x82\\x88\\x17\\xf1!8\\xe7*\\xefk\\x11o\\x8c\\xf2\\xbe\\x0e\\xc15\\x1fJ\\x05\\xadE\\xa9\\xb0\\xf9\\n\\x04\\xad\\xc4(1\\xcd\\r\\xadls\\xb4Z\\xd9\\xe9\\xc7\\xf4\\x9f\\xcd\\xbe|P\\xcd\\x917c\\xb3w/Zi\\xabL\\xd4<G\\xe7\\xa5\\xf6N)\\xa5Th\\x8e\\xa7\\xd9\\xb5R\\xe1\\x9e\\xb7E\\xbcRA)\\xa5\\x8c\\xde\\xfaZ\\xd9\\xfe\\xfao\\xbf\\xbd\\xed{\\xe4\\xb5\\xd6\\xcdF\\x9a\\'\\xd8lG\\xc4k-i\\x1a\\x87\\xe0\\x8cQJ\\x85\\xb2\\xcc\\xad\\xd5\"\\x9b\\xdf\\xfa\\xb0\\xe54\\xfdT\\x02\\x00\\x00\\xe0t\\xb2\\xa7\\xfb\\x00N>\\xa5T\\x93j\\xb4\\xd6\\xb2\\x95p\\x9a\\x08$Z\\x191u\\xf0\\x9b\\xa7\\xbfJ)\\x91\\xa0D\\x8b\\xaa\\xb5w\\xce\\xf9\\xe6\\x9c\\xdd\\xe8&\\x1ey\\tZ\\x1d\\xb5}\\x9b\\xd3L\\xd5\\xdc\\xbf\\xf9)\\xad\\xbc\\xf7\\xa2\\xc4I\\x08\\xce{\\xa5\\x8c1\\xde{W\\xd7UU\\xc5!6\\xc6h\\xad}\\x08u]7\\x9b\\nZ9\\xe7\\xea\\x10\\x9cs\\xc6\\x18\\xa3T\\xd0\"\"u\\xf0:\\x84\\xa0\\x95\\nJ\\x8c\\x0e\\xce\\xb9\\xe0\\x8d\\x17m\\x8d\\n^)\\x15Bh\\x02^s;M\\xd3&\\xe05\\xb9\\xce{\\xdf\\x9c\\xe4+1A6\\xcf\\xf5\\x8f;\\xf5\\x9f\\x1e\\xf9\\xd1\\x7fj\\xa5\\xb5\\x16%a\\xf3(\\xc4l=\\xf1:\\x04%R\\x07/ns;J+\\xa5\\xcct\\xcb_\\xfd\\x9b\\xb2y\\x9c\\xca\\x07gDI\\xd0J\\x89x%[\\xa3\\x12}\\xf4{\\x11\\x94\\xb2[/r]\\x97\\xe2\\xdd\\xd1\\xef\\xe0\\x16\\xb7\\xc5\\x183\\xfd\\xee8\\xe7\\xd24\\xd9\\xfeL\\x9b\\x17\\xa4y\\xad\\x1e\\xc0\\xcf\\x12\\x00\\x00\\x00\\xceFg}\\xc8iN\\xaf\\xb7\\xd7jDDk}4El\\x7fG?(\\t\\xc1+\\x91{\\x9c\\x97k\\xad\\x9bx\\xd0\\x9c\\r;\\xe7\\x9a\\xdb\\xc1\\xd5\\xcd\\xb9\\xb2s\\xae\\xf9\\x92i\\xbd\\xa89\\xb7\\x0e!\\xd4u\\xbd\\x99v\\xb4\\n!\\x18k\\xa7w6\\xa7\\xe0u]\\xcb\\xd6izsl\\xcd\\xd6\\x94Rv\\xeb\\xc1\\xf7|:\\xd3\\x1cu\\xcc\\x93\\r\\xc1\\x07\\t[{WZ;\\xef\\xbd\\xf7.\\xd4\\xc7\\x05\\x18mL\\x14\\xe9\\xbap\\xb2\\x951\\xb6og\\xba\\x8bi\\xed\\xab\\xd9\\x9c\\xf7\\xde\\xab\\xa3\\xf9g\\xba\\xcd\\xe9+\\xbc\\x99p6w\\xaeT\\x90&OMC\\xc8t\\xe3\\xd3;\\xb7\\x12Wh\\x8eV\\x8c\\xde\\xfe\\xadi\\x1eSU\\xd5q\\xdf\\xd9\\xcdc\\xf0^)\\xad\\x94\\x12\\xa5\\xc2\\xf4\\xbb\\xacT\\xedj\\xa9]Y;m\\x831F\\x19\\xebE\\xd5>\\xe4y\\xae\\x8e\\xb5=\\x1a\\x01\\x00\\x00\\xe0\\x9b\\xc1Y\\x1fr\\x8e\\x13Bh\\x82D\
|
[
{
"user": "Right-click on 'subscribe'",
"assistant": "right_click(x=0.3982, y=0.8134)"
},
{
"user": "Drag to select 'ABOUT'",
"assistant": "drag(from_coord=[0.0364, 0.6929], to_coord=[0.0691, 0.6929])"
},
{
"user": "Click on 'Cookie Policy'",
"assistant": "click(x=0.0736, y=0.834)"
},
{
"user": "Move to 'SERVICES'",
"assistant": "move_mouse(x=0.0595, y=0.7165)"
},
{
"user": "Drag to select '[email protected]'",
"assistant": "drag(from_coord=[0.7082, 0.7395], to_coord=[0.8864, 0.7395])"
}
]
|
guienv
|
[
3,
3,
3,
3,
3
]
|
3
|
[
4,
4,
5,
4,
4
]
|
4
|
[
4,
4,
4,
4,
4
]
|
4
|
[
5,
5,
5,
3,
5
]
|
3
|