| # | images | texts | source |
|---|
1
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x0cXICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x0cHLino\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xce\\x00\\x02\\x00\\t\\x00\\x06\\x001\\x00\\x00acspMSFT\\x00\\x00\\x00\\x00IEC sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-HP \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11cprt\\x00\\x00\\x01P\\x00\\x00\\x003desc\\x00\\x00\\x01\\x84\\x00\\x00\\x00lwtpt\\x00\\x00\\x01\\xf0\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x02\\x04\\x00\\x00\\x00\\x14rXYZ\\x00\\x00\\x02\\x18\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02,\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02@\\x00\\x00\\x00\\x14dmnd\\x00\\x00\\x02T\\x00\\x00\\x00pdmdd\\x00\\x00\\x02\\xc4\\x00\\x00\\x00\\x88vued\\x00\\x00\\x03L\\x00\\x00\\x00\\x86view\\x00\\x00\\x03\\xd4\\x00\\x00\\x00$lumi\\x00\\x00\\x03\\xf8\\x00\\x00\\x00\\x14meas\\x00\\x00\\x04\\x0c\\x00\\x00\\x00$tech\\x00\\x00\\x040\\x00\\x00\\x00\\x0crTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cgTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cbTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0ctext\\x00\\x00\\x00\\x00Copyright (c) 1998 Hewlett-Packard Company\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00o\\xa2\\x00\\x008\\xf5\\x00\\x00\\x03\\x90XYZ \\x00\\x00\\x00\\x00\\x00\\x00b\\x99\\x00\\x00\\xb7\\x85\\x00\\x00\\x18\\xdaXYZ \\x00\\x00\\x00\\x00\\x00\\x00$\\xa0\\x00\\x00\\x0f\\x84\\x00\\x00\\xb6\\xcfdesc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00view\\x00\\x00\\x00\\x00\\x00\\x13\\xa4\\xfe\\x00\\x14_.\\x00\\x10\\xcf\\x14\\x00\\x03\\xed\\xcc\\x00\\x04\\x13\\x0b\\x00\\x03\\\\\\x9e\\x00\\x00\\x00\\x01XYZ \\x00\\x00\\x00\\x00\\x00L\\tV\\x00P\\x00\\x00\\x00W\\x1f\\xe7meas\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x8f\\x00\\x00\\x00\\x02sig \\x00\\x00\\x00\\x00CRT curv\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x00\\x05\\x00\\n\\x00\\x0f\\x00\\x14\\x00\\x19\\x00\\x1e\\x00#\\x00(\\x00-\\x002\\x007\\x00;\\x00@\\x00E\\x00J\\x00O\\x00T\\x00Y\\x00^\\x00c\\x00h\\x00m\\x00r\\x00w\\x00|\\x00\\x81\\x00\\x86\\x00\\x8b\\x00\\x90\\x00\\x95\\x00\\x9a\\x00\\x9f\\x00\\xa4\\x00\\xa9\\x00\\xae\\x00\\xb2\\x00\\xb7\\x00\\xbc\\x00\\xc1\\x00\\xc6\\x00\\xcb\\x00\\xd0\\x00\\xd
|
[
{
"user": "<image>\nIs the van in front of the man?",
"assistant": "Yes. The <object>van</object><bbox>[38,72,954,974]</bbox> is in front of the <object>man</object><bbox>[932,460,996,857]</bbox>, parked on the street while the man stands near the building in the background."
}
]
|
spatialsense_gold
|
2
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x02\\x80\\x00\\x00\\x01\\xe0\\x08\\x02\\x00\\x00\\x00\\xba\\xb3K\\xb3\\x00\\x00\\x00\\x04gAMA\\x00\\x00\\xb1\\x8f\\x0b\\xfca\\x05\\x00\\x00\\x00\\x01sRGB\\x00\\xae\\xce\\x1c\\xe9\\x00\\x00\\x00 cHRM\\x00\\x00z&\\x00\\x00\\x80\\x84\\x00\\x00\\xfa\\x00\\x00\\x00\\x80\\xe8\\x00\\x00u0\\x00\\x00\\xea`\\x00\\x00:\\x98\\x00\\x00\\x17p\\x9c\\xbaQ<\\x00\\x00\\x00\\x06bKGD\\x00\\xff\\x00\\xff\\x00\\xff\\xa0\\xbd\\xa7\\x93\\x00\\x00\\x00\\tpHYs\\x00\\x00\\x0b\\x12\\x00\\x00\\x0b\\x12\\x01\\xd2\\xdd~\\xfc\\x00\\x00\\x80\\x00IDATx\\xda\\xbc\\xbd\\xe9\\xb6\\x1c\\xc7\\x8d.\\n r\\x93:/wOKn\\xbb-\\x91\\x94DR\\x12I\\r\\x9e\\xed\\xb6l\\xf5c\\xdfu,\\xee\\x0c\\xe0\\xfe@\\x00\\x01\\xc4\\x90UT\\xf7\\xb9[\\xb9j\\x95\\x8a5\\xe4\\x10\\x19\\x81\\xe1\\x1bH\\xec\\xef<\\xcf\\xc7\\xc7G\\x11y<\\x99E\\xf6[\\r[{\\xb1\\xca\\xf0\\x91Z\\xe5\\xb4\\x8d\\xa7\\x7f\\xbd\\xfe\\xe6\\xdb\\xef\\x8c\\x7f\\xbb\\xf7\\xb4\\xdf\\xb5\\xbf\\xf8\\xe6S\\xe4\\x94\\xba\\xd9d\\xd8\\xe6\\xdf\\x8a\\xff:\\xec\\xcf\\xfc\\x86ss\\xc6\\xf2\\xb1\\xd4\\xed\\xc1H\\x15\\xa9\\xf1\\xa8\\x84\\xff\\'6\\xdf\\x1d>\\xed\\'N\\xe6\\x93y8\\xe2\\xdd_\\x15\\xa9\"\\x8f\"\\x8f\\xf1\\xf4\\xb6\\x83\\x98^\\xb9\\xeb\\x82\\xddq\\xb1\\xb9\\nW;\\xad5\\x9c\\x8d\\xf0\\xc5\\xdb\\x81r\\xb1\\x0f\\xf7\\x1eo\\xbe\\x16y\\xe3v\\x02/\\x8f\\xfd\\x97\\xfc\\xd5\\xd5\\xf6\\xff\\xe7\\xdf\\x7f\\xebw\\xafO\\x063\\x7f\\xc8\\xf7\\xff\\xa2}H7\\xdf\\xff\\xc4\\x98l7N\\xbf\\xee\\xe3^\\xb1\\rT\\xde\\xdf\\xd1\\xe1wWSk\\x18\\x98\\xac\\xe3>MmR\\x87\\xdd\\xa8\\xf6\\x93\\xf5\\x9e\\xb1\\x9a\\x8e\\xe5\\x97\\xbcn?\\x97\\xce\\xc9f\\xa8\\xee\\'\\xe8\\xf5\\x9bE\\x1e\\xeb\\xfb*\\'K=\\xb9\\x9d\\x8a\\x93k>\\xeb}\\x86\\xbf\\xe72\\xde?\\xc2\\xff\\xfb3k[\\\\8\\x8d\\xb6\\xf7\\x8f\\xf5\\xac\\xf2(r\\x8a\\xfc\\\\u\\xd0\\xb7\\x83!\\x00`\\xe6\\x7f\\xfd\\xeb_\\xa5\\x94\\xe38D\\xe4(\\x08\\x00\\x08 \\x02 \" \\x08\\xa0\\xaf\\x00\\x00\\x02\\xd9#\\xc5\\xd7A$\\xbe\\x07\\x01\\t\\xd0\\x1f\\xf37\\x80\\x08\\x0c\\xaf\\xf8\\xa3\\x80\\x08\\x08\\x84\\xbf\\xe1=\\x08p\\xf1\\xaf\\xfeH\\xfa\\xd3\\xfa\\xa7\\xaf\\x89\\xff\\xd3\\x07l\\xedO\\xe27\\xa7\\x7f\\xc5\\xf0\\x9e\\xf9\\r\\xd8\\x0eH\\xd0v\\xbeo2\\x1eK?$\\x1c\\xbe:\\xfc6\\xee\\xb7\\xdd\\xdf\\xfcN\\xc2\\xb6\\xa1}\\xccO\\xd5\\x07\\xfc\\x11\\x00!\\xca\\xf0\\xa9\\x0f\\xff\\x9e\\xcb=\\x8f\\xffG\\x80\\xd8\\xcf\\xec\\xe2,\\x01\\x88nb\\x8f\\x026\\xd1\\xeb\\xdf\\xf0O\\xdb\\xf3\\xb6\\xbbY\\xed\\x07 }\\x8b\\x08\\x86?\\xf8\\xbf\\xfbG\\xf0\\xff\\xcb_;\\xde\\xdbo\\x83\\xf8\\xae\\xf8\\x91\\xebO\\xeb;\\xb7\\xe7\\xf9\\xbf\\xb1\\xcf\\xe9\\xe3:\\xfd`\\x18\\xea\\xbb\\xa3\\x1b\\x8ed;&\\xe3]3\\x1er\\x9b*\\xd0\\x9e\\x08\\x80\\xac\\xce\\x17\\x03\\xf0z \\x85\\xcd\\xbe\\x19\\x97\\xb7s\\xde\\x8d\\xeb\\x19`\\x7f,\\xcb\\x1f\\x96\\xdd\\x0c\\xa3S\\xfe\\xfcs:\\xc5\\xfe\\xf77\\x00\\x00(T\\x08\\x10\\x00\\n\\xd2YO\\x10!$\\x9d\\xab\\xe6\\x19~\\x9e\\x9f\\xb7\\xeb\\x85l\\x1e/W\\x13\\x90\\xf8\\x9f\\x08T}D\\x00\\x00^\\xad;,\\\\E\\xda\\xa2\\xf9\\xf8\\xf8\\x08\\x00\\x0f\\x07\\x11\\x81\\x08T\\x96B\\xba\\xbc\"\\x00p\\xad\\x04\\x00D\\xf4\\xf4\\xe9\\xd3Z\\xeby\\x9e\\x88X\\xab \\x00\\x08\\x10\\x02\\xb6\\x83d\\x04n\\xbf\\'\\x80@m\\xb1\\xb1\\xc7\\xbe\\xca\\xf6\\xd7\\t\\x84\\x10\\xa8}vx?\\xc2\\xf0\\x8a\\x1f\\x03\\xd94\\xdb/J~\\xe7\\xbc\\xcd\\xefA\\x00\\x8f&\\x81u\\xc4\\xb7G\\x94\\xb6\\xf2m6F\\xe0\\xf6\\x1e\\x01\\x94p\\x0b\\xd9o\\xb5\\xf7\\xd8\\x06y\\x1b\\xfe\\x95@\\x10\\nB\\x01!\\x10J{n#\\xa0\\xbf\\x86 \\xe8\\xff+\\x0c\\xb5M\\x12\\xf6\"\\xcbx\\xf4\\x0c\\xe2\\xdb|#1\\n\\xa3\\xffkz\\xff\\xf0\\xd9\\xfe\\x9eEF\\x12\\xbfT\\xff0\\xcft<O\\x9d\\xdb\\x895\\x9f\\xee>\\xd9lnH\\x91\\xda\\xce\\x83\\x7f{\\x9c\\xd40\\xcc\\xa7 \\x02\\xd2&[\\x8a\\x13/\\x12Q\\x8f\\xc5\\xfc\\r\\x04H\\x17S\\x93\\xfe\\x89F\\x18}qM\\x01\\x9a\\xc61\\x02$\\x8b `q\\x83\\xff\\xb2\\xe5v\\x1d\\x13\\x86?\\xfe\\xbf\\xb1\\x00[0q\\xfd\\xd3\\xe3\\xd2\\x16\\xe3\\x8fi\\xd5[\\x9ea\\xfd+\\x88\\xe5\\x17\\x051\\xf9\\xeek\\xd7K\\xfa\\x8b\\xd3\\xfc\\xde\\xae\\xcbb\\x01\\xc3\\x0f^H\\xf4x\\x11\\x05X\\x80\\xc5W_\\\\\\x05\\x8b\\x08\\xcb$\\x02\\x05\\xc2Pm\\xfb\
|
[
{
"user": "<image>\nIs the wall behind the pillow?",
"assistant": "Yes. The <object>wall</object><bbox>[12,19,988,538]</bbox> is behind the <object>pillow</object><bbox>[445,281,667,406]</bbox>, serving as the background for the bed setup."
},
{
"user": "Is the bed behind the pillow?",
"assistant": "No. The <object>bed</object><bbox>[11,365,744,975]</bbox> is under the <object>pillow</object><bbox>[422,281,586,446]</bbox>, supporting it at the head of the mattress."
},
{
"user": "Is the princess above the book?",
"assistant": "No. The <object>princess</object><bbox>[483,302,553,421]</bbox> is behind the <object>book</object><bbox>[144,558,366,650]</bbox>, resting on a pillow at the head of the bed while the book lies on the quilt."
}
]
|
spatialsense_gold
|
3
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01\\xf4\\x01M\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1e\\x00\\x00\\x00\\x06\\x03\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x03\\x05\\x06\\x07\\x08\\t\\x01\\x02\\x04\\x00\\n\\xff\\xc4\\x00L\\x10\\x00\\x02\\x02\\x01\\x03\\x03\\x03\\x02\\x03\\x06\\x04\\x04\\x04\\x01\\x08\\x0b\\x01\\x02\\x03\\x04\\x05\\x06\\x11\\x12\\x00\\x07!\\x08\\x131\\x14\"#AQ\\t\\x152aq\\x91BR\\x81\\xa1\\x16$3b\\x17%\\xb1\\xc1\\n\\x184CScrs\\x82\\xd1\\xe1\\xf0\\x19\\x92\\xa2&5E\\x94\\xb3\\xff\\xc4\\x00\\x1d\\x01\\x00\\x01\\x05\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x03\\x04\\x05\\x06\\x07\\x08\\t\\xff\\xc4\\x00H\\x11\\x00\\x01\\x03\\x02\\x04\\x03\\x05\\x06\\x05\\x03\\x03\\x03\\x01\\x06\\x07\\x01\\x01\\x00\\x02\\x03\\x04\\x11\\x05\\x12!1\\x06\\x13A\\x07\"2Qa\\x14q\\x81\\x91\\xb1\\xf0#3\\xa1\\xc1\\xd1\\x15B\\xe1\\x08R\\xf1$br\\x164CS\\x82\\x92\\xb2\\x17%5d\\x93\\xa2\\xb3\\xd2\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00>Jh\\xad\\xf6\\xa3n|u\\xf4\\xc2\\xf8\\xfdv%M\\x8f\\x906\\x1eOJU\\xb8|(S\\x12\\r\\xbe\\xc2\\x7f\\xd3\\xa4R\\xae\\x95\\xac8!\\xe3\\xb8\\xd8\\x7f^\\x84,\\xfd8\\xff\\x00!\\xfe\\xdd\\x08[,\\n\\xa4\\x92\\x8d\\xb6\\xdd\\x08B-u>B\\x9f?\\xa8\\xe9n\\xa7o\\x84-\\xcd`?\\xc2\\x0f\\xf4\\xe9\\x12\\xaf,\\n\\x08&6\\xe9\\xcc\\xdd\\x08Om\\x07\\xca7\\xf6\\xead!\\r`?\\xc2\\x0f\\xf4\\xe8B\\xc1\\x81G\\x9e\\x07\\xfbt!j\\x88\\x19\\xb7`G\\x8f\\xfdzB\\xa3\\x96L\\xb6Z\\xfbJ\\xbf\\n\\xfc\\x87B\\x87\\x9d}\\x16\\xc2%>YH \\xf4\\xa9P\\x1e\\xcb\\x8f\\xcfo\\xf5\\xe9\\x12\\x1a\\x92\\xbd\\xec\\x8d\\xb7 \\x96\\xfe\\xbd\\x08\\xf6\\x92\\xb5\\xe1\\xbe\\xdc\\x95\\x8f\\xfb\\xf4\\x04\\xbc\\xdc\\xcb\\xdcH\\xf0\\x11\\x80\\xf8\\x1f\\xd3\\xa5Au\\xb5^\\xe0\\xdf\\xcc\\x8f\\xeb\\xd2]\\x1e\\xd0V@a\\xfe\\x16\\xe9R,pc\\xe0\\x03\\xfat\\x85\\x1c\\xebh\\x835\\xf6\\xf0\\xfb\\x1f\\xd3c\\xd0Q\\xed(3\\x12\\x0f\\x85p\\x7f\\xafJ\\xd2n\\x90\\xd4\\xe8\\xb1\\xed\\xa9\\xdb\\x9a\\xc8\\x7fM\\x87V\\x14^\\xd2\\x16\\x9fL>x\\x83\\xfd:\\x15{\\xac\\n\\xe7\\xc7\\x1f\\x03\\xa1J\\xc9\\xf2\\x8b,\\n\\xfbo\\xc4\\x10?>]\\t$\\x972\\xc1\\x89K\\x10\\xca\\xc5\\xbe\\x0e\\xdf\\xafBc]cu\\x83\\x04k\\xf2\\x92\\x7f\\xa7B\\x9f\\xda\\x82\\xd7\\xda\\x8f\\xfc\\x93t#\\xdaW\\xb8m\\xb0Up?\\x98\\xe8G\\xb4\\x85\\x83]\\x1cl\\x15\\xc7\\xf5\\xe8G\\xb4\\x85\\x8f\\xa6?\\x1b\\xfd\\xbf\\xeb\\xf1\\xfd\\xba\\x13\\x1fQqe\\x83\\x0f\\x12\\x00\\xdb\\xf5=\\n$\\x00\\x8aO>\\x07B\\x16=\\x95>[\\x88n\\x84-Ldy`:\\x8aK\\xa71\\xd9PF%,H\\x07\\x97\\xeb\\xf9t\\xc6\\x83t\\xe7Kqe\\x86\\x87\\xedem\\xb7>z\\xb0\\xa2\\\\\\xed]|\\xfd\\xad\\xf1\\xd0\\xab\\x85\\xc2\\xf5\\x14\\xaa\\x1e\\'}\\xcfB\\x8d\\xfb\\xa7\\x03\\xe8\\xf6\\xf8S\\xd6z\\xb5g!V\\xb9\\xdbb|\\x91\\xb1\\xe9J\\xbd\\x089uY\\x14\\xc0\\xf8F\\xff\\x00~\\x91J\\xba\\x16\\xb0\\x01|\\xfd\\xc0t!l`\\xff\\x00\\xb8\\x7f\\xb7B\\x10\\xdfJ\\x9f\\xcb\\xfb\\xf4!l+x\\xf1\\xcb\\x8f\\xfbt\\xb7N\\x0f6\\xb2\\xc0\\xaf\\xb7\\xc1\\x00~~z\\x14\\x91\\x92ou\\x9fc\\xfe\\xe1\\xfe\\xdd\\x00\\xa7/\\x18?\\xee\\x1f\\xed\\xd2\\xe6)B\\xc8\\x81\\xb7n$\\x9d\\x8f\\x8f\\xcf\\xc7Fr\\xa1\\xe6\\x15\\x93\\x19\\x1e\\x08$\\xfe\\xbbu#n\\x939Z4\\x086\\xe4C\\x0f\\xcb\\xa5\\x01G \\xcd\\xba\\xf7\\xb4\\xa0o\\xc9x\\xfe\\x9f\\x9fE\\x93[\\x10\\x06\\xe87\\x84\\xb9\\x1c\\x01\\xd8x\\
|
[
{
"user": "<image>\nIs the man on the bike?",
"assistant": "No. The <object>man</object><bbox>[249,310,369,542]</bbox> is behind the <object>bike</object><bbox>[39,530,730,986]</bbox>, walking on the road further away from the camera."
}
]
|
spatialsense_gold
|
4
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01M\\x01\\xf4\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1e\\x00\\x00\\x01\\x03\\x05\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x00\\x01\\x06\\x03\\x04\\x05\\x07\\x08\\t\\n\\xff\\xc4\\x00F\\x10\\x00\\x02\\x01\\x03\\x03\\x03\\x02\\x05\\x01\\x06\\x04\\x05\\x02\\x03\\x08\\x03\\x01\\x02\\x03\\x04\\x05\\x11\\x00\\x06\\x12\\x07\\x13!\\x081\\x14\"AQaq\\t\\x15#2\\x81\\x91B\\xa1\\xb1\\xc1\\x163R\\xd1\\xf0$\\xe1\\x17b\\x92\\x18%CScr\\x82\\xf1\\x1945\\xff\\xc4\\x00\\x1d\\x01\\x00\\x02\\x02\\x03\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x00\\x03\\x04\\x05\\x06\\x07\\x08\\t\\xff\\xc4\\x00I\\x11\\x00\\x01\\x03\\x02\\x04\\x03\\x05\\x06\\x04\\x04\\x04\\x05\\x02\\x05\\x05\\x01\\x01\\x00\\x02\\x11\\x03!\\x04\\x05\\x121\\x06AQ\\x13\"aq\\x81\\x072\\x91\\xa1\\xb1\\xf0\\x14B\\xc1\\xd1#R\\xe1\\xf1\\x08\\x15br\\x163\\x82\\x92\\xd2$\\xa2\\t4Ss\\xc2\\x17C\\xa3\\xb2\\xe2c\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xf9\\xe3\\x8e?$y\\'\\xf4\\xd7\\xd8\\xa5\\xb6_0\\xd4z\\xbf\\x8e!\\xe4c>=\\xb1\\xef\\xa6\\x01$\\xf5W+\\x18\\x03 \\x0f\\xd7\\x1a#t\\x87{\\xaa\\x82!\\xf4\\x19:\\x82T\\xb7$b\"H\\x18\\xc1\\x1e\\xfa\"\\x14\\x84k\\x1e8\\xe4g\\xc6\\xad\\x99D\\xba\\x15Q\\x18\\xf0\\x0f\\x83\\xa6\\x03\\xaaMbUEE8\\xf3\\x86\\xfd4@@\\xc4\\xc0F\\x13\\xc1\\xc8 gV\\x80\\x87$\\xe2?\\xa9\\xf6\\xce@\\xc6\\x8e\\xf6RS\\x14\\xf7\\xc8 \\xfetP\\x059O\\x00\\xe3\\x1f\\xd7FT\\x98LP\\x0f\\xb6q\\xed\\xa0\\x9al\\x80\\xa7\\xb8\\xe3\\x9f\\xce\\xa5\\x92\\x9e\\xa5\\x08F\\xfa(\\xc7\\xd7EI2\\x98\\xaf\\x9fo\\xd7@\\x05\\x07B\\x80\\xaes\\x8c\\x03\\xf6\\xc6\\x8c(\\\\\\x80\\xa9\\xf2J\\x823\\xa2\\x00CQ)\\x80 \\xe3\\x00\\x1fm(Op\\x9b\\x88$\\x8c\\x00\\x07\\x9dIK0n\\x84\\xaf\\xb8+\\x8f\\xf6\\xd0\\xd3\\xcdB\\xeeI\\xb8\\x0fb2?\\xcb:0\\xa4\\x8e{&)\\xcb?\\xeb\\xa0g\\x922\\xa9\\x94\\x19\\xf3\\xf6\\xd4\\x01D\\xc5p<\\x03\\xa1\\n\\x12\\x85\\x93$x\\xff\\x00/}\\x08\\xb6\\xe8\\xf3\\xb2\\x12\\xb9-\\x9c{\\xe3\\xdbSL\\xa0H;\\xa1*s\\x8c\\x0f\\xfc\\xfb\\xe84\\x13t\\xc0\\xc2\\x0e\\nA\\x18\\xc0\\xfbj\\x11\\xd0\\xa8\\xd7\\xf2C\\xc7\\xc9$d\\xfd\\xb4\\x1c,\\x88!.\\x198\\xd4\\x84K\\xc2b\\x80\\xf9\\xc6~\\x9a\\x13(\\xea\\x84\\xb8\\x93\\xf5\\x18\\xc6\\x88\\xe4\\xab&l\\x9c!>\\xf8\\xd0\\x99P\\x03\\xbar\\xbe3\\xe4\\x7f\\xbe\\x9bO$m\\xb9K\\xb7\\x91\\x9c\\xae\\x8c@\\x84I\\x81t%\\x061\\x83\\xa5#\\xa2%\\xdc\\xc2`\\xb8#\\xc7\\xfd\\x8e\\x89\\xe8\\x94\\xbb\\xa5\\x90\\xf1\\x04\\x1f\\x00h\\x01\\n\\xc9\\t\\xca\\x1fl\\x0f\\'\\xeb\\xa3\\x02l\\x94\\xee\\x98\\xa6<\\x91\\x8d\\x01\\xd4(\\xd7Jb\\x9e}\\xb0O\\xd7P\\xb7\\x9a\\x80\\xde\\xe9\\xf8\\x1c\\x03\\xa9\\x1c\\xd4\\xdd9\\x8f?O9\\xfb}t\\xe3\\xa2\\x1a\\xba\\xa6\\n}\\xcf\\x8c\\r.\\x90M\\xd1&\\x13v\\xf3\\x8c\\x0f}\\x1d\\x94\\x0e\\x94\\x8ay\\'\\x89\\xc6\\xa1(\\x13\\x17C\\xdb\\xf0\\x08\\xc7\\xe9\\xa5\\x16D\\xca~\\xd8\\'8\\x1f\\xa64I\\xb2$\\x84&<g\\xe5\\x19\\xd0\\x03\\x9a\\x01\\xc7b\\x87\\x86\\x01\\xfa\\xfd=\\xb5\\x08\\xe6\\xa6\\xabG\\xdf\\xf4O\\xdb\\xc8\\xf7\\xfa\\xfb\\rI\\x02\\xc8\\x87 \\xe0\\x08\\xf6\\xce5\\x0c(#m\\x93v\\xc7\\xfd*4g\\xa2`\\xe4\\xc51\\x92F>\\x9e\\xde\\xda\\x05.\\xb4\\x99\\x009+\\x8dB\\xd5&\\xc8x\\x12~\\xb9\\xd4\\x00(\\x1e\\xd4\\x051\\xe4\\x8c\\xe3\\xf3\\xa50\\x89q\\xe4\\x80\\xc7\\x8c\\x9f\\x1f\\xae\\x8e\\x
|
[
{
"user": "<image>\nIs the man under the kitty?",
"assistant": "No. The <object>man</object><bbox>[494,802,564,997]</bbox> is to the left of the <object>kitty</object><bbox>[732,471,886,802]</bbox>, standing on the beach while the kite flies in the sky."
},
{
"user": "Is the cat in the sky?",
"assistant": "Yes. The <object>cat</object><bbox>[736,483,896,799]</bbox> is in the <object>sky</object><bbox>[4,6,998,721]</bbox>, flying as a large kite above the beach."
}
]
|
spatialsense_gold
|
5
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x05(ICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x05\\x18appl\\x02 \\x00\\x00scnrRGB XYZ \\x07\\xd3\\x00\\x07\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00acspAPPL\\x00\\x00\\x00\\x00appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0brXYZ\\x00\\x00\\x01\\x08\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x01\\x1c\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x010\\x00\\x00\\x00\\x14wtpt\\x00\\x00\\x01D\\x00\\x00\\x00\\x14chad\\x00\\x00\\x01X\\x00\\x00\\x00,rTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0egTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0ebTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0edesc\\x00\\x00\\x01\\x94\\x00\\x00\\x00=cprt\\x00\\x00\\x04\\xd4\\x00\\x00\\x00Adscm\\x00\\x00\\x01\\xd4\\x00\\x00\\x02\\xfeXYZ \\x00\\x00\\x00\\x00\\x00\\x00tK\\x00\\x00>\\x1d\\x00\\x00\\x03\\xcbXYZ \\x00\\x00\\x00\\x00\\x00\\x00Zs\\x00\\x00\\xac\\xa6\\x00\\x00\\x17&XYZ \\x00\\x00\\x00\\x00\\x00\\x00(\\x18\\x00\\x00\\x15W\\x00\\x00\\xb83XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3R\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xcfsf32\\x00\\x00\\x00\\x00\\x00\\x01\\x0cB\\x00\\x00\\x05\\xde\\xff\\xff\\xf3&\\x00\\x00\\x07\\x92\\x00\\x00\\xfd\\x91\\xff\\xff\\xfb\\xa2\\xff\\xff\\xfd\\xa3\\x00\\x00\\x03\\xdc\\x00\\x00\\xc0lcurv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x13Camera RGB Profile\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x13Camera RGB Profile\\x00\\x00\\x00\\x00mluc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0f\\x00\\x00\\x00\\x0cenUS\\x00\\x00\\x00$\\x00\\x00\\x02\\x9eesES\\x00\\x00\\x00,\\x00\\x00\\x01LdaDK\\x00\\x00\\x004\\x00\\x00\\x01\\xdadeDE\\x00\\x00\\x00,\\x00\\x00\\x01\\x98fiFI\\x00\\x00\\x00(\\x00\\x00\\x00\\xc4frFU\\x00\\x00\\x00<\\x00\\x00\\x02\\xc2itIT\\x00\\x00\\x00,\\x00\\x00\\x02rnlNL\\x00\\x00\\x00$\\x00\\x00\\x02\\x0enoNO\\x00\\x00\\x00 \\x00\\x00\\x01xptBR\\x00\\x00\\x00(\\x00\\x00\\x02JsvSE\\x00\\x00\\x00*\\x00\\x00\\x00\\xecjaJP\\x00\\x00\\x00\\x1c\\x00\\x00\\x01\\x16koKR\\x00\\x00\\x00\\x18\\x00\\x00\\x022zhTW\\x00\\x00\\x00\\x1a\\x00\\x00\\x012zhCN\\x00\\x00\\x00\\x16\\x00\\x00\\x01\\xc4\\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00n\\x00 \\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00i\\x00l\\x00i\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xf6\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a0\\xab0\\xe10\\xe9\\x00 \\x00R\\x00G\\x00B\\x00 0\\xd70\\xed0\\xd50\\xa10\\xa40\\xebexOMv\\xf8j_\\x00 \\x00R\\x00G\\x00B\\x00 \\x82r_ic\\xcf\\x8f\\xf0\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00p\\x00a\\x00r\\x00a\\x00 \\x00C\\x00\\xe1\\x00m\\x00a\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00k\\x00a\\x00m\\x00e\\x00r\\x00a\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00R\\x00G\\x00B\\x00-\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xfc\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00sv\\xf8g:\\x00 \\x00R\\x00G\\x00B\\x00 c\\xcf\\x8f\\xf0e\\x87N\\xf6\\x00R\\x00G\\x00B\\x00-\\x00b\\x00e\\x00s\\x00k\\x00r\\x00i\\x00v\\x00e\\x00l\\x00s\\x00e\\x00 \\x00t\\x00i\\x00l\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00e\\x00l\\x00 \\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\xcet\\xbaT\\xb7|\\x00 \\x00R\\x00G\\x00B\\x00 \\xd5\\x04\\xb8\\\\\\xd3\\x0c\\xc7|\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00d\\x00e\\x00 \\x00C\\x00\\xe2\\x00m\\x00e\\x00r\\x00a\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00o\\x00 \\x00R\\x00G\\x00B\\x00 \\x00F\\x00o\\x00t\\x00o\\x00c\\x00a\\x00m\\x00e\\x00r\\x00a\\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\x00 \\x00R\\x00G\\x00B\\x00 \\x00P\\x
|
[
{
"user": "<image>\nIs the man in front of the carry bag?",
"assistant": "No. The <object>man</object><bbox>[413,10,987,996]</bbox> is behind the <object>carry bag</object><bbox>[56,496,448,928]</bbox>, holding it in his hand."
}
]
|
spatialsense_gold
|
6
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x02\\x80\\x00\\x00\\x01\\xe0\\x08\\x02\\x00\\x00\\x00\\xba\\xb3K\\xb3\\x00\\x00\\x00\\x04gAMA\\x00\\x00\\xb1\\x8f\\x0b\\xfca\\x05\\x00\\x00\\x00\\x01sRGB\\x00\\xae\\xce\\x1c\\xe9\\x00\\x00\\x00 cHRM\\x00\\x00z&\\x00\\x00\\x80\\x84\\x00\\x00\\xfa\\x00\\x00\\x00\\x80\\xe8\\x00\\x00u0\\x00\\x00\\xea`\\x00\\x00:\\x98\\x00\\x00\\x17p\\x9c\\xbaQ<\\x00\\x00\\x00\\x06bKGD\\x00\\xff\\x00\\xff\\x00\\xff\\xa0\\xbd\\xa7\\x93\\x00\\x00\\x00\\tpHYs\\x00\\x00\\x0b\\x12\\x00\\x00\\x0b\\x12\\x01\\xd2\\xdd~\\xfc\\x00\\x00\\x80\\x00IDATx\\xda\\xdc\\xfd\\xf9\\xb3$\\xb9\\x91&\\x08\\xaa*`\\xee\\xef\\xbd\\x88<x\\xd4T\\xcf\\xca\\xfeE-\\xc5\\xbcHf2/\\xe6\\xc1\"YE\\xd6\\xd1\\xd5U}mWo\\x1f\\xd3#3\\xbb\\xb3-#\\xd2\\xb3\"\\xfb\\xbf\\xadL\\x1d$+\\xaf\\xc8\\x8c\\xf3]\\xeen\\x80\\xea\\xfe\\xa0\\x00\\x0c\\x80\\x01\\xe6\\xe6/\"{j\\xd6\\x13\\x82\\xb4\\xb0gnn\\'\\x14\\xaa\\xfa}\\x9f\\x92s\\x07\\x11/\"\"\\xe2\\x9c\\x13\\x11fI\\x1f\\x16a\\x11\\x975\\xee\\xb4\\xd6\\xc7K\\x7f\\xfb\\xe5\\xfd\\xe4kz\\xbf\\x1e\\xb7\\xf4,~\\xbe\\xfd\\xb1c\\x13Yw.|r\\xab\\x8f\\x87E\\xbc\\xf0\\xa9\\xfbq\\xad\\xc6zw\\xfc]\\x0e\\xab\\xdd\\xb2]y_\\x9c\\xaf\\xe7\\xe9wG)\\x96=\\x1f9\\xce\\x13\\x9b\\xcfZ\\xfdW\\xbd\\x9a\\\\\\x1eX\\xb5\\xe6\\x1fs\\xeb>{<\\xb5\\xe7z\\xe0|\\xd9^\\xf8\\txn\\xb7;\\xefg\\xe5\\x0f\\xad<_\\x9f\\x1e\\x94N;\\xe9\\xea\\xf9\\xd3\\xaf\\xa7\\xe7\\xec\\xf9\\xed\\x1c\\x7f\\xbe\\xc7;\\\\\\xb7\\x95+\\xbf\\xfdG\\xf9\\xc5\\xbd\\xf2Km\\x14v\\\\\\x0e\\xe9\\xf1\\x9f\\xf3;\\xf4\\xdf\\xec\\xec=\\x8b\\x17N\\xad\\xf9v\\xeb\\xa1:\\x11\\xe7\\xe2\\xc1\\xb2\\x88\\xc8\\xe8xt\\xacgw;\\x1e\\xf4\\x11\\xd1\\xe3\\'c\\xcc8\\x8e\"2\\x8e\\xa31FD \\xfb \\x00\\x00P\\xd6D \\xfc\\'\\x00Y\\x13\\x01\\x11\\x01\\x96\\xd8{\\x90\\xd4\\x87\\xfdh\\xaf\\x1b\\xe7kR\\x8f\\xd9\\xefb\\xeb\\xd7\\xab?\\x01p\\xfc\\'WG+\\x02 \\x82\\xd9\\x8f\\x82\\x00\\xb0L\\xc7\\\\\\xee\\n\\xab=\\xcf\\xb6\\xb9s\\x03\\x11\\x94\\xc5\\rZ=\\xcdN<\\x9c>\\x02\\xd0\\xd1\\x9f,?\\xadmD\\xd7g\\xbb\"\\xaa\\xb6\\x15\\x94\\xf0\\xeb(\\x9c\\x8e\\xc4\\x00\\x10N\\x9b\\xd1\\xb7\\xdd\\xb0\\xf89l\\xad\\xf9\\xc7\\xdcz\\x1f\\xc4\\xa9\\x1d\\xbdYK\\xad\\xba^/\\xfc\\x04\\xf4r\\xcf\\xdb\\x9d\\xf7\\xb3\\xf2\\x87\\xd6_\\xd0\\xbb\\xdd\\x00\\x89\\xc3\\x10v\\x86\\x9e\\xe5\\xaf\\xa7\\x0fIv\\xccS\\x0b#b\\x18\\x17\\xa7\\x0f\\xfc\\x1f\\xf5\\x11i\\xb7\\xd5O]~\\xe8\\xc5\\x88\\x04\" 4[\\x7f\\xb7\\x9e\\xbd3\\x80\\x84\\xc4\\xc2\\x00\\xc0\\xc2\\x08@H\\x0b7\\xff\\xbfM\\x8f\\x08\\x04\\x88\\x80\\x14\\xdf\\xda\\xe6@KH\\x08\\x82\\xfaV#\\x8c\\x07\\x07\\x02\\xd6\\xa01\\xc8\\x02\\x9e\\xfd`\\x87\\xb4={O\\xce\\xf10l\\x11q\\x18\\x06\\x10\\x10\\xcf\\x08\\xe0\\x0e#\\x08\\x000\\x08`0r\\xa1\\'\\x04\\x02Ah\\xbe#\\x08\\x88\\x88\\x02(\\x88\\x02 \\x88\\x82(\\x84\\x0c\\xc0\\x08\\xa1G\\xe4jM\\xea\\xa7\\xd6\\xf9u\\x04(6\\x8b\\'R\\xec\\x1fX\\x8f\\x13Q\\xc2~RC\\xc9\\xbeX\\xfc\\n4\\x9b0\\x94\\xf3\\x8c\\xcc~w\\xbe\\x92\\x1dR8\\xb0p5\\xe2y\\xcd\\xf6S_\\x07i\\x0f\\xb3\\x98M\\x0c\\xfa\\x8d\\x05\\x1804A\\x16\\xec\\x1c~\\\\\\xef\\x85\\x19\\xc4\\xeb\\xac\\x13t\\x82\\xc2 \\x8c jzQ\\xc0\\x00\\xa0\\x84e,w\\xa4k\\xc2\\xaf\\xa5\\x7f\\x9e\\xd6(k\\xf5_\\xe1E5\\x96v\\xbb\\xc3~\\xd6\\xef\\x9c\\xa5?\\x1e\\xb6\\x07e}\\xe6z\\xad\\xf8\\xcdr\\xcd\\xf2\\x17\\xff\\xb1\\xb5;\\x1f\\xb6\\x10\\xb4\\x1b\\x02\\xa3\\xe4M0\\xad\\xf4\\xb1e\\x7f\\xd5\\xc7\\raj\\xba\\x9f\\xae\\xa5\\xea\\xb4\\xf0A\\x11\\xcc\\xf7_\\xcc\\xb0\\xb2V\\x1ddu\\xb4\\x8dV\\x1dd\\\\\\xd9\\xdbOw\\xff\\x84\\xed\\xa6;\\\\|\\xe4=\\x80\\xcfF7\\xcaF$\\x02 @\\x93\\xf9\\x05\\xcf\\xd9\\x0f\\xc6\\xaa\\xd3\\x02,\\x08`\\x90\\x80\\xf5J\\xeb\\xd1P\\xb4\\xf5\\xe9ER\\'\\xe7y{\\xf1,\\xcc\\xbd>\\x1cC\\xdew,\\xc2x8\\x10 \\x11\\xdc^\\xdf\\x00\\xc0\\xb0\\xb1\\x87\\xfd\\x08\\x00\\x9e\\xbdE0dt\\xd9\\xb3\\x07\\x002\\x86\\x88\\xc89\\x17\\xce\\x85\\x99\\x8cq\\xe3h\\x07\\x03\\xe2\\x81=\\xc8\\x08\\xec\\x81\\xc7\\xb0,\\x1e\\xc4\\x810\\x00\\x03{\\x10\\x1f\\x8d\\n\\x03\\x0b\\xb0~E-\\x8d\\x84iW\\xb8}\\xab\\x1bg\\xbf\\x0b\\x0e\\x84\\xc3/j\\xafG\\xa2\\xcd\\xc7_\\x0c\\x17(\\xbd\\xa4\\xd0zs\\xfd\\xf4\\xc5\\xb4\\xff\\xbc\\
|
[
{
"user": "<image>\nIs the table above the rope?",
"assistant": "Yes. The <object>table</object><bbox>[14,590,473,935]</bbox> is above the <object>rope</object><bbox>[252,927,408,990]</bbox>, with the rope lying on the floor beneath the table's legs."
},
{
"user": "Is the glare in the window?",
"assistant": "Yes. The <object>glare</object><bbox>[522,269,838,519]</bbox> is in the <object>window</object><bbox>[522,262,853,529]</bbox>, reflecting bright light on the blinds."
}
]
|
spatialsense_gold
|
7
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01\\xf4\\x01w\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1f\\x00\\x00\\x00\\x06\\x03\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x05\\x06\\x07\\x08\\t\\x02\\x03\\n\\x01\\x00\\x0b\\xff\\xc4\\x00J\\x10\\x00\\x02\\x01\\x03\\x03\\x03\\x03\\x02\\x04\\x03\\x05\\x06\\x05\\x02\\x02\\x0b\\x01\\x02\\x03\\x04\\x05\\x11\\x06\\x12!\\x00\\x071\\x08\\x13A\"Q\\t\\x14aq#2\\x81\\x15B\\x91\\xa1\\xb1\\x163R\\xc1\\xd1\\xf0\\n\\x17$b\\xe1\\x18Cr%\\x82\\xf1\\x19s\\x9245DT\\xb2c\\xff\\xc4\\x00\\x1e\\x01\\x00\\x01\\x04\\x03\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x03\\x02\\x04\\x05\\x06\\x01\\x07\\x08\\x00\\t\\n\\xff\\xc4\\x00H\\x11\\x00\\x01\\x03\\x02\\x04\\x03\\x05\\x06\\x05\\x02\\x04\\x05\\x03\\x03\\x04\\x03\\x01\\x02\\x03\\x11\\x00\\x04\\x05\\x12!1\\x06AQ\\x07\\x13\"aq\\x142\\x81\\x91\\xa1\\xb1\\x08#\\xc1\\xd1\\xf0B\\xe1\\x153R\\xf1\\t\\x16br\\x82\\x17$C4\\xa2\\xb2%Sc\\xd2D\\x92\\xc2\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xe5\\xf6\\xc3]Y\\xae\\x91\\xad\\x06\\xc1]\\xa8\\xeac\\x05\\xe24TRNO\\x1c\\x9c\\xa2\\x9d\\xac0I\\xe7<\\x0f\\x1dk\\xe6\\xb0g\\x99p\\xb8\\xc4\\x81\\xd2\\x9f\\xb8\\x14\\xb4\\xe5H\\x82v\\x9f\\xd6\\x9cZ_I\\xba\\xcbR\\xfe^]9\\xa1\\xbb\\xbfY\\x08\\x8a6\\x95\\xaal\\xa9I\\xecO\\xb0\\x16E3?1\\x02H\\x12\\x9cg\\x82T\\x13\\xb7\\xab\\x9aZ\\xba\\\\fL\\xfd\\xe9\\x90J\"\\x1c\\xd2\\x82P\\xf6g\\xba\\x9d\\x9a\\xd57{!\\xa0\\xa1\\xd3\\xba\\x86zF\\xa6\\xaa\\x8e\\xe9S\\x14\\xc1)\\xe5P\\xc0\\x83\\x11`\\x9c:8nG\\xeeA\\x01\\x83\\xb8\\x8a\\xadU\\xe3\\xdf\\xca\\x9d#\\x04J\\xc0\\x95\\xe8i\\xe1\\xd2\\xf2k=\\x1bZ\\xb4w\\xdb\\xed\\x9a\\xf5]\\x1c\\x89S\\x14\\xf4\\x11J\\x90\\xce\\xa2a\\x03\\xa0.\\xaaH\"\\xa5\\x18d/\\x9f\\x1d-\\x9cH<\\x0b\\x9d*G\\x0e\\xc1?0\\xb2\\x15(<\\xfaR\\xd7Zke6I\\xeb\\rG\\xb7\\x04\\xa8vm$l\\' \\xa9\\x19\\xc9l\\xee\\xfa@<\\x8f\\xf1\\x98E\\xf0-\\xe7\\x06~\\xf5\\x19\\x88\\xe0e\\x97{\\x903t\\xa8\\x7f\\xa9.S];|\\r\\xa6\\x8ez[M\\xca\\xebU_p\\x96D*$X\\x11\\x0e\\x08\\xe0\\x96i\\'S\\x83\\xff\\x00\\x08\\xcf8=W1\\xeb\\xd2\\x11\\x96w\\xad\\xf5\\xd8/\\t\\x17\\xaf\\x17t\\xe3p\\x1b\\x06|\\xa7\\x97\\xadE\\x8b\\xb5\\t\\xa4\\xa0\\xae\\x9aI\\x85<R\\x95D\\x8c+\\x16f<\\xaa\\xa8>O\\xc0\\xf9\\xfd\\xfa\\x86\\xb2FeBkp\\xe3\\x96\\xe9\\xb6aN\\xa9z\\n\\xb4OE\\xbf\\x86\\x96\\xac\\xfcC\\xb5\\x17\\xfeF\\xf6\\xbbZ\\xf6\\x93E\\xf7\\x1aK<\\xf7\\xc9\\xab\\xb5e\\xe9\\xe9 \\x9e(\\xe4\\x8a7\\x82\\x18\\xd1\\x1d\\xe4\\x9c\\x19H\\xf6\\xd4gb\\xb9b\\x00\\xe2\\xeb\\x83[Y\\xac\\xcd\\xc3\\x99ca\\x12I\\xfbi\\xeb\\\\\\xe5\\x8d\\xf1b\\x9euN>\\xa2\\x13\\xb4u\\xae\\xad=m\\xfa\\xb5\\xfcA\\xff\\x00\\x0b_G\\x7f\\x875?z\\xfdO\\xf6\\x7f\\xb7\\xbd\\xe3\\xd1\\xf5\\x97\\x9d\\x1d\\xaak\\xa8\\xb7j\\x9an\\xefYiha\\x16\\xe9\\xff\\x00\\xb3eXf5f8\\xe2\\xf7\\xa5w\\x87\\xdb\\x99%q>\\xd9\\xc2\\x99U\\xda\\xa0\\xac\\x04.S\\xe9\\x15\\xa4\\xf1k\\x86\\xc3\\xff\\x00\\x94\\xb2bt\\x02g\\xd7\\x90\\xfeA\\xa9\\x05\\xdc\\xee\\xfd\\xe8o\\xc7\\xf3\\xf0\\xae\\xbb\\xa7d\\xf5\\x85\\xa7\\xb5}\\xee\\xb1j\\x9aJ\\xa6\\xb6\\xea\\nqECp\\xbeP\\xc6\\xc5\\xa8\\xe2\\x9d\\xe5u\\x86\\x1a\\xa8j\\xc8\\x8aGf\\xd8\\xce\\xa1\\xb7\\x00[\\xa8>:\\xe0g/0\\xf2\\xca\\xbd\\xd5\\xea\\x0f\\x98\\xebO\\xf8W\\x8b\\x1bb\\xfcw\\xc0\\xa5H\"~;Eq\\xdb\\xd9\\x1de\\xac\\xf4\\x7f\\xa8\\x
|
[
{
"user": "<image>\nIs the cookies in the box?",
"assistant": "No. The <object>cookies</object><bbox>[96,380,229,442]</bbox> are below the <object>box</object><bbox>[93,172,296,270]</bbox>, resting on a wire rack on the table."
}
]
|
spatialsense_gold
|
8
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x01,\\x01,\\x00\\x00\\xff\\xe2\\x0cXICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x0cHLino\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xce\\x00\\x02\\x00\\t\\x00\\x06\\x001\\x00\\x00acspMSFT\\x00\\x00\\x00\\x00IEC sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-HP \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11cprt\\x00\\x00\\x01P\\x00\\x00\\x003desc\\x00\\x00\\x01\\x84\\x00\\x00\\x00lwtpt\\x00\\x00\\x01\\xf0\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x02\\x04\\x00\\x00\\x00\\x14rXYZ\\x00\\x00\\x02\\x18\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02,\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02@\\x00\\x00\\x00\\x14dmnd\\x00\\x00\\x02T\\x00\\x00\\x00pdmdd\\x00\\x00\\x02\\xc4\\x00\\x00\\x00\\x88vued\\x00\\x00\\x03L\\x00\\x00\\x00\\x86view\\x00\\x00\\x03\\xd4\\x00\\x00\\x00$lumi\\x00\\x00\\x03\\xf8\\x00\\x00\\x00\\x14meas\\x00\\x00\\x04\\x0c\\x00\\x00\\x00$tech\\x00\\x00\\x040\\x00\\x00\\x00\\x0crTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cgTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cbTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0ctext\\x00\\x00\\x00\\x00Copyright (c) 1998 Hewlett-Packard Company\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00o\\xa2\\x00\\x008\\xf5\\x00\\x00\\x03\\x90XYZ \\x00\\x00\\x00\\x00\\x00\\x00b\\x99\\x00\\x00\\xb7\\x85\\x00\\x00\\x18\\xdaXYZ \\x00\\x00\\x00\\x00\\x00\\x00$\\xa0\\x00\\x00\\x0f\\x84\\x00\\x00\\xb6\\xcfdesc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00view\\x00\\x00\\x00\\x00\\x00\\x13\\xa4\\xfe\\x00\\x14_.\\x00\\x10\\xcf\\x14\\x00\\x03\\xed\\xcc\\x00\\x04\\x13\\x0b\\x00\\x03\\\\\\x9e\\x00\\x00\\x00\\x01XYZ \\x00\\x00\\x00\\x00\\x00L\\tV\\x00P\\x00\\x00\\x00W\\x1f\\xe7meas\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x8f\\x00\\x00\\x00\\x02sig \\x00\\x00\\x00\\x00CRT curv\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x00\\x05\\x00\\n\\x00\\x0f\\x00\\x14\\x00\\x19\\x00\\x1e\\x00#\\x00(\\x00-\\x002\\x007\\x00;\\x00@\\x00E\\x00J\\x00O\\x00T\\x00Y\\x00^\\x00c\\x00h\\x00m\\x00r\\x00w\\x00|\\x00\\x81\\x00\\x86\\x00\\x8b\\x00\\x90\\x00\\x95\\x00\\x9a\\x00\\x9f\\x00\\xa4\\x00\\xa9\\x00\\xae\\x00\\xb2\\x00\\xb7\\x00\\xbc\\x00\\xc1\\x00\\xc6\\x00\\xcb\\x00\\xd0\\x00\\xd
|
[
{
"user": "<image>\nIs the paper behind the woman?",
"assistant": "No. The <object>paper</object><bbox>[348,369,446,532]</bbox> is to the left of the <object>woman</object><bbox>[508,326,708,752]</bbox>, hanging on a monitor in the control room."
},
{
"user": "Is the laptop in front of the man?",
"assistant": "Yes. The <object>laptop</object><bbox>[172,465,286,716]</bbox> is in front of the <object>man</object><bbox>[580,450,950,994]</bbox>, sitting on the desk within his reach."
},
{
"user": "Is the monitor in front of the woman?",
"assistant": "Yes. The <object>monitor</object><bbox>[258,378,366,562]</bbox> is in front of the <object>woman</object><bbox>[516,360,718,924]</bbox>, positioned on the desk directly before her."
},
{
"user": "Is the man in front of the women?",
"assistant": "Yes. The <object>man</object><bbox>[458,468,958,991]</bbox> is in front of the <object>women</object><bbox>[526,332,710,837]</bbox>, sitting closer to the camera at the control desk."
}
]
|
spatialsense_gold
|
9
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x02\\x80\\x00\\x00\\x01\\xe0\\x08\\x02\\x00\\x00\\x00\\xba\\xb3K\\xb3\\x00\\x00\\x00\\x04gAMA\\x00\\x00\\xb1\\x8f\\x0b\\xfca\\x05\\x00\\x00\\x00\\x01sRGB\\x00\\xae\\xce\\x1c\\xe9\\x00\\x00\\x00 cHRM\\x00\\x00z&\\x00\\x00\\x80\\x84\\x00\\x00\\xfa\\x00\\x00\\x00\\x80\\xe8\\x00\\x00u0\\x00\\x00\\xea`\\x00\\x00:\\x98\\x00\\x00\\x17p\\x9c\\xbaQ<\\x00\\x00\\x00\\x06bKGD\\x00\\xff\\x00\\xff\\x00\\xff\\xa0\\xbd\\xa7\\x93\\x00\\x00\\x00\\tpHYs\\x00\\x00\\x0b\\x12\\x00\\x00\\x0b\\x12\\x01\\xd2\\xdd~\\xfc\\x00\\x00\\x80\\x00IDATx\\xda\\x94\\xfd\\xf9\\xb7-Gu.\\n\\xce&\"2\\xd7Z\\xbb9\\xe7\\xa8\\xa55`\\x8c\\r\\xb61X\\xa6o\\r6F\\x08\\t\\t\\x01BH\\x18\\tIH`c\\xfb]\\xdf\\xfb^\\xdd\\xb2/\\x17\\t\\x03\\xc64\\xbeo\\xd4\\xa8\\xba6\\xc6`\\xdf\\xfa{\\xea\\x97zc\\xbcg\\x1b\\x90\\xd0\\xd19\\xd2iw\\xb3\\xba\\xcc\\x8c\\x889\\xe7\\xfb!\"\\xd7^[\\xe07\\xaa\\xce\\xc8\\xb1\\xcf\\xdak\\xaf&32b\\xc6\\x9c\\xdf\\xfc\\xe67I-\\x9a%3S\\xd5\\x14\\xcd\\xd4$\\x9bd33U+\\xffDM\\xcd\\xd4,e5\\x13\\xb3d&[\\xc7\\xc9?5\\xd9:\\x92\\x9e\\xfe\\xab\\x9d~\\xa9\\x8d\\x1f\\xbb9\\xccd\\xf3e\\xf5\\x1b\\xcd\\xb2Y\\xae_\\x94\\xc6c\\xfc\\x84\\x937n\\x7f\\xaa%\\xd3h\\x9a\\xcc\\xa2i\\xdc\\\\\\x87\\x9a\\x99d\\x1d\\x92\\r\\xd9$\\x9bl\\xbdw\\xf3\\xf9\\xd1,j=\\xe4E\\xa7\\xa7\\xf5\\x02\\x93Z\\x12\\xcbbYL\\xc5t\\xf3\\xe4\\xf8.\\xc9fy<\\xd7\\xf2x<\\xbfl\\x9a\\xcb\\xb9\\x88Z\\xfa\\x05\\x9f_\\x8f\\xbcu\\x0c\\xa2\\x83\\xc6\\\\\\xdfq2D\"\\xa6j\\xaa\\x96\\xe5\\xf4\\xa8\\xca\\xc9=\\xd0\\x93[$\\xa7\\xc6h\\xf3\\xe9\\xe5\\x05z\\xeaFoN~0\\x19\\xcc\\x86\\xd3\\xd7\\x92\\xcd\\xb2\\xa5d1Z\\x1c\\x7f\\x95l1[\\x9f-n\\x8f\\x95\\xd8\\xa0\\xb6V\\xebu|\\xbe\\x9e\\xd5\\xf8\\x1aQ\\xdb\\x1a\\xc3\\xcd\\xd8F\\xb18\\x0e\\xa9\\xa8I\\x19\\xed\\xf2\\xa7\\xf15\\x83\\xd8\\xa0\\'7\\xab\\x1c)\\x9f\\x1e\\xba\\xff\\xeb#\\xe9\\xbf\\xff\\xa7\\x17_\\xef/8\\xf4d\\xc2[\\x1e\\xef\\x85n}f\\x9d@2\\x8e\\xb3\\x9a\\x99\\x98F\\xd3X\\xc7\\xfd\\xd4p\\x88J\\xaa\\xb3ZUUE\\xff\\xdd\\xe9\\xf1\\xa2a\\x1c\\xbfGu\\xb3L\\xf2P\\xe7\\x81\\x9a\\x9a\\rj\\xe5>\\xc6_p!\\xb2u\\xbc\\xe8\\xea~\\xc1\\x9a\\xdd\\xcc1\\x95_\\xb8\\xa6\\x7f\\xf1\\xe7\\'\\xcb\\xc9r2\\xcd[\\xcb\\xf8E\\xf3\\xdf\\xca\\x00\\x9a\\xa9\\xa52\\x9d\\xca\\xe41\\x8bfR\\x07\\xcc\\xf4E\\xe79\\xce\\xe2<.\\xc0\\xb8}-V\\x87\\xc5\\xb2\\x99\\x96[ b\\x9aL\\x93\\x99d\\xb3h\\x96\\xb4\\xde\\x19\\x135\\xcd\\xe3\\xe8J\\xb2\\x1c\\xc7\\x95^\\xff\\xace\\xaenY\\xa2\\xcd-\\xde\\xba\\xcb\\xe5\\xb9\\xa82\\xda\\x99bc\\x93\\xe8`\\xbf\\xe8\\x96\\xa9IV\\x11=\\x99{u6\\xbf\\xd8<\\x9e\\xba\\x0b\"&\\xb2\\xbdT\\xeb:\\x8dV\\xbf\\xef\\x17\\xbc\\xd76#\\\\gQ\\x96\\xf1\\xae\\x8dvec\\xf9uc8\\xc7\\xf7g-\\xb72\\x95#Z\\x8e\\x96\\x93I2I\\xa7ok\\xaag\\xa2\\xdb\\xe7\\xb3=\\xaf\\xb6\\xcc\\xe9\\xa9\\xe9\\xb79\\x87\\xcd\\x80\\xd7\\x85#f\\x9a\\xcd:\\xb3\\xb5\\xd5)\\xb1\\xb1\\xa8\\xd1t0\\x1d\\xcc:\\xb3n\\xfcB1\\x93z\\x91\\x9a\\xaby\\xd7X-pyF\\xc6\\xefW1\\x89&\\xb1N\\x8c\\xcdn0\\xde\\xf6z\\x0e\\x9b\\x1b]\\xff+_\\xd4\\x8fG\\xddI\\xcb\\x90\\x0eZoJ2\\xeb\\xb2e\\xb3>\\'U5\\x13\\xc9\\xd1Lr\\xcefF\\x08\\x98\\x92\\x00\\x80\\x888\\x0f9\\x03\\x00\\x10\\x83\\x19\\x98)\\x00\\x00\\x00!\\x00\\x00\\x1a8F33\\xa8\\xd7\\x0e?\\xf7\\x0fO\\xfdF\\x00\\xf0\\xefl\\xbf\\xf5\\xa5h\\'\\xefB\\xd0\\xed\\xcf\\x1c\\x9f\\x04\\x02 \\xa0\\xd3\\xdf\\xa3\\x9bW\\xe0\\xe6K\\r\\xc0\\xea\\xaf\\x0cH\\x80\\x08@\\x80T\\xff\\xae`\\x06\\xa2\\x8c\\x8e\\xc1\\x11\\x10\\x01\\xd5\\xf7\\x1a\\x80Q\\xb9\\xe0\\xf2!\\x00\\x80\\xc0X^`\\x80\\xe3\\xc7\"(\\x82b=+\\xdc\\x1c\\x08T_\\x0cX>\\x87\\x00\\x10l3\\n\\xb49m5\\xd5\\x0c\\xe5s\\x10\\x18@\\x04\\xcc6\\x97`j\\x19\\xca (\\x98\\xd47zBF\\xbf5\\xca\\xf5\\xbel.\\x99\\t\\xc0\\x04,\\x01(\\x80\"\\x02A=\\'\\xac\\x17\\xa9\\xbf\\xe0V\\xe1/\\xbam\\n\\xa0@\\x06\\x04\\x06 \\x08F \\x04\\x86\\x00<^K\\xb9#\\x0c\\xc0\\'\\xe3c\\xe5\\xf2\\x11`3\\x8c\\xa6\\x00\\x9b\\xc1(\\xcfk}\\xfbfT\\t\\xc7{d\\xe5L\\t\\x81\\xd0\\x08\\x8d\\xb6F\\x15\\x08\\xb8\\x8c3\\xd5\\xfbB\\xe3\\x1d\\xc4\\xad\\x83\\x11\\x88N\\x9d$\\x94\\x1b\\x81 \\x04J\\xa0/\\xfa\\x13#\\xfc\\xfc\\xeb\\xeb\\x9f^|\\xbd\\x9bO\\x13\\x04)\\xe
|
[
{
"user": "<image>\nIs the pillow under the bed?",
"assistant": "No. The <object>pillow</object><bbox>[481,294,630,381]</bbox> is on the <object>bed</object><bbox>[50,277,838,906]</bbox>, resting against the headboard."
},
{
"user": "Is the shoes on the rug?",
"assistant": "Yes. The <object>shoes</object><bbox>[19,504,78,560]</bbox> is on the <object>rug</object><bbox>[11,508,989,977]</bbox>, resting on the carpeted floor near the bed."
},
{
"user": "Is the pillow on the bed?",
"assistant": "Yes. The <object>pillow</object><bbox>[481,294,630,381]</bbox> is on the <object>bed</object><bbox>[50,277,838,906]</bbox>, resting against the headboard."
},
{
"user": "Is the pillow on the bed?",
"assistant": "No. The <object>pillow</object><bbox>[25,656,356,960]</bbox> is beside the <object>bed</object><bbox>[95,296,834,856]</bbox>, lying on the carpeted floor."
},
{
"user": "Is the bed behind the wall?",
"assistant": "No. The <object>bed</object><bbox>[125,219,850,842]</bbox> is in front of the <object>wall</object><bbox>[378,17,992,504]</bbox>, positioned against it in the bedroom."
}
]
|
spatialsense_gold
|
10
|
[
{
"bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x01:\\x01:\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01w\\x01\\xf4\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1f\\x00\\x00\\x01\\x04\\x03\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x08\\x05\\x06\\x07\\t\\x03\\x04\\n\\x02\\x01\\x00\\x0b\\xff\\xc4\\x00O\\x10\\x00\\x02\\x02\\x01\\x03\\x03\\x02\\x04\\x03\\x05\\x04\\x07\\x06\\x04\\x01\\r\\x01\\x02\\x03\\x04\\x05\\x06\\x07\\x11\\x00\\x12!\\x08\\x13\\x14\"1A\\tQa\\x15#2q\\x81\\x16BR\\x91\\n$3b\\xa1\\xb1\\xf0\\x17Cr\\xc1\\xd1\\xe1%c\\x92\\xf1\\x184Ss\\x82T\\x83\\xb2\\x19Dde\\xa2\\xc2\\xff\\xc4\\x00\\x1e\\x01\\x00\\x00\\x07\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x03\\x04\\x05\\x06\\x07\\x08\\x01\\x00\\t\\n\\xff\\xc4\\x00O\\x11\\x00\\x01\\x02\\x04\\x04\\x03\\x05\\x05\\x05\\x07\\x02\\x05\\x03\\x02\\x03\\t\\x01\\x02\\x11\\x00\\x03\\x04!\\x05\\x121A\\x06Qa\\x07\\x13\"q\\x812\\x91\\xa1\\xb1\\xf0\\x08\\x14B\\xc1\\xd1#Rbr\\x82\\xe1\\xf1\\x15\\x92\\x16$3\\xa2\\xb2\\tC\\xc24s\\x17DSc\\x83%\\x93\\xa3\\xd25T\\xc3\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xe7OGj\\xb8\\xa7\\xbb\\xa6\\xb7\\xbb3\\xb4\\x18\\xfd\\xd1\\xd0\\x12\\xd8\\xc9i|]I\\xb2H\\x94\\xf2Z\\x94Q\\x80L\\xf2\\xd7\\x8d\\xe1\\xb5\\x1dp\\xb6\\x811\\x00\\xcb\\x13\\xca;\\x1aVP\\x82\\x8e\\xc5p\\t\\x8a\\x90h)\\xe7\\xf7s\\x1d**\\x02\\xe1\\x00\\xbb\\x07p\\xe7\\x9e\\xed\\xd5\\xe1\\xd8P\\xcf\\x14\\xfd\\xe2\\x12\\x08Y)I7\\xb8\\xcb\\x98\\xb5\\x8e\\xf6w\\x0f\\xa0$B&gr\\xb5\\x17\\xa6L%\\x9d\\xc8\\xd0:\\x83Z\\xe8\\xafP\\xf9[\\x7f\\r\\x06g\\x13\\xa9)K_\\x1bJ%\\xee\\xb2\\x98\\xea\\x91$\\x85\\x90\\xc9/\\xb5\\x1d\\xc9g\\x93\\xb9,O\\\\\\x86\\x92;\\x0c$\\x98=\\'xS\\xbc\\xb4hH7\\xd9\\xcf\\xe6\\x18\\r\\xc0f\\x85\\x93\\x92\\x99\\x12\\r!\\x072\\xc2s\\x1c\\xc0\\xba[`\\x03\\x00\\xa3\\xbb\\xbb8\\x0c\\x011\\xd2\\xd6\\xcao\\x8e\\xf5\\xe8OM\\x9bW\\x95\\xde\\rK\\xa6}c\\xa6\\x17\\t\\x99\\x97QY\\xc2CC#\\x94\\xc5*\\xc4\\xedo\\x1cqRK\\x03\\xe4+\\xac\\\\\\xc4\\xb2\\xc3\\xee3\\x08\\xff\\x00y\\x17\\x05\\x0fLTU\\x06\\xaad\\xc9\\x83*d\\x95x\\x08*\\xbaG\\xef\\x82\\x06U\\x1dr\\xd9\\x81\\x00\\x82\\xcf\\x11j\\xea\\xe9iR~\\xeas\\x94\\xa5\\x8b\\x90\\x14\\xe4\\x81b]\\xc3\\xe8\\\\\\x9f(\\x93\\xb2\\xd8\\x1a\\x1b\\xdd\\x15\\x1b\\xba\\xd7\\xd2\\xe5\\xbc\\x8e\\xa2\\xd3\\xd42X\\xc9r\\xb9\\xcc\\x9eO\\x15\\x95\\xc3RvKt\\xd2\\x0bFh\\xa3\\xbf\\x08i\\xfb,\\xc2\\xe4G\\xee\\x1e\\xc6\"\"\\xc4/\\xa3\\x98\\xa9.\\x89j\\x01=\\x18\\x87\\xdf\\xaf\\xbf\\xd2\\x03_\\xdf\\x00\\xa5\\xcf)+>\\xd6q\\xbaH\\x01NE\\xda\\xe1\\xec3;\\xf2\\x88\\xa2?M:\\xaa\\xf6\\xe2\\xbeJ\\xf6\\xdb\\xe4\\xbd4h\\x0c\\x96Yr8\\x1dI\\xa1n\\xd0\\xb5\\x97\\xd0Z\\xaa41L\\xf5g\\xc7\\xce\\xe8pw\\xdb\\x89\\xdb\\xdf\\x80\\xa7sC\\x0f\\xb7X2?Nj\\xc4%\"Xu\\xe6/\\xa5\\xdb\\xcboK\\xebxE2Q\\x98\\xa7[\\x12\\x1c\\x82\\x9b6\\xb7\\xd1\\x06\\xc7\\xf0\\x82\\xe5\\xc3\\x84\\xb4-o\\x1e\\x90\\xd1\\x1e\\xb8\\xf4|;e\\xaa7\\x1bw1y=3\\x97\\xaf\\xfb~\\xae\\xda\\xe2h\\xc5&\\xb4z\\xb5\\xac\\xd1U\\xaa\\xb3[\\x8e\\x08\\xc1\\x9523I\\x0c\\xf1\\xb1\\x85\\x0f\\xc3\\x97\\x87\\x80\\xdd\\nJ\\xbb\\xa5\\x15\\xa4;\\x80\\xdb7\\xaf\\x97(*UL\\x89\\xc13\\x94\\x87ga\\x99 ;\\x16Pr\\xc0\\x00\\xe4\\xe9\\xab\\x15Z\\x18\\xdb\\xb7sg\\xbd#\\xfa0\\xdd\\x8d+\\xbc:\\xf7{\\xf1\\xdbM\\x94\\xc5\\xd0\\xd2\\xf8=?\\x85\\xc8O\\x88\\xca\\xb6N$\\x88Y\\xad\\x8b\\xb3`\\x15\\xab
|
[
{
"user": "<image>\nIs the women behind the car?",
"assistant": "No. The <object>women</object><bbox>[898,187,998,773]</bbox> is to the right of the <object>car</object><bbox>[24,200,924,949]</bbox>, standing beside the rear passenger side."
}
]
|
spatialsense_gold
|