| # | images | texts | source |
|---|
1
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\x19\\x00\\x00\\x01\\xf4\\x08\\x02\\x00\\x00\\x00\\x86\\xa8\\xce\\x1c\\x00\\x01\\x00\\x00IDATx\\x9cd\\xfdK\\x93$;\\xb2&\\x88\\xe9\\x03\\x80=\\xdc#\"3\\xcf\\xa9\\xaa\\xae\\xdb\\xb79#\\xbd#\\x85#\\xdcqA\\xe1\\x9a[.\\xc8\\x9f=\\xbf\\x80\\xc2\\xc5P\\xa6o\\xdf\\xea\\xaa\\x93\\x99\\xf1pw3\\x03\\xa0\\xaa\\\\(\\x80\\xb0\\xac\\xebRR\\x12\\'2\\xdc\\xdd\\x0c\\x06\\xe8\\xe3\\xd3O?\\xc5\\xff\\xe5\\xff\\xf2\\xff\\xa8U\\x97\\xf9\\xa9\\x94C\\xeaNlR\\x8ee\\x99\\xa69\\xe4\\x9c\\xc10\\xe7:\\xcf\\xf3q\\x14f6\\xb3\\x9c3\\x1a\\x04b\"\\xd2R\\x05\\xac\\xaa\\xcd\\xf3\\xbcI\\t\\xc4\\x0cXs\\r!P\\xe0\\x90\\xe6\\x90\\xe2\\xbe\\xdd\\xb5\\xd4\\x108\\x97]k\\xf9\\xf6\\xfbo\\xfb\\xfe\\x00\\x00\\xd3\\x98s\\x06\\x00U\\rSz<\\xb6\\xcb\\xe5b\\x8a&\"\\xa52\\xa3\\xd4\\x12\"\\xa8*GB\\x04\\xa9\\x00\\x00i\\n\\xb5\\xec)@\\x08x\\xbf\\xbd\\xfe|\\xfd\\x1e\\x89r\\xces\\x9a\\x8f\\xe3(\\xa5\\xa4\\x94D\\x84\\x88\\x08PU\\xcd\\x0c\\x11k>B\\x08\\xcc\\xac\\xaa\\x00\\xa0\\x08\\x00\\xa0f\\x7f\\xfd\\xeb_\\xff\\xb7\\xff\\xed\\xff\\xc7H\\xaa\\xba\\xae\\xeb\\xe5r\\t!\\xc4)Q #\\xe4\\x18T5\\t\\x01\\x00\"*(\"\"\\x13\\x00d\\xa9$`f~\\xfdqJ9g`\\x02\\x00\\x11\\xa9\\xb5\\xa2\\x9aVA\\xc4\\x94\\x12\\x11!\"a\\x8a\\x89\\x8f\\xed\\x11c4PS\\xa8*~\\xb5fVJ\\x99\\xa6\\xa9\\xd6JDfJD\\xa0 Z\\x014\\xa5$\\xa6\\x84!\\xe7<\\xcd1`\\xaa*\\x004MS\\xce\\xd9L\\x02\\xb5\\xe7\\xf2\\xf6\\xf3\\x8f\\xacfZ\\xff\\x8f\\xff\\xf5__\\xdfn\\xff\\xed\\xfb\\xfb\\xf5\\xe5\\xf9\\xff\\xf9\\xff\\xfa\\x7f\\xff_\\xff\\xef\\xff\\xb7\\xb7\\xfbm\\xe2@\\x06\\x15,\\x84PK\\xa9\\x05\\x88@U\\x91\\x8c\\x88\\xcc\\x0cDC\\x08fv\\x1cG\\x08\\x01\\x11}\\xb9B\\x08\\xa5\\x14\\x00m\\x7f\\x06PkEd\\x00 \\xa2\\xe38B \"RU_p\\x00@d333\\x11\\xf1\\xcfT\\xd5\\x10\\xc8o\\xd3\\x9f{\\x8c\\xf1~\\xbf\\x87\\x90\\x10\\xd1\\xccT+Q\\xfb\\x1c\\xff\\x10\\xff\\x7f\\xf8\\xe7\\xc5\\xb1Z+3\\xfb\\x1f\\xa8*\"\\x12Q)%\\x84\\x00\\x009\\x1f\\xdb\\xb6\\xad\\xeb*\\xa5\\x02\\xc0\\xbc\\xae\\x81S\\x9a\\xa7\\xa3\\x16U\\x8d\\x84\\xaa*ZMTUC\\x08\\xb5\\x8a\\xaa\\x02\\x98j\\xf5K5C\\x11a\\x0e\"\\x82\\x88\\x88\\x98s\\x9e\\xe7Y\\xa4\\x02\\x80\\xaa\\xc5\\x18\\x8f\\xe3\\xf0\\x7f%B4\\x08\\x91\\x1e\\x1f\\x0fB43\\xab53\\xb3\\xbf\\xcd\\x7f\\x10\\x11\\xa6@D\\xcb\\xb2\\xa8\\xea4E\\x91\\xa2Z\\xfd_\\xfd\\\\a`f\\x0e!\\x1c\\xc71\\xc5\\xe47\\x16\\xa7d\\x08\\xaa\\xaaV\\x19i\\x9e\\xd6\\x9c\\xf3\\xbe\\x1f`\\xa4\\x80\\xf7\\xfb&b\\xcc\\x91\\x99c\\x8c\\xbe\\x10\\x00\\xf0\\xdbo\\xbf\\xf9W\\xabjHL\\x8c\\x97\\xcb%\\x1f5\\xc6\\xa8\\xaaf0M\\xd3\\xbc\\xa4R\\x8a\\x88\\x88\\x88\\xaa.\\xcb\\xe2\\x0bJD\"\\xc2\\xcc\\xfe$b\\x8c\\xfd\\xe1\\x05_\\x1d\\xdf\\xe2~w\\xaa\\xea\\x7fVJy~~\\x0e!\\xe4\\x9c\\x97e9\\x8e\\xe3\\xed\\xed\\xed\\xef\\x7f\\xff\\xfb\\xfd~\\xd7*S\\x88\\x04\\x88\\x88\\x82f\\x0c\\x82\\n\\x84b\\xea\\x87\\x87\\xc4|7\\xa4\\x94b\\x8c~l|\\xd1b\\x8csL\\x888M\\x13\\x00\\xe4\\x9c\\xb7m\\xdb\\xb6M\\xad\\xaa\\xea4M\\xfegf\\x169\\x94#\\xfbIK)\\x95R\\x88\\xc8\\xd7SD\\x0c\\x01\\x10C\\x8aG\\xc9~\\xfd!\\x040\\x12\\x91@\\x8c\\x88\\xb5V\\x00\\xf0\\xbfO)\\xf9\\xd2\\xf9\"\\x1c\\xc7A\\x84\\xf3<3\\xe0\\xe3\\xf1\\x186\\xcbw\\xff\\xbe\\xef\\x88H\\x04\\xfev\\x7f\\xa0n/\\xfc\\xc2\\xfcC\\xfc-\\xaa\\xea\\xab=>\\xc1\\xbf\\xd7\\xff\\xd2\\xbf\\xd1\\x0cK)\\xb5V\\xdf\\x00\\x00\\xe4\\x7f\\xe9\\x1f\\xeeod\\xc6\\xf1!\\xfeu\\xc7q\\xcc\\xf3\\x8ch\\xfe\\xbfa\\x98\\xfc_k\\xad~\\x1a\\r\\xc0\\x0f\\x89_\\x9e\\xff\\xe0O\\xd0\\xed\\xa3\\xff\\xb1_\\xf0\\xb86\\xbfe\\xe6\\xe0\\xab\\xea\\x0f\\xdd\\x8d\\xc2\\xb8_\\x7fK?\\xfcH\\x14\\x00\\x00\\x80\\xfcQ\\xd6Z\\xfc\\x8b\\xfc\\xa1\\xf8\\xa5\\xf8S\\xf0\\xd3\\x1eB \\xa2Zk\\x91\\x1aB(\"\\xa4&1r\\xa9\\x071\\xa4y\\x12\\x91RJ\\xf7H9\\x84\\xb0\\xef;3\\xbb\\xc97\\xb3\\x189\\x04B2\\xb5Z\\xea!\"\\x00\\x8a\\x88 \\x9a8\\x10\\xd1\\xba\\xaen\\x8c\\x974\\x11h\\x08i]\\xafD\\xc1\\x0c\\x08\\x03\\x18\\x11\\x05DN)\\xf9\\xd5L\\xd3t]\\xd6\\xe38\\xd6u5\\x90\\x94\\x82\\xdf\\xccc\\xbf\\x87\\x14\\xb7}\\xf7c Zr\\xce\\xb5\\x16\\x7f\\xa3\\xaf\\x8e\\xafoJ\\t\\x08\\xc7\\xed\\xf9\\xe3\\'\"_PD\\xa4\\x18\\x00\\xc0o\\x01\\x03\\xfb\\xc1cf\\x00\\xf4\\x1f\\x88\\xc8\\x0f\
|
[
{
"user": "<image>\nIs there a cat on the ground?",
"assistant": "Yes. The <object>cat</object><bbox>[120, 460, 950, 860]</bbox> is on top of the <object>ground</object><bbox>[0, 240, 1000, 1000]</bbox>, standing on the tiled floor in front of a mirror."
},
{
"user": "Where is the cat in relation to the mirror? Is it under the mirror?",
"assistant": "No. The <object>cat</object><bbox>[120,460,950,860]</bbox> is in front of the <object>mirror</object><bbox>[280,0,1000,810]</bbox>, standing on the tiled floor and facing its reflection."
},
{
"user": "Is the door behind the cat?",
"assistant": "Yes. The <object>door</object><bbox>[250,0,650,550]</bbox> is behind the <object>cat</object><bbox>[120,460,950,860]</bbox>, as the cat is positioned in the foreground on the tiled floor while the door is located further back in the scene."
}
]
|
spatialsense
|
2
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01M\\x08\\x02\\x00\\x00\\x00yq\\n`\\x00\\x01\\x00\\x00IDATx\\x9c\\x94\\xfdk\\x8fl[v\\x1d\\x88\\x8d\\xf9Xk\\xef\\x1d\\x11\\x99y\\xce\\xb9\\xf7V\\xdd\\xaa\\xba\\xc5*\\xf1\\xfd\\x92\\xa8\\x07)\\xc9\\x84\\r\\tm7\\xdc\\x86\\xe1\\x86m\\xb4?\\x19\\xfe\\xec\\x1fh\\x0bh\\xa3\\xdd\\r\\xbba\\xc1mu\\x8b\\xad\\xa6D\\xb2\\x8a\\xac\"\\x8bUu\\xdf\\xe7\\x91\\x8f\\x88\\xd8{\\xaf\\xb5\\xe6\\x1c\\xfe\\x90\\xf7\\x92\\x92\\x1a\\xb6\\xa4\\x85D\"\\xb03\"\\x90\\x99\\xd81\\xd6Xc\\x8e9\\xa6\\xfc\\xf2\\xb7\\xde\\x0b\\x18\\xd1\\x91\\x14\\x9dB\\xa9\\xd2E,2M\\x15\\x01\\x87\\xc3\\xb4c\\xb8I\\r\\x0c\\xd0\\x8b(D\\xb4dfq!\\x01)`\\xcb\\x10\\xa8\\xa9\"\\xa2\\x9bJ\\xf60\\x9d\\x06\\x87\\xca.tJ\\x06E\\xb3\\x84l\\xa9(\\xa1\\x03\\xa4\\xc9\\x00sD11\\xd1\\xde\\xbb9#a6if\\xcf\\x96*\\x84\\xb66\\x04\\t\\x11MI\\x00*\\xa6H\\x95\"\\x9a\\xa4\\x1a\\xccL\\x15f\\xe6\\xee\\xae\\xa5\\xd6\\x9ac\\x9f\\xf44\\x9c\\x12\\x836\\xb9af\\nk\\x07\\xb8`r\\x99\\x9bjjN9i\\x1c{L\\xb1\\x8b\\xe9U\\x02[\\xef\\x89\\xb1\\xe5\\xeb\\xcb\\xf5\\xf1r\\xfd<G\\x0b\\xd9\\x83I\\x13\\xb8\\x88d\\xe6`t\\xe5\\x88\\x00\\x04 \\x11\\x00\\x94\\x0exp\\x88P\\x04$\\xfe\\xb5E\\x85\\xa7\\rF\\x80\\x13l\\xaac\\x17\\xcd\\x06\\x92\\xac>u&\\xb5\\xcf\\xfb\\xa9\\x0f\\xc4\\xe1\\x01u\\x9e,\\xf6lH \\xab5L\\x8a\\xa6\\xcc\\x96\\x82\\n\\x19J0m\\xc4\\x80\\r5\\xa0Y:\\x11)\\x02\\x81\\xa6A,\\x8d\\xe6\\xa3\\xb2\\xaeuL\\xb0\\xa9Lmy\\xdf\\xbe\\xf1\\x8b\\xbf\\xf8\\xe1\\x8b\\x8f><\\xdd|\\xfb$\\xdf\\xad\\x1f\\xbex\\xff\\xf6\\xb4\\x8c!\\xb6\\xf0\\x95Mu\\xe4}\\xbfr\\x7f\\xf7\\xe5\\xe7\\xef>\\xfb\\xd3/_\\xff\\xe8\\xdd\\xeb\\x07\\xec\\x1f\\xbe\\xfc\\xe0\\xb7^\\xfdR\\xe4\\xf6\\xd3\\xa77\\xf7Qo4/71\\xab\\xbe<\\xf8\\xdd{\\xdf>\\xd6\\xef\\x1f\\xf3\\xf5\\xfa\\xf4\\xf0s\\x99~N_\\xb0|\\xe7xh\\xf1\\x1a\\x8fo\\xf6\\xb8\\xdf\\x9a\\xc4*\\xe7\\xf1f\\xd7\\x92\\xf2\\xeaI\\xe5q\\xc2\\xa1\\x1c\\x0e}\\x1a\\xb3\\x17\\xed\\xb5o[\\xbaO\\xaf&\\xc1\\x99b\\xac\\x19\\x97\\x07\\xae6\\xb6\\x1b\\x1b;\\xea\\xccW6x\\xb6\\x95\\xbe\\xdd\\xdd\\xbc\\xb8{\\xf1\\x8b//~}\\xf8\\xf4\\xf5\\xe7\\xff\\xdd\\x8f\\xfe\\xe9\\xff;^_\\x96e\\x9ef9\\xe82M7y\\xd0\\n\\x1c\\xc3\\xd7\\x929\\xd6\\xecM\\xc3w\\xc3\\xd4{\\x02\\xeb\\xaa\\x97\\xcb\\xe5>\\xf6\\xf3\\xce\\x8b\\x99b\\xd4e\\xd2\\xdb\\xe3\\xb2\\x1c\\xe7\\xbaPj\\x9f\\x1e\\nMs\\\\\\xadm}\\xab\\x12\\x03\\xfb:z\\x0c$L\\x91BV\\x81\\x06d\\xb2B\\xe9\\xc5?X\\xcbV-:\\xc2\\xbdE\\xf6\\x84l\\xb8\\xc6\\x881\\xa0\\xac\\x90\\x86\\x9c\\xa8=\\x86\\xaa\\xeb\\xc8$\\x86\\xd0\\xe0E\\xfb\\xae\\xac\\xe6\\x07\\xd8d2K\\\\k\\x14\\xc92\\xf9\\\\p\\xd1\\xf9\\x80\\x9d>\\x97\\x91\\xad\\x10P\\x00.iLgy\\xa8,\\x82\\x1c,Y\\xdb2J`L6\\xa1\\x98\\xd5\\x9a\\x05^*\\xb4\\xa9\\x89:\\x8b\\rB`B\\xaa\\x18I\\xa9\\x9e\\xe1C1!\\x05\\xb6Q\\xa7\\xa1\\xa6\\xb9\\x81\\xc3s\\xca\\xe9\\xb4\\xdbC\\xb9>\\xb9\\x1cF9\\xf6\\xb1\\xab-\\xb0\\x07\\x19F8l\\xcbQ\\x13f\\xb6\\x9b\"\\xa9\\xaa\\xbd\\xd4\\xa1z\\xc7\\x99}\\\\\\x0e\\xf6\"\\x9c6e\\x96a\\x18\\x88\\xe4P\\x85\\x11\\x08\\x0b\\xe7\\x06=\\x8cq\\xb0z\\r\\xac%\\x96&\\xc3\\xb4mO7\\xbdS\\xfa\\x87\\x86\\x17\\xaf\\x96\\xf9\\xe6\\xee\\xc5\\xe1\\xfd\\xedt\\xf2\\xa9\\x16\\xc1\\x83\\x9c\\xef\\xdb\\xdb};\\x0f\\x84la\\xd8\\x9f\\xf2\\xda8<Sb\\xechM\\xbbb\\x18c\\x8c\\xfc\\x86\\xf8\\xf9\\xd8\\x0fqWp\\xe2\\xa1L\\xa11\\xc6\\xba\\xe8\\xc0\\x98/\\xd9D!eW\\xdel\\xb1\\x9a\\xc2\\xadvBX\\x04\\x91\\xb9\\xba}#\\xe7k\\x81J\\xd6V[\\x890q\\x1aK?\\xa2\\x8a\\x08\\x83\\xdd0\\x8a\\xcfa3}\\x13\\xed\\x19]xL\\x19\\xc2]\\xa3B\\x9dF\\xa2@G\\xc6\\xae\\x99l\\x03\\x9ce^\\xe0\\x99`\\x1fs\\xd0\\xf6\\x11=\\xe7=q\\xd9\\x15R\\x86u\\xb2\\x10\\xee\\xaeH`\\x08\\x90\\x19\\x924s\\x8d\\xde!-SS\\x8c\\x06\\xa0!\\x1b\\x92\\xe4\\xe8B\\x8c\\x1e\\x8d\\xe9=\\xbb\\x08\\x98\\xee\\x9a\\xa1\\x00 \\x84o&Sv@\\xbb\\x9b\\xb1OC\\xa9Ul\\x80\\xda\\x08Zf\\xb6\\x1aj\\x8a=\\xa4\\xa9\\x9a\\x9a*M\\x14\")b\\x84%\\xbaqd\\x85\\xa6\\x083iV\"\\xba:F\\xae\\xd7\\xd9\\xca(>\\x92\\x90!T\\xdb<\\xb4\\x86\\xa4@\")p\\x15\\nt\\xa4(*4\\xe14v\\xa6e\\x009\\x84$\\xaa\\xa0C\\n\\xa5\\xb9\\x96\\x04E\\x86f\\x19\\xd9%E\\x04\\x02\\x11\\xe1Wh\\xaa\\xd0\\xa1\
|
[
{
"user": "<image>\nIs the stone behind the lizard?",
"assistant": "No. The <object>lizard</object><bbox>[214,450,1000,800]</bbox> is on top of the <object>stone</object><bbox>[0,480,1000,1000]</bbox>, resting on its surface rather than having the stone behind it."
},
{
"user": "Where is the lizard in relation to the tree? Is it behind the tree?",
"assistant": "No. The <object>lizard</object><bbox>[214,450,1000,780]</bbox> is in front of the <object>tree</object><bbox>[0,0,1000,550]</bbox>, resting on a rock in the foreground while the tree foliage is visible in the background."
}
]
|
spatialsense
|
3
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x02\\x80\\x00\\x00\\x01\\xe0\\x08\\x02\\x00\\x00\\x00\\xba\\xb3K\\xb3\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfd\\xdb\\x92,Ir-\\x88\\xad\\xa5j\\xee\\x1e\\x91\\x97\\xbdw\\xf5\\x05\\x8d\\xd3888C\\xe0\\x9c\\x19\\xce\\x8c\\x0c9\\x1c\\x19\\x19!\\xff\\x82\"\\xfc\\x04\\xfe\\x00\\xff\\x81\\x0f|\\xa6\\x08\\xff\\x8a|\\x18\\xbe\\x90\\x94\\x19\\xce\\x1c\\\\\\x1b\\x8d\\xea\\xea\\xaa}\\xc9\\xcc\\x88p3]|P3\\x0f\\xcf\\xdc\\xb9\\xab\\x1b@\\x03\\xec>h\\x93\\x92]\\x99\\x91\\x11\\x1e\\xeen\\xe6\\xa6\\xaaK\\x97.\\xa5b\\x85\\x80\\x0bP\\n\\x0c Z\\x83;\\x00\\x80\\x08\\x81\\x00+\\x00\\xc0\\x00\\x83\\x00q%@\\x00\\x88\\xf1\\x07\\xa2\\x01V\\x00@\\x80\\x01\\x08\\xa1\\x11T~\\xecW\\r\\t\\xdc\\x1d\\xb1\\x1ff\\xbc\\xf8\\xda\\x88\\x00\\x0cF\\x01z\\xed\\xef\\xfb\\x0fr;\\xaa!\\x00\\x8d\\xbf~\\xe9\\xe0\\xdb{\\x0c\\xd0\\x05\\xd6\\xfa%\\x84A\\x82\\x97\\xf1&\\x8cK\\xb3~\\xc6\\xd8\\x1f\\xbc\\xe2\\xfa*\\x00\\n\\x82\\x0c\\x00)@\\x1a\\xdf\\x03\\xd0\\x01\\xa0\\xe5\\r\\x10H\\xb8\\xc0q\\x03D\\x00h@\\x00\\x866\\xf53\\xb7\\n \\x10\\xf9\\x0be\\xd8\\xee\\x16\\x03h@\\r\\x10:h\\\\\\xa6\\x80@\\x18H\\xf43p\\x80|\\xe56\\xec\\xefh\\xf4[%n\\xc7\\xdf\\xffY\\xda\\xbd|\\xfd\\x03\\xc1~+\\xc6\\xd9\\xe7\\xf0/\\xcd\\xd7\\xf8\\xd8\\xee\\xc8\\x01\\x08&\\x01y\\x87\\x05q\\xcc\\xe5\\xabK\\xaa\\xf5%\\x07 \\xe7h\\x1d\\xef5\\x82\\x91\\x07\\xe2v\\x05\\x8d\\x88q\\xda\\xce>\\xdf\\xfb\\x11\\x01\\x01 |\\xbb@\\x03w\\x8b\\x14\\xbbs\\xd9\\xbf\\xb8\\xff\\xb9|\\xf9j?\\x1f\\x11h\\x80\\xd8\\x8fY\\xf0\\xfcn=?\\xbf\\xef\\xb9\\x13/\\x0f\\xbb\\xfd$\\x18\\x10\\xb9\\xd2\\x88`\\x9f\\xff\\xfe\\x90*\\x80>\\xcdy\\xb7Bp\\xe4l\\xeeFN\\xc4\\xab\\xdf\\xd4\\xefr\\xff\\xe5\\x8bO\\xef\\xb3Cm\\xebG\\xd7\\x9f\\x9f\\xbdG\\xbbuE\\xe6\\xaf/>\\xf5\\xeag\\xbft@|y\\r\\xfe\\xea3\\xfe\\xe7\\x1d\\xda\\xcd\\x1d?\\x9b\\xebq\\x81\\xf9\\x9e\\\\\\xcc\\xb9f\\x1a>\\x9b5\\x00/V\\x8b \\xeen\\xc4\\xd8(b\\xfbl>\\xd1\\x14v\\xdf\\xf2\\xab\\xd7\\xf3\\x8b\\xf9\\xda\\xfd%>{o>\\xd7\\xd7\\xc1\\xf1\\x1eIyu\\xdf\\xbf$H\\x7f\\xfe\\xeb\\xaf;\\x81\\xaf\\xae\\xa2_\\xf3\\xb3\\xfb\\x83\\xfc\\x9a\\xab\\xee\\xc5\\x8b\\xdb\\xb7\\x97\\xfe\\xc0\\xcd\\x16\\x97\\x8b\\x1d\\xe6\\x16\\xc3\\x8cJ\\x10\\xfa\\xd5\\xdb\\xd5\\xae\\x8cM,\\xe7\\xc3!!7a\\x1b\\x13\\xd3\\xa7\\xd8\\x08\\xa8\\x1b\\x95\\xfdy\\xf4\\x1f^\\x9c!\\xc7\\xc1\\xed\\xb3\\x17_\\x1b\\xb1\\xbdS\\xfb\\xe7}\\xfc*5s\\xdf\\xfdm\\xfbI\\xdc\\x1b\\x9cW\\x8f\\xff\\xe2$@\\xc8A\\x03\\x003\\x04\\xb7\\xb9\\x16\\xc1\\xf1\\xf0#\\xed\\xcd\\xb3s6 \\xba\\xdd\\xed\\xdfly\\x1cIR\\x83\\xc9\\xc0\\x80\\xf5\\x97\\xfaG\\x1dD\\xae\\xf9\\xcd\\xea\\x8d{O\\xc06\\xd7\\xa1?\\x1b\\xdd\\xc4\\x91\\xa4\\x04\\x08\\x12$\\xc1e,6\\xe6\\xac5\\xd0`\\x06\\xdf_\\xdb0V\\x00\"\"\\xd7\\x84\\x99\\xf7;\\xc6\\xed]i\\xf9\\xbf0\\x19\\xbc\\xbe\\xef\\xd9\\x03\\xaf\\xdd\\xbf\\x04\\x85\\xa0\\xf8\\xea\\x9e\\xf0\\xa5\\xc1<8\\xa1n\\xb4\\t#s&\\xfaa^<E.\\x81\\x8am\\t^\\xfd,b\\x98\\xde~v\\x82 0\\x0c\\x06\\x98^\\xdb\\xdd\\xf2\\x081&\\xd2\\xfa\\xd5\\x08\\xd0f\\x92\\x9f\\xbd\\xf771\\x0c\\x8c~\\xdaf\\xfd\\x19\\xeb\\xdf\\xfe\\xf7\\x1az\\xb1\\xad\\x8dc\\x84\"\\x17\\x94\\x8ds\\x16\\x04\\x89y\\x9b\\x9f\\xaf^\\xe5Z\\xfcl\\xce\\xbeo\\x16\\xed\\xf5?\\xed7\\xe5_\\xf9\\x86\\x17\\xbb\\xd5\\x8b\\xedl\\xb3\\xc1\\xaf\\xfe\\xf5\\xc5;\\xbf\\xf8u\\x9f\\x99\\xe0nr\\xf4\\xcc!\\xf8\\x07\\x1c\\xf9\\x9fgD\\xec\\x0c\\xf3n\\xd6B\\xc1g{\\x1c\\x00\\x84\\xc2\\xf8\\xfa\\nz\\xedBvw>\\x17\\xc0\\xb3U\\xf1\\xab\\xc7o\\xe4\\xe6\\xecM\\xef6)_\\x9a\\x91\\x7f\\xc07~\\xdf\\xdax\\xbe\\xab|\\xcf\\xdb^\\xb5\\xa9\\xaf~\\xf0\\xf3\\x17\\xf3\\x15\\x9e\\x14\\x0e\"\\x9a\\x9bg\\x90%\\xa9\\x90\\x8e\\x00B\\xe9\\x15\\xe5fL\\xd3K\\xd3\\x94\\xdf\\x0c\\xa4\\xef\\x9c\\xa6\\x850c:N\\x047\\x8f\\x06\\xb2\\xe7\\xd6\\xf2\\x85\\x05\\x8e\\x8c\\x0e\\xfbq\\xbf/Hz\\xe6F\\xedOiw\\xc4k\\xc8\\xab\\xe7\\xbf3\\xe3\\xc0\\xfe\\xf3K\\xbf\\x1e}\\xd7\\xee\\xc7\\x8c\\x083\\xbb\\xda\\xd7\\xf1U\\x12@\\x05\\xc2\\xc7^y=\\x87\\xeb.\\xf6\"\\xec\\xf8\\xc2\\xd5 \\xb7\\xf4\\x17!;^\\x9e\\xf6\\xb8!v\\x05\\x18\"\\xa0@D(\\x02KY\\xa0\\xebC\\xa6a\\xb1\\xb1\\xa1\\x17\\xfd\\x0f\\r\\xc8\\xedw[\
|
[
{
"user": "<image>\nCan you confirm if the letters is on the playpen?",
"assistant": "Yes. The <object>letters</object><bbox>[580,620,850,980]</bbox> are on the <object>playpen</object><bbox>[450,530,980,990]</bbox>, printed on the fabric sides of the playpen."
},
{
"user": "Is the book on the shelf?",
"assistant": "Yes. The <object>book</object><bbox>[110,110,200,200]</bbox> is on top of the <object>shelf</object><bbox>[20,10,390,580]</bbox>, resting on one of the wooden shelves among other items."
},
{
"user": "Where is the crib in relation to the desk? Is it behind the desk?",
"assistant": "No. The <object>crib</object><bbox>[440,530,980,980]</bbox> is to the right of the <object>desk</object><bbox>[10,500,530,980]</bbox>, sitting on the floor beside the desk rather than behind it."
}
]
|
spatialsense
|
4
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01w\\x08\\x02\\x00\\x00\\x00\\xdc\\x90.\\xab\\x00\\x01\\x00\\x00IDATx\\x9c\\\\\\xfdg\\x9cd\\xdbY\\x1e\\x8a\\xaf\\xb8c\\xe5\\xd0\\xd5]\\x9d\\xbbgzr<sfN>GG\\x11t\\x84DN\\x7f\\xc0\\xd8`9^l|e_\\x13\\x8c\\xc1\\x80\\xb1\\xb0A`L0\\x06\\x84\\x10B\\x01\\x05\\x10\\xca\\xf9\\xc49gr\\xee\\x9e\\xce\\xb9\\xbbr\\xd5\\xae\\x9dV\\xfc\\x7f\\xd8\\xdd-\\xdd[\\x1f\\xe6WSU]\\xb5\\xc3Z\\xefz\\xde\\xe7y\\xdew\\xc1[\\xb3;\\n\\xc4J\\t\\xa5\\xact>\\xf8\\xc3?\\xf9\\xe3\\x1f|\\xd7\\xbf\\x9c\\x98,f\\xec4WR+d9]\\x15\\xbb\\x7f\\xf1\\xe7\\x7fx\\xed\\xc6\\x1d\\xc6\\no\\xfd\\xee\\xb3W\\xaf|\\xe3\\x8d\\xcbW\\x1e\\xdc\\\\\\xfb\\xc7?\\xfd\\xde\\xa7\\x9f\\xbb\\xf4\\x93\\xff\\xe8\\x1f\\x8d\\x8d\\x1e\\x86\\x10\\x00\\xa8\\x0c\\xc3 \\x94j\\x04\\xa1\\x82&\\xc4\\xe7N\\x9c\\xa0\\xc5B\\x10\\x04\\x08C\\xcec\\xcd\\x14\\x00 \\x8cc\\x88\\xa9\\x12Lk\\xad\\x94B\\x081\\x16#\\x84\\xba\\xdd\\xee\\xfa\\xfa\\xfa\\xc0\\xe0\\xd0\\x9b\\x9e{{&;\\xd0\\xed\\xf5\\r\\x83H\\xc1\\xba\\xdd\\xb6\\x14\\x82Z\\xb6eY\\x94b\\xa5\\x94\\xd6\\xda4M\\xd34\\x11BB!Ji6\\x95\\x9e}p/\\x8e\\xe33g\\xce4Z\\xcd^\\xaf766\\xd6n\\xb79\\x93\\xc5bquu\\xb5R\\xa9X\\x96u\\xf9\\xf5W\\x8f\\x1d;2ux\\xe6\\xe5\\x97^\\x1d\\x1c\\xacN\\x8dO\\\\\\xbbv%\\xe5\\xda\\x99L\\xaa\\xdfW\\x95\\xc1r\\xbd\\xd5\\xa8V\\xab\\xcdfSI=T\\x1d\\xbcr\\xe5\\xca\\xd1\\xe3\\x87\\x19S\\xadf{ll\\xec\\xce\\xed\\x1b\\'O\\x9e\\x0c\\xfb>c\"\\x95Jmmm\\x1d:thii)\\x9f\\xcf[\\x96\\xb1\\xb1\\xb9\\x96\\xcf\\xe7-\\xc3\\xdc\\xad\\xd7\\xb2\\x99<6L\\x83\\x9a^\\xbf\\x17\\x05\\xbd\\xc1\\xc1\\x92/\\xc0\\xd2\\xfc\\xc2\\xb1C3\\x1a\\xc8\\xcd\\xcd\\xcd\\xc1\\xe1\\xaa\\xef\\xfb\\xb1\\x1fg\\x8ay\\xcf\\xf3\\n\\x85\\x02\\x848\\x8a\"\\xd34\\xb5T\\x96e\\t\\xa4x,\\x08B\\x96a*\\xa9\\xb3\\xd9\\xac\\x1f\\x06\\xfd~\\xdf\\xb6]\\x08\\xb5\\x17\\xf8\\x96c\\x8f\\x8d\\x8c<\\x9c\\xbdo\\x1aDqA\\xca\\xa5\\x8d\\x95e \\xe2\\xda\\xee\\xb6\\x16\\xe2\\x89\\'\\x9e$\\x86U.W4\\x14P\\xa3\\xe5\\xc5y\\xaf\\xd7\\xde\\xdeX\\xf6\\xbb\\xad\\xb8\\x1fX\\x86M\\x105,\\x13\\x01\\xa8\\xb5F\\x18\\x00\\x08#%\\xfe\\xfe\\x0b\\x9f\\xdd\\xda\\xed\\x81\\xd8\\x07\\xdc3\\x81z\\xea\\xa9\\x8boy\\xe1\\x87Ff.@\\xbb,U\\xb4\\xbb\\xbd\\xd9\\xaa\\xd7Z\\xb5]\\xcd\\x19\\x8b\"J\\xa9R:_\\xc8\\x98\\x86M\\xa9\\xe1\\xfb~\\xca1\\xcb\\xe5\"\\x8b\\xc3\\xc3\\x87\\x0f\\xbf\\xf3\\xedOi\\xc4?\\xf5\\x85\\xbf\\xfb\\xe7?\\xfbO/\\x9d|\\xa4\\xdd\\xe9#B\\x8avjvv\\xf6\\x7f\\xfe\\xe1\\x1f\\xbd\\xe5\\x9d\\xef\\x88cfX\\xc6\\xc2\\xc3\\x87\\x87\\x0fM-/,\\xfe\\xfd\\xff\\xfe\\xc0_~\\xeaS\\xdb\\xb1\\xf9\\xf8\\xbb\\x7f\\xfc_\\xff\\xf3\\x7f\\xf6\\xdc\\xa9\\xf1\\xfa\\xf6\\xe2\\xef\\xff\\xd7\\xff\\xd1\\xf0\\r+\\x07\\x17\\xe6V\\xb2\\xd9\\xcc\\xe6\\xf6\\xd6\\x95\\xcb7\\xa6\\x0e\\x8f\\x19\\xd4\\x85H\\x8e\\x8d\\r_\\xb8\\xf8t\\xbf\\xa7\\x10\\x9633\\x03\\xff\\xe6\\xe7\\xfee\\xca*9\\xe9\\x0c\\x17\\xc1\\xd8\\xd8\\xc4\\xa5\\xc7\\x9e\\x13B\\xbb)\\xe3\\x89Kg\\x8f\\xcf\\x1c\\x9e}\\xfd\\x8d\\xedzk\\xe2\\xf4\\xe9g\\x9ey\"\\xee\\xb57W\\x1e\\xce^\\xbb\\xb2\\xf8pnqc\\'\\x10,\\xe4Lq\\x19\\x05q\\x1csdZ\\xa1\\xe2 B\\xc5\\x1aH\\t\\x0c\\x80\\x90\\xd0\\x92\\x02D\\x14\\x88\\xb0V\\x1a @\\t6b\\x19w\\xbb\\xed_z\\xdf\\xfb\\x1e9u\\xe6\\xd8\\xf9\\x93]\\x02\\xfe\\xe8\\x13\\x7f\\xf3\\xb7\\x7f\\xf3\\x89\\xfe\\xf2\\x16\\nX\\xc8\\xc2\\x80\\xe8\\xa2\\x95\\xb2,\\x8b\"*\\x81VZs\\xc5\\x95R\\x98@\\x11\\xb3V\\xab\\xd3\\xefyJ0\\x83\\x10\\xa1\\xa4\\xd6\\x1aB\\x040D\\x1a\\x02\\x89\\xa5\\x06@\\xc38\\n\\xa9\\xd6Y7u\\xfc\\xf8\\xd8\\xa3O<{\\xf2\\xfc\\x93\\xa9\\xe2p\\xa0\\x80\\xe7\\xf7\\xba\\xfdF\\xdf\\xefr&\\x9b\\x8dZ\\xb7\\xddi5j[k\\xab\\x81\\xe7\\xc5\\x81\\xaf\\xa4\\x8c\\xe3\\x90 @)\\xc5\\x10\"\\x840\\xc6\\x10\"\\x8c1\\xc4\\x08!\\xa4\\xb5\\x96R&\\x130y$O\\xb5\\xd6Zk\\x00\\x00\\x00`\\xffu\\x8d\\x10\\xd6ZC\\x08\\r\\xc3@\\x08I)\\x01\\x00\\x18\"\\xce9\\xe7\\x1ch%\\xa5D\\x08)\\xad\\t!\\xc9\\xbb\\x08!\\xc32\\xb5\\xd6\\x84\\x90L&#\\xa5\\x84\\x8aR\\xd3 \\x84h\\xad\\x01P\\x84\\x10\\r$c\\x0ch\\x04!\\x84\\x10\\x12\\x8a\\x80\\x82\\xc9Q1\\xc6\\x10\\xc6,\\x8e\\x01\\x00ZK\\xceyr0\\x00\\x00\\xc6\\x18c\\x0c!\\x04\\x10\\x14\\\\!
|
[
{
"user": "<image>\nIs the seat on the motorcycle?",
"assistant": "Yes. The <object>seat</object><bbox>[0,0,420,100]</bbox> is on top of the <object>motorcycle</object><bbox>[0,0,1000,1000]</bbox>, mounted on the rear frame above the engine and rear wheel."
},
{
"user": "Is there a bike in front of the road?",
"assistant": "No. The <object>bike</object><bbox>[0,0,1000,1000]</bbox> is on top of the <object>road</object><bbox>[0,150,1000,1000]</bbox>, resting on the paved surface rather than being in front of it."
}
]
|
spatialsense
|
5
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01N\\x08\\x02\\x00\\x00\\x00\\xff\\xe5x\\xce\\x00\\x00\\n1iCCPICC Profile\\x00\\x00x\\x9c\\x9d\\x96wTS\\xd9\\x16\\x87\\xcf\\xbd7\\xbdP\\x92\\x10\\x8a\\x94\\xd0khR\\x02H\\r\\xbdH\\x91.*1\\t\\x10J\\xc0\\x90\\x00\"6DTpDQ\\x91\\xa6\\x082(\\xe0\\x80\\xa3C\\x91\\xb1\"\\x8a\\x85\\x01Q\\xb1\\xeb\\x04\\x19D\\xd4qp\\x14\\x1b\\x96Id\\xad\\x19\\xdf\\xbcy\\xef\\xcd\\x9b\\xdf\\x1f\\xf7~k\\x9f\\xbd\\xcf\\xddg\\xef}\\xd6\\xba\\x00\\x90\\xfc\\x83\\x05\\xc2LX\\t\\x80\\x0c\\xa1X\\x14\\xe1\\xe7\\xc5\\x88\\x8d\\x8bg`\\x07\\x01\\x0c\\xf0\\x00\\x03l\\x00\\xe0p\\xb3\\xb3B\\x16\\xf8F\\x02\\x99\\x02|\\xd8\\x8cl\\x99\\x13\\xf8\\x17\\xbd\\xba\\x0e \\xf9\\xfb*\\xd3?\\x8c\\xc1\\x00\\xff\\x9f\\x94\\xb9Y\"1\\x00P\\x98\\x8c\\xe7\\xf2\\xf8\\xd9\\\\\\x19\\x17\\xc98=W\\x9c%\\xb7O\\xc9\\x98\\xb64M\\xce0J\\xce\"Y\\x822V\\x93s\\xf2,[|\\xf6\\x99e\\x0f9\\xf32\\x84<\\x19\\xcbs\\xce\\xe2e\\xf0\\xe4\\xdc\\'\\xe3\\x8d9\\x12\\xbe\\x8c\\x91`\\x19\\x17\\xe7\\x08\\xf8\\xb92\\xbe&c\\x83tI\\x86@\\xc6o\\xe4\\xb1\\x19|N6\\x00(\\x92\\xdc.\\xe6sSdl-c\\x92(2\\x82-\\xe3y\\x00\\xe0H\\xc9_\\xf0\\xd2/X\\xcc\\xcf\\x13\\xcb\\x0f\\xc5\\xce\\xccZ.\\x12$\\xa7\\x88\\x19&\\\\S\\x86\\x8d\\x93\\x13\\x8b\\xe1\\xcf\\xcfM\\xe7\\x8b\\xc5\\xcc0\\x0e7\\x8d#\\xe21\\xd8\\x99\\x19Y\\x1c\\xe1r\\x00f\\xcf\\xfcY\\x14ym\\x19\\xb2\";\\xd88980m-m\\xbe(\\xd4\\x7f]\\xfc\\x9b\\x92\\xf7v\\x96^\\x84\\x7f\\xee\\x19D\\x1f\\xf8\\xc3\\xf6W~\\x99\\r\\x00\\xb0\\xa6e\\xb5\\xd9\\xfa\\x87mi\\x15\\x00]\\xeb\\x01P\\xbb\\xfd\\x87\\xcd`/\\x00\\x8a\\xb2\\xbeu\\x0e}q\\x1e\\xba|^R\\xc4\\xe2,g+\\xab\\xdc\\xdc\\\\K\\x01\\x9fk)/\\xe8\\xef\\xfa\\x9f\\x0e\\x7fC_|\\xcfR\\xbe\\xdd\\xef\\xe5ax\\xf3\\x938\\x92t1C^7nfz\\xa6D\\xc4\\xc8\\xce\\xe2p\\xf9\\x0c\\xe6\\x9f\\x87\\xf8\\x1f\\x07\\xfeu\\x1e\\x16\\x11\\xfc$\\xbe\\x88/\\x94ED\\xcb\\xa6L L\\x96\\xb5[\\xc8\\x13\\x88\\x05\\x99B\\x86@\\xf8\\x9f\\x9a\\xf8\\x0f\\xc3\\xfe\\xa4\\xd9\\xb9\\x96\\x89\\xda\\xf8\\x11\\xd0\\x96X\\x02\\xa5!\\x1a@~\\x1e\\x00(*\\x11 \\t{d+\\xd0\\xef}\\x0b\\xc6G\\x03\\xf9\\xcd\\x8b\\xd1\\x99\\x98\\x9d\\xfb\\xcf\\x82\\xfe}W\\xb8L\\xfe\\xc8\\x16$\\x7f\\x8ecGD2\\xb8\\x12Q\\xce\\xec\\x9a\\xfcZ\\x024 \\x00E@\\x03\\xea@\\x1b\\xe8\\x03\\x13\\xc0\\x04\\xb6\\xc0\\x11\\xb8\\x00\\x0f\\xe0\\x03\\x02A(\\x88\\x04q`1\\xe0\\x82\\x14\\x90\\x01D \\x17\\x14\\x80\\xb5\\xa0\\x18\\x94\\x82\\xad`\\'\\xa8\\x06u\\xa0\\x114\\x836p\\x18t\\x81c\\xe048\\x07.\\x81\\xcb`\\x04\\xdc\\x01R0\\x0e\\x9e\\x80)\\xf0\\n\\xcc@\\x10\\x84\\x85\\xc8\\x10\\x15R\\x87t C\\xc8\\x1c\\xb2\\x85X\\x90\\x1b\\xe4\\x03\\x05C\\x11P\\x1c\\x94\\x08%CBH\\x02\\x15@\\xeb\\xa0R\\xa8\\x1c\\xaa\\x86\\xea\\xa1f\\xe8[\\xe8(t\\x1a\\xba\\x00\\rC\\xb7\\xa0Qh\\x12\\xfa\\x15z\\x07#0\\t\\xa6\\xc1Z\\xb0\\x11l\\x05\\xb3`O8\\x08\\x8e\\x84\\x17\\xc1\\xc9\\xf028\\x1f.\\x82\\xb7\\xc0\\x95p\\x03|\\x10\\xee\\x84O\\xc3\\x97\\xe0\\x11X\\n?\\x81\\xa7\\x11\\x80\\x10\\x11:\\xa2\\x8b0\\x11\\x16\\xc2FB\\x91x$\\t\\x11!\\xab\\x90\\x12\\xa4\\x02i@\\xda\\x90\\x1e\\xa4\\x1f\\xb9\\x8aH\\x91\\xa7\\xc8[\\x14\\x06EE1PL\\x94\\x0b\\xca\\x1f\\x15\\x85\\xe2\\xa2\\x96\\xa1V\\xa16\\xa3\\xaaQ\\x07P\\x9d\\xa8>\\xd4U\\xd4(j\\n\\xf5\\x11MFk\\xa2\\xcd\\xd1\\xce\\xe8\\x00t,:\\x19\\x9d\\x8b.FW\\xa0\\x9b\\xd0\\x1d\\xe8\\xb3\\xe8\\x11\\xf48\\xfa\\x15\\x06\\x83\\xa1c\\x8c1\\x8e\\x18\\x7fL\\x1c&\\x15\\xb3\\x02\\xb3\\x19\\xb3\\x1b\\xd3\\x8e9\\x85\\x19\\xc6\\x8ca\\xa6\\xb1X\\xac:\\xd6\\x1c\\xeb\\x8a\\r\\xc5r\\xb0bl1\\xb6\\n{\\x10{\\x12{\\x05;\\x8e}\\x83#\\xe2tp\\xb68_\\\\<N\\x88+\\xc4U\\xe0Zp\\'pWp\\x13\\xb8\\x19\\xbc\\x12\\xde\\x10\\xef\\x8c\\x0f\\xc5\\xf3\\xf0\\xcb\\xf1e\\xf8F|\\x0f~\\x08?\\x8e\\x9f!(\\x13\\x8c\\t\\xae\\x84HB*a-\\xa1\\x92\\xd0F8K\\xb8KxA$\\x12\\xf5\\x88N\\xc4p\\xa2\\x80\\xb8\\x86XI<D<O\\x1c%\\xbe%QHf$6)\\x81$!m!\\xed\\'\\x9d\"\\xdd\"\\xbd \\x93\\xc9Fd\\x0fr<YL\\xdeBn&\\x9f!\\xdf\\'\\xbfQ\\xa0*X*\\x04(\\xf0\\x14V+\\xd4(t*\\\\Qx\\xa6\\x88W4T\\xf4T\\\\\\xac\\x98\\xafX\\xa1xDqH\\xf1\\xa9\\x12^\\xc9H\\x89\\xad\\xc4QZ\\xa5T\\xa3tT\\xe9\\x86\\xd2\\xb42U\\xd9F9T9Cy\\xb3r\\x8b
|
[
{
"user": "<image>\nIs there a white car on the red truck?",
"assistant": "No. The <object>white car</object><bbox>[107,610,615,910]</bbox> is in front of the <object>red truck</object><bbox>[0,430,285,770]</bbox>, positioned closer to the camera on the street."
},
{
"user": "Is there a dog in front of the fireman?",
"assistant": "No. The <object>dog</object><bbox>[866,660,969,790]</bbox> is to the right of the <object>fireman</object><bbox>[763,470,830,790]</bbox>, standing on the sidewalk near the edge of the frame."
}
]
|
spatialsense
|
6
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01w\\x08\\x02\\x00\\x00\\x00\\xdc\\x90.\\xab\\x00\\x01\\x00\\x00IDATx\\x9cl\\xfdY\\xaf$Y\\x92&\\x88\\x89\\x9cE\\x17\\xdb\\xed\\xee\\xee\\xb1\\xe4VY]\\xd3\\xd5\\xd3E\\x14\\xd8\\x1c\\xce\\xcb\\xf0\\x81o\\xc4\\xfc\\x05\\x02$\\x06\\xe0\\xff\"\\x01\\x82O|\"\\x89\\xe9\\xea\\x1aNOw\\x17\\xb2\\xf6\\xea\\xae\\xcaZ\\xb33232\"\\xdc\\xeff\\xbb\\x99n\\xe7\\x1c\\x11>|\\xaa\\xea7\\x1b\\xbc\\x088<\\xcc\\xed\\x9a\\xa9\\x1e=G\\x96O>\\xf9\\x84\\xff_\\xff\\xcf\\xff\\xabs&\\xc6h\\x8c1\\xc6\\x90\\xa8\\xaa\\x1ac\\x94\\x8d\\xb5VbPUb!5\\xc6\\x98\\xaa\\xaaDd:\\x9f9\\x97===\\xf9<\\xbfZ-b\\xecBls_\\x88\\xaa\\x88\\x18c\\xac\\xb5\"\\xc2\\xcc\\xcc,B\\xd6zf%\\xd1\\xba\\xae\\xcbIN\\xcc\\xa2\\xf1\\xb8\\xbb8\\x97\\xadV\\xab\\x94\\xd2\\xeb\\xeb\\xebr\\xb9\\xf4\\xde\\xc6\\xd4\\x11[\\xb2\\x86\\x88\\x94HU\\x99\\xc8\\x1bKD!\\x04| ;KDu]\\x13\\xd1d2a\\xb2\\x9b\\xcd\\xc6\\x18\\xb3\\\\.\\rQU\\x9d\\x9dsY\\x96\\xa5\\xa4x;\\x11\\xe1\\xaaD$\\xcb\\xb2\\x90\\x92\\x888\\xe7b\\xea\\x8c1\\xcc\\x1c\\xba\\xd44\\xcd|>O)\\xa5\\x94\\xda\\xba^-\\xd7\\xc2\\xa4\\xaa1F\\x97yMb\\x8c1\\xa4\\xaa\\xca\\xd6\\x8a\\x08\\x19&QfN)9\\xe7\\xea\\xbaV\\xd5\\xe9t\\xca\\xcc\\xfb\\xe3\\xc1\\x10/\\x97\\xcb\\x94\\x92\\x88\\xe2\\x02|\\x9e\\xb9,\\xbb\\\\.\\xd6g\\xf8\\xba\\xba\\xb9<?~|||,\\xb2\\xec\\xbf\\xff\\xef\\xff\\xfb6\\xa4\\xcdfS\\x96e\\x9e\\xe71\\xc6\\xa6ir\\x97{o\\x93\\x84\\x94\\xa2s.\\x84\\xc8\\xd6\\x8b\\x90c#LD\\xe2\\x9c;\\x1c\\x0e]l\\xaf\\xaf\\xaf\\x99m\\xd7\\x04\"\\xf1\\xde\\xa6\\x94\\xac\\xf5\"\\x94eYJ)\\x898k\\x9b\\xa6\\xca\\x9d7\\xc6\\x84\\x90v\\xbb\\xdd\\xcd\\xcd\\x8d\\xb56j$\"er\\xce\\xa5\\x10\\x99\\xd9\\x92ML\\xb8\\xe6\\xaaj\\x9c\\xb1\\xce\\x1b\\xc7f\\xb7\\xdbM\\x96So3U5J\\xaa\\xca\\xce\\xaa\\xa6\\x90b\\x99\\x17D\\xa6m[\\xe7\\xdc\\xe5\\\\\\xc7\\x18\\xaf\\xae\\xaeb\\x8cu\\xdb\\x1a\\xc3\\x99\\xb7\\xd6Z\\x15\\x16\\x11\"\\xb2\\xd6\\xb2*\\x11\\xa9&a\\xb2\\xd66uw8\\x1cnnn\"\\t+\\x11\\x91\\xaaZ6\\xc6\\x18\\xecC!UUMr\\xb9\\\\f\\x93I\\x9e\\xe7m\\xdb\\x9eN\\xa7r>q\\xce\\xe1=\\xd6\\x98\\x18\\xa3%&\\xa2\\x94B\\x96e\\xcc\\xf6r\\xb9\\x1c\\x0e\\x87\\xab\\xab+c\\x0c\\x11\\xe1\\x81\\x1av\\xc6\\x98\\x18\\xa3\\xf7^DRJD\\xb4\\xd9l\\x16\\x8bE\\xeemUU\\xbb\\xcdv2\\x99\\xb0\\xea\\xff\\xe3\\xff\\xfe\\x7f\\xfb\\xee\\xbb\\xef~\\xeb\\xb7~\\xeb\\xfe\\xf3\\xcf\\xff\\x8f\\xff\\xe7\\xff\\xd3\\xebf\\x97\\xe7yh\\xa3\\xf5FD\\x9a\\xaaM)-\\x16\\x8b()\\xa5\\xe4\\xf3,u\\xad\\xb3YH\\xf1p8L\\x8arR\\x14]\\x8cl\\x8d3.\\xa5\\xa8LM\\xd34M3\\x9b\\xcd\\xac\\xb51v\\x96\\x1d\\x11)%\\x8di{\\xd8O\\xa7\\xd3\\xb2,\\x9b\\xb6\\xf5l\\x12)\\x8e\\xcf\\xf9|\\x8e\\xb1\\x9bO\\xa6!\\x04&2\\xc6\\xb4mk\\xadm.\\xe7&t\\xf3\\xf9\\\\D\\x92\\x8a\\xaa:c%DcL\\xec\\x82wND.\\xd5\\x1ek\\xae\\x9a\\xda\\xb6\\x8d]k\\xd9\\xb0\\xa6\\x10\\xc2\\xf9|^\\xcc\\xe6\\x9a$\\x84\\xc0F\\x7f\\xf9\\xcb_\\xaa\\xea\\xff\\xee\\x7f\\xff\\x7f\\xb8\\xd4U\\x96\\x15XR\\xef}\\x9b\\xc4\\xf9\\xec\\xcf\\xff\\xfa\\x1f\\xb2,#\"\\xe7\\\\Q\\x14\\xde{\\xb6&\\xa5\\xb4\\x98\\xcd\\x9c1\\x7f\\xf37\\x7f\\xe3\\x8c\\xc5U\\xe5e\\xc1\\xccX\\xd5\\x1f\\xfc\\xe0\\x07\\x9b\\xd7\\xed\\xe3\\xe3\\xa35&uA$y\\xef\\x13\\xa9\\x90\\x12\\xd1\\xbf\\xf8\\x97\\xff2s\\xee\\xcf\\xfe\\xec\\xcf\\x9csml\\xbd\\xb1\\x9a\\x84\\x99\\x93J\\x08\\xe9w~\\xe7w4\\xc97\\xdf|#\\xa4]\\xd71++9cBh\\xb3\\xb2\\xf8\\xaf\\xfe\\xf9\\xbfx}}\\xden\\xb7\\xcc\\x1cc\\xc4>o\\xdb\\xe0\\xbd7\\x86\\xfe\\x87\\xff\\xcb\\xffp\\x7f\\x7f\\x7f:\\x1dD\\xc8Z\\xdb\\xb6\\xad2\\xa5\\xa8\"bX\\x99\\x95UDT\\x13\\x89\\xaa\\xb1\\xa4*)\\t\\xa9a\"C\\x89H\\x0c\\xe7\\xb9>k\\xf3\\xea\\x8b\\xfc\\xd26\\x99\\xcdHX\\xb43\\xb6T\\xed\\x7f\\xd9Z\\xab\\xaa)\\x05\\xef\\xbd\\x88\\t!\\x10\\x11\\x19CDDFHc\\x8c\\xd6Z\\xe7\\x9c$\\x15\\x11c\\xfb\\x9d\\xc9\\xcc\\xac\\xfd\\x859\\x97\\x89H\\x8c\\xb1\\x9cN\\xda\\xb6\\xcd}.\"!\\x04c\\xd8Z\\x8b]j\\x8c\\x89*\\xd8\\xae!\\x84,\\xcb\\x94\\x12+9\\xe7BHI\\xc4\\x17y\\xd34\\x99u\\xa4\\x1abTgL\\x14km\\x08\\xc1{o\\xbc\\xf7\\xaa\\xea\\xbd7\\xc6\\xa4\\x94\\x98YUa\\xb0\\x8e\\xc7\\xa3s\\x8e\\x8d>==)%kmQ\\x14\\xccl\\x88c\\xd7\\xde\\xdf\\xdf/f\\x93\\x94\\x921\\xa6
|
[
{
"user": "<image>\nIs the glass door under the exit sign?",
"assistant": "Yes. The <object>glass door</object><bbox>[317,740,706,1000]</bbox> is below the <object>exit sign</object><bbox>[317,420,406,530]</bbox>, positioned lower in the vertical space of the wall."
}
]
|
spatialsense
|
7
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x02\\x80\\x00\\x00\\x01\\xe0\\x08\\x02\\x00\\x00\\x00\\xba\\xb3K\\xb3\\x00\\x01\\x00\\x00IDATx\\x9c\\x9c\\xfd\\xd9\\xaedY\\x92%\\x88\\xad%\\xb2\\xcf\\xd1\\xe1\\x0e6\\xbaGDfd\\x8d`\\x11 \\x88\\x06\\x0bE\\x14\\x08\\xf0\\x7f\\x08\\xbe\\xf1\\xbb\\xf8H\\xbe\\x13| \\x08\\xa2\\xf9@\\x12\\xdd$\\x9b\\x9d\\xd5\\x955dfL\\xeen\\xd3\\x9dT\\xcf\\xd9\"\\x8b\\x0f\\xb2\\x8f\\xdek\\xe6\\x1eUY\\xad\\x8807\\xbbW\\xf5\\xe8\\x19\\xf6\\x96a\\xc9\\x92%LiY\\x97i\\x9a\\x08B\\x02@\\x01$\\xeaU\\xff\\x15./\\xf1\\xf2\\xd7$\\x00\\xa4 \\x00\\x84\\x8f\\x9f\\x91\\xc8\\x84\\x19\\x14\\xa9n\\xeeB\\x12\\x06@h\\xcf\\xc7\\x11\\xc8qx\\xa8\\xfe\\x9d \\x91\\x06\\x8e\\xef\\xd5\\xf8\\xa5\\xb6s\\xd9N+\\x01\\x02\\x02\\x08\\x11\\x89_x\\t\"h/~B\\xe1\\xc5\\x95\\xe5\\x8b?\\xeb\\xdc\\x0c@\\x00@\\x9deB\\x90\\xba\\xcc\\x03r\\xb5\\xfa\\xa0\\x04\\xbc\\xb8=BH2\\x1a\\x80T\\x1a\\xed\\xf9\\xf6lG\\xbe\\xbc\\xf5\\xf9\\x95/~Od&\\x003\\x132\\x95\\x00\\x8c\\x86_\\xba,\\x81\\x94\\x91\\x1cGc\\x02\\x80r\\x9c\\xd9\\xf3\\r\\xb5\\xe7?\\xb7\\xefU&\\xc9zOf\\x9a}\\xf5\\xdb\\xe7\\x93\\xd4\\xf6\\xd0\\xc7\\xa3\\x17L\\x00 \\xc3?\\xfc\\xc5\\x97\\xb7\\xf7r&\\xf6\\xf5o\\xbf\\xf9\\xea?s\\xfc\\xcb\\xf9\\xfc\\xfc\\xe7\\xf83\\xbf\\xfa/z\\x8d\\xc7\\x1a$\\xa1\\x90\\xc4\\xcb\\x9dy\\xf9\\xb0%\\xd0A \\r\\xf6\\xcb\\x0f\\x13\\xdb}\\x7f\\xb1$M\\xf9\\xbcZ^\\x9e\\xb0\\x14\\xcf?\\x93\\x8d71%\\x81\\xba<\\xc1z\\xaa\\xdf\\x9e\\xb2\\xc6\\x19]v\\xca\\xd7g\\xf1\\xf33\\xfa\\xf9\\xdf_\\x9e\\xcb\\x8b\\x97~\\xf6\\x0eA\\xdc\\x16\\xd7v\\xcf%\\x00\\xe2\\x8bm\\xb0\\x9d\\x10`z~\\x94\\xfa\\xea8\\xc0\\xb6\\xc7\\xf5b\\xed\\xbd<\\x89\\x7f\\xc83\\xfd\\xf9{~~\\x84\\xe7\\xbf\\xd77\\nj/\\xce\\xfc\\xe5-\\xad\\xbd\\xb3\\x9d\\x0fk\\xc1\\xf3\\xcf>`~{\\xcf%\\xd6\\x81\\x9f\\x8fSoK\\xe8b\\xb0\\xf4l\\xafpYV\\xf6\\xe2l/\\x8f\\xf9\\x9b\\xe7\\xfd\\xe7\\x16\\xff/\\xbd\\xca2\\x13\\t$\\xd0$\\xbd|D\\xbf\\xf4\\x81\\xaf\\xff\\xf9\\x9f}\\xe7\\xcbkA\\xed\\xe2\\xdcLf\\x0e\\xabY^\\xe0\\xe5^\\xe6\\x8bk\\x122A\\xbe\\xb8\\xc4\\xe7\\xed\\xb0}\\x13\\xd9c13\\xa3m\\x165S\\xc9\\x17\\xb6\\xfc\\xeb\\xf5\\xdd\\xb0Y\\xfb?\\x7f\\x01/\\x9f{\\xbf\\\\\\x03\\xc79?\\x1b+\\xbd\\xb8\\xd4\\x84}\\xb3e\\xfe\\x9c\\x05\\xe4\\xc5QY\\x1d(\\r\\x06 ;\\xcc\\x00\"\\x02l\\xe3[\\xd7\\xbe\\xee\\xdb\\x04@\\x0b\\xd8\\xc0P\\xd6\\xa9\\x9f\\x97\\xf3n\\x9a/\\xee\\xe4\\x9b\\x1bT_\\x00BY\\xee/\\x81\\xa4\\x95\\xeb%`\\x99i\\xd6\\x9e\\xdf9>~\\xb9\\xb6\\xe1\\xe4\\xca\\xc1\\x106\\x0c\\xce\\xcb\\xf73_\\xae\\xe0zl\\x97#]\\xdc\\x9b$d\\xad,\\x02\\x10\\xa5\\x9f\\xdd\\xf9\\xcb\\xc3\\xf8\\xea7z\\xe1\\xed\\xea\\x9e\\x8d;\\xf7\\xad\\x03v\\tH\\n`\\x82.\\x80_;3\\x10\\x92Hf\\xf6\\x84\\x9c\\x06\\xfa\\xf6]cy\\xa8\\xa2\\x19\\xfa\\xf8in\\xdf\\xf4\\xf3u\\xf2\\xb3\\x1dWg\\xfar\\xdb\\xaa\\x8eH\\xb3\\xaf>\\xff3O&\\xa5D\\xf2\\xf9|^\\x1a\\xc1\\x17\\xdf\\xf2\\xcb\\xf7\\xa7\\xbc\\xf9\\xd8`\\x1a_1\\xdc|\\xbb\\xec\\xe6\\xed\\xd2\\x08\\xe4v\\xf7\\x7fn\\x05\\xf3\\xd9\\xd1\\xcaF\\xac1\\xf6\\xc0/\\x86L\\xbf\\xbc\\xbc_Z\\xa4\\x9fY\\xcf\\xff\\xd1\\xaf\\xaf\"\\x83-\\x00z\\xf1\\xa5\\x99\\xb4\\xaf\\xcfG\\x82\\x0c|\\x8eN\\x7fn\\xa2/\\x1f R\\x92$\\xc0.\\xbbis\\xe8I\\xb2n\\xdd\\x8b\\x83\\xdb\\xf3\\xe5\\x994\\xf6\\x8b\\xe1\\xc5\\xe5\\xb3l\\xccK\\x8b|1\\xe8_]\\xd17\\xaf\\xffT\\xd8\\xf4\\x9fu\\xc0c\\xedm~\\xeb\\xeb\\xe8\\xf2\\x97\\xbfQ\\xc3\\x94\\x1aI]\\xde\\xc2o\\x9e\\xfb\\x0b\\x87\\x97\\xda6\\xfe\\xd7\\xa7\\xf3l\\xe5\\xffLp\\xf6\\x9f]\\xcf_\\x9d\\xa7}\\xf3\\xce\\xed\\xfd?;\\xfe8\\xcf?\\x13:?\\x87\\x1c\\xcf\\xd7\\xf2\\x1co\\x8dw\\x8e\\x07\\x07{\\xf1\\xa12&\\xd2fO\\xbe:\\xbd2&\\xdb_\\xfc\\x17.\\xe2e\\xc0=~b/\\xcfg{K\\xf2\\xf9z\\x7f\\x16\\x06\\xfd\\xa7__Gr#\\xb0x\\xb1\\xd9\\xf4\\xd2d\\xd6q\\x87\\x0f\\xbe\\x04\\x14[\\xdc\\xff\\xd5\\xd9\\xfe\\x97\\x04\\xee[\\xdcr\\xf9\\xca\\xde\\x17w\\xff\\xea4\\xbe]&\\x8e\\xaf\\xed\\xe4%\\xd8\\xfb:~N\\xc0H\\x91\\xc2\\x8b\\xfd\\xf5K\\xae\\n\\x189\\x87\\xe5/\\x9d\\xfd7\\xdfu\\xb9\\x19\\xdb\\xe9e\\xe4\\nX\\xb3\\t\\x18\\xc9\\x11\\x88H\\xd0\\xd1\\xa37o\\x0e\\xac\\xeb:\\xb5\\t\\x02\\x97\\xbe6o\\xd0s\\xb0\\xd4\\xd7s\\x9b\\xa6\\xe7/|\\x19\\xd6\\xbd\\
|
[
{
"user": "Is there a cycle on the wall?",
"assistant": "No. The <object>cycle</object><bbox>[12,618,650,988]</bbox> is on the floor, leaning against the <object>wall</object><bbox>[12,12,988,988]</bbox>, rather than being mounted on it."
},
{
"user": "Is there a picture above the bicycle?",
"assistant": "Yes. The <object>picture</object><bbox>[410,13,585,385]</bbox> is above the <object>bicycle</object><bbox>[10,615,650,988]</bbox>, hanging on the wall directly over the bike's frame and seat."
},
{
"user": "Is the photo in the frame?",
"assistant": "Yes. The <object>photo</object><bbox>[459,130,539,300]</bbox> is inside the <object>frame</object><bbox>[412,13,584,385]</bbox>, mounted on the wall."
},
{
"user": "Is the frame in the frame?",
"assistant": "No. The <object>frame</object><bbox>[410,13,584,386]</bbox> is on the wall, while the <object>frame</object><bbox>[696,119,823,361]</bbox> is also on the wall to the right of the first frame."
}
]
|
spatialsense
|
8
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01M\\x08\\x02\\x00\\x00\\x00yq\\n`\\x00\\x01\\x00\\x00IDATx\\x9c\\x94\\xfdi\\xb0m[v\\x16\\x06~c\\xcc\\xb5\\xf6\\xde\\xa7\\xb9\\xcd\\xbb\\xaf\\xcd|\\xca\\x0e\\xa4T\\x97J$\\x90@\\r \\x8c\\xc1\\x14\\x9d\\x00\\x07P\\x10\\xe52\\x02Qv\\xd9\\x84\\x0bW\\xf0\\xa3\\\\Qa\\x07\\xd5D\\x85m\\x88(\\xaa\\t\\xaalLa0\\x18\\x04*0\\x02YV\\x97\\x92\\x90\\x84\\x94\\x92R\\xc8j\\x12)\\x95\"\\x95\\x8dR/_\\x7f\\x9bs\\xcen\\xd6\\x1c\\xa3~\\x8cf\\xce\\xb5\\xf6>W\\xf2\\x8a\\xcc\\xfb\\xf6\\xd9{\\xad\\xb9f3\\xe6h\\xbe\\xd1L\\xfa\\xb6\\x0f\\xff\\xb0@\\x85\\x00\\x10+H\\x15\\x80\\x12\\x08\\x83\\xa2\\x02Z\\x88\\x95E*\\x84@\\xc4\\xcc\\xa4\\xaa\\x00\\x00\\xa8\\xaa\\x12T\\x00\\x80E\\xd0]\\xca\\x04\\x80\\x88H\\x00\\xa8\\x10\\x94\\xfc\\'R{\\x97\\xbd\\x14\\x00X\\x01\\x10\\x80\\n\\x05*\\x00V\\xb6?\\x15d\\xcf\\xae\\xc0\\x00T\\x855\\xda!\\xb2>P|\\xa3\\x04!\\x80I\\xe0\\x03\\x89\\xd7A\\t\\xd6\\xed\\xaa \"V\\x10\\xe2\\xb1\\xd6\\x07(\\x93} \\xf2\\xf7\\xfa`\\x99\\x0b\\x11)X\\xc9n;\\xa8\\x14\\x05+\\x88|\\xb0\\xac`P\\xad\\x95\\x88\\xc0>\\x1c%\\x10\\x91\\x12\\xad\\x94TUU\\xabM\\x9b\\xa8\\xbd\\xe5\\xc0\\xd9\\x01[\\x836K9\\xc0\\xec\\x1e\\x80\\x89\\xd4\\xbe\\x87hU\\x01\\xa0D\\x00F\\xf1\\xfe\\xdb<\\x0b|JI\\xe2\\x8d\\x84B\\xe4-\\x8b2\\xb3\\x10\\x04:\\x89\\x02`(33\\xc8:\\x96\\x97\\xaf\\x11\\xd38Y\\xcbJ\\xe4\\xafP\\x85\\xaa*{?Y\\xdbZ\\xd8\\x90m\\xbc\\x14\\x97\\x8d\\xa5\\x00\\xea7\\xb4\\xd5\\x81\\xfa\\xa04\\xc6\\xdb\\x8f=&\\x84\\x00\\x80\\xbd\\xfd\\xaaB1\\x1c\\x00\\x02\\x05\\xf9\\x14@Z\\x0b\\x02\\x85\\x80\\x14u\\xa5\\x8cB\\xa25\\x88\\x85\\x15 a\\x10\\x94m`\\xaaJ\\xd6aVRV@\\xa8\\x8a\\xd1\\x13 \\x04U\\x011H!\\x15\\x00Qa%@\\x01\\x08\\x89\\xf7N9\\xe6\\x81\\x00`\\x84\\xaa\\x92\\x90\\xc6\\x18}\\\\\\x85U\\x95\\xbd\\xa7\\xdeH\\x85r\\xd5~\\xba\\xda\\xf0\\x89\\x94l\\x838\\x01\\xdb\\xaf\\x05\\xd4\\xdf\\xd6n\\x8e\\x0f\\x14_\\xd9\\x7f\\x8b\\x12\\x11\\x84\\xa0\\xd46\\xac\\xaa\\x82\\x15\\xe0X\\x0e\\x9be\\x9b\\xcfb\\x1b\\x1dq\\x7fL\\xbb\\xa8\\xaa@\\x95`\\x0f2\\x88\\x88*\\xa97h\\x8d\\x88:\\xdd\\xf0!\\xde\\xc6\\xe8\\xae\\x1aL@U\\xf3\\x07RLTY9\\x161:\\xb9x8Vr6\\x90h\\x01\\xdeo_p%H<mK\\x1f\\xbd!(Kp\\x83\\x92$I\\xe8\\xaf\\x9c\\x01R@\\xd96\\x1d\\x94\\x0b\\x89\\x02\\xca\\x1d\\xf7S\\xa6\\xae\\xfdeg\\xab(Y\\x0b\\xb0\\xf9\\xc9\\xd6\\x95b\\x92+!\\xb8\\x19I7\\xf3\\x92\\xdcA\\x14\\x0c\\x12\\t\\x92#%U!\\xf8\\x17D\\xa4$\\x83}\\xf2\\x05\\x83\\xd1\\x98mPA\\xf0\\x178=\\xa9\\x12D\\x04\\xe8\\xbe\\xb7\\xbe\\xcd\\x07@D\\xce\\x9b\\xd4\\x08\\x9c(V\\x08\\xb1<\\n\\xb0\"\\xf9;\\x05\\x1b`-\\x00\\x14I\\xf5\\xb6\\xa5@*\\xde\\xc3~\\xba\\xfb?;*\\xd1\\x8e\\x1b\\xb2o\\xfe\\x18Vpv\\xfb\\xd0u\\x1a\\xcaD\\x80\\x12\\xfa\\xef\\x19\\xa4\\xe4\\xef%Q\\x85\\x121\\x80\\x02*\\x00\\x01\\x04h\\x0e$x\\x19r>\\xa9\\xdb`\\x00\\x82z\\xb2\\xb7C\\x8e\\xc9\\xc9\\xc5Y\\x00\\x03\\x14\\x0b2\\xe7q\\xfe\\x80\\xc2\\xb7\\x93\\xc9\\x0f\\x16U\\x02\\x07!p>E\\x04E\\n\\xc0\\x14\\x84\\x10e&\\x05\\x8au\\x93\\x89\\x14\\x0cHn\\x0f\\xa2\\xfc\\x17\\nAN\\xc3\\xecb\\x8dQ\\xeb\\x8c\\x0e\\xa8\\x1b\\x96q\\xaa\\xec\\xf9|>\\xa0\\xaa\\x04H\\x0c\\xbc\\'\\xb9\\x14\\x00\\xa6F\\xe4\\xfc\\xd8\\xd0\\x9c\\x87\\x1aS\\x06\\x14\\xac\\xa8\\xec$\\xd3\\x8d\\x82\\x94\\xc8\\xe6\\xad\\x02\\\\@\\xb6XL\\x84\\x9e\\x84D\\x8f\\xc7\\x17D\\xab\\xb6\\xce\\xces;\\xe1\\xd1\\xe6!\\xa7\\xb7\\xcd\\x83\\x02$\"\\xaa\\xca\\xc1\\x80\\xac\\xf3>]>I\\xaef(\\xa1\\x80\\x88\\xdb$\\xe4H\\xad\\xb7\\x1a\\xb2\\xb6 \\xa4\\x81\\x0f\\x90\\x16b\\x00\\xb1S(F@\\xb0\\xe5\\x05\\xa0B\\'\\xd6qy\\xdd\\xc2\\x9b\\xf2\\xb2\\x15!\\x94\\xdc\\xaa\\xc9\\xd4\\xf3\\x06[8\\x04\\xfb\"\\xa2\\x05sV\\xb5=\\xe74@=\\xfd\\xa0\\x10\\x98\\xc4\\xb8\\x13\\xaa\\xeb0@J\\xe7\\xa7w\\xcf\\xc9\\x16:o\\x16\\xc1\\x10\\x08\\x05HrW\\xdb\\xa7\\x00\\x8e\\x04e4\\xc8\\xca\\xce\\xcc\\x00\\x98\\xc4\"a\\xd5n\\x9e$\\x99\\x1b\\xb5\\x99_\\x0c\\xd9X\\x9a\\x11\\xb5\\xdf\\xa9\\xbeI\\x17\\xfd\\x84\\x82\\xc9\\x89\\xb2\\xdf\\x1a\\xfdZg\\xd3J \\x10\\xc8\\x18\\x1b\\x81\\x84@Cp\\xa2~K\\x93k\\xd7\\xf1=\\xa1\\xc0\\x15F\\x9aBc2\\xa5\\xa3\\xc6L.h\\xbdm\\xd1\\x98\\xdf~\\x88\\xb6\\x07\\x92\\
|
[
{
"user": "<image>\nIs there a street sign above the road?",
"assistant": "Yes. The <object>street sign</object><bbox>[267,168,726,450]</bbox> is above the <object>road</object><bbox>[0,680,1000,1000]</bbox>, suspended on a metal gantry spanning the highway lanes."
}
]
|
spatialsense
|
9
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01w\\x00\\x00\\x01\\xf4\\x08\\x02\\x00\\x00\\x00I\\x86\\xfa\\xdf\\x00\\x01\\x00\\x00IDATx\\x9c\\xec\\xfdw\\xd0e\\xc9u\\x1f\\x08\\x9e\\x93\\x99\\xd7=\\xef>__y\\xdb\\xae\\x1a\\xdd\\x00\\x01P\\x04\\x08z3\\xa2\\x13D\\xed\\xc8\\x0cgEiv\\xb4\\xbb#\\x92\\x1b\\xa1?4\\xb1\\x11\\xbb\\x1b\\x13\\x13\\xb1\\x13\\x1b\\xe2\\x883\\xa4$\\x8c\\xe8\\x1d\\xbcG\\xc34l{\\x07\\xb4/\\xef\\xeb\\xf3\\xfe\\xf9\\xf7\\xae\\xcb<\\xfbG\\xde{\\xdf}\\xe6\\xab\\xae\\x06\\xbb!\\x88\\xea\\xac\\x8a/\\xde\\xbb\\xef\\x9a\\xbc\\x99\\'O\\x9e\\xf3;\\x0e\\x7f\\xf3\\xc3\\xbf\\xca\\x18\\x03D\\xa5\\x14\"\\n\\xce9\\xa0RJ\\x02\\x11\\x11\\x00\\x00\\x00c\\x8c1\\xa6?#\\xa2\\xfe\\xcb\\x18SJ)B\\xc6\\x183\\xc4\\xce\\xfaf\\xb1X\\x14B\\xe83\\x95\"\\xe4L)\\xc59SJ\\x11Q|\\\\\\xe9\\x1b\\xa6o\\x05\\xa9\\x86\\x88Dd\\x19\\xe6\\xf6\\xf6v\\xb1X4\\x0c#\\x90\\xd2\\xb6\\xed\\xae\\x94\\xff\\x9f\\xff\\xf9\\xffk:\\x19n\\x98[\\x1b\\x1b\\xe5b\\xd1r\\xecV\\xa7K\\xca\\xf5\\xbd\\xb0\\xd7\\xeb\\x9d8q<\\x08T\\xbb\\xdd\\xdc\\xde\\xda:s\\xe6\\x94\\xef\\x87\\xfav\\x00@\\x0c\\x01\\x00\\x15\\x01\\x80J=-y\\xc1\\xa4\\x1b\\x0c\\x14\"\\x02(\\xa4\\xd1\\xee\\x8d\\xf4\\xf3\\x9d\\xf6\\xfd5B\\x86\\xa4\\xf4\\xc8\\x13\\x11!\\x93\\x84\\x8a\\x10\\x01\\x88HQ\\xd4\\x92\\xf3\\xa5T\\xc9W\"BD\\x00\\x06\\x00\\xa0\\x881\\x86H\\x88\\x88\\x88\\x80\\xc4\\x01\\x01\\x008c\\xa4\\x18\\x07\\x06\\x84\\x8c\\x804\\xa5q\\x005\\xb9?\\xa9g\\xdd\\xcdq\\x04\\xa0\\xe8ER\\x07\\t\\x08Y|%S\\xa8/W\\x84\\x80\\xa4\\xef68;zw\\xc5\\x00\\x80\"zK\\xdd\\x11\\xf7{.K\\xff\\x8a\\x83\\x0f\\x08\\x93(Y\\x1fL\\x063!\\xe6\\xe4L\\x1c~\\x10\\x1b\\xbe6i*\\xfei\\xe4 \\x8f\\x9e+\\xf5Uz\\xbd$\\xf7O\\xdf\\x87@\\n\\xcdA(^\\xf9\\x00 \\xe3\\x01\\xd4\\xd7D\\xb3\\x98\\xf4\\x86E\\\\#\\xfa\\t\\x08\\x00P\\x11\\xe7\\x9c1\\x96:\\x93\\x10\\x01q\\xf0z\\xe9E\\x9b~\\xdb\\xc9c\\x9az\\xe2\\xc8\\x1dFGPQL\\xb2C?\\x01\\x00\\x01 \\x80BM}\\x11\\x7fI&>\\xfd\\x14\\x8ai\\xe7\\x1dV\\xf2\\xf6\\xb7\\t\\xab\\x9d\\xa1&\\'6\\xa0\\x9e\\xc1b\\x18\\xa7]\\xbds(`\\x840\\xa0\\n\\x15}\\xd1\\xebV\\xea\\xd3\\x00\\x15\\x10#\\x92ovf\\xf7]\\xbd\\x93\\xe8v\\xc0M\\x10\\x90\\x11\\x10i\\x9a\\x05\\xa2qRO\\x96\\x15\\x81\\x02\\x82d\\x89\\x11\\xd0\\x10\\xeb\\x1ayD4\\x02\\xd1\\xbbFowwo\\xb1\\xcf\\x11\\x1aZ\\xd7\\xfb\\x8c\\x0f\\x9b\\xf4\\xbe\\t\\xdf\\x19\\xb9\\xff\\xe4EML0\\xc6Tj\\n\\x95\\xe6\\xba\\x0c\\xd3Kqh\\x85\\xeb_\\xe2K\\xf4N\\x01\\xb1\\xbc\\x83\\x8c\\xf4zEF\\x00J\\x9f;\\xc2_\\xb4\\x1c$\\xa5\\x8c\\xb7\\xa6\\xa1\\xeeN\\x94\\x1d\\xd2\\x1dHsh\\xd2\\xbd\\x1d\\xde\\xfd\\xe0\\x8e\\xf4\\x94\\xe6U\\xe9\\xab\\x18\\xe9>\\x83^\\x06\\xef\\xb0\\x9b\\xb7\\xa9a\\xcc\\xcd\\xe3\\x95\\x06z\\xbf$\\x04\\x00\\x85\\xa9\\x8dS\\xc2`]iBK\\xaf4\"\\x86z\\x1f#\\x80X\\xa2\\x89\\xc4\\x9a\\xe8\\xeb\\x9d\\xb6\\xb1\\xbb\\xed\\xed8\\x19`$v\\x8d\\x9d\\xab\\xa2\\xb7C\\xce\\xe2\\xef\\x89\\x0c\\x95\\xbc\\xef\\xe0-\\x18\\xd00\\xbfE\\xd4\\xfb\\xe1\\x80\\xce\\xd3\\x1f\\x10\\x86\\x96C\\xf2w\\x82\\xec0\\xc6\\xd4\\xee\\xf6\\xd5\\x86\\xe5\\xa0\\x89\\xa7\\x8d\\xc9\\x95\\xa3?\\x8dsg\\x00\\x10J)\\xa9\\x14\"r\\xce\\x11Q)\\x05\\x88\\x9c1\\xad\\xda\\xec\\xd7\\x15J\\xb3\\x03P\\x0c8\\x81$\\x90\\x88B\\x0f+\\x91B\\x86$\\'\\\\{g\\x86\\x92>\\x92fp#\\x8cf\\xe2=\\x87\\x08\\r\\x00R\\xfa\\x11a$\\xe8\\xe2\\xf0\\x85\\x83\\xd1d)\\x8esw\\x1b\\xc5;\\xed-i\\x1c\\x91H)\\xbd\\xc2\\x18%s\\xa6\\x173c,\\x9e\\xa3\\x11\\x056\\xfe\\x8b\\x80\\x83\\x99GD\\xa5\\x85\\x9fH\\x94A\\xbc\\xa3\\xd0\\xfc\\x06\\xdb\\xc9~\\x9a\\x08\"\\xc6[\\xdc\\xd0\\xa9\\x88\\x08JFB\\x0c\\x80\\x02\\x8ay\"\\xedw\\xc3\\x89\\xeb\\x99RB\\xd0\\x80J1\\x92\\xce\\xd3T<\\xbe\\xdaa\\x12\\xeb\\x19\\x7ft\\xfa\\x1c\\x96\\xa8bIg\\x92S\\xd9\\xd0\\xa2\\x1bg\"\\xb8\\xbf\\x88\\x97\\xbaGZNI\\xee\\x12\\xff\\x87X\\xedI>\\x13\\xa1\\x16\\\\F\\xae\\x1aR\\xa3\\xf4VBD GY\\xf20g\\x19yz\\xfa\\xc8DYf\\xfc\\xe4\\xfd^L!S\\x93~\\x9c\\xb8\\xc3\\xa5\\x0e\\xaa\\x84\\xc5\\x8c\\xf7\\xed\\x9d\\xf6\\x16\\xb6hB)\\xda\\xcc\\x90\"\\xe6\\x8e\\x8c\\x90\\x11\"2\\x026\\xa4\\xc6\\xd2D\\x92\\x80aZ\\xe2\\xc3\\x823DW~\\xff\\x9dLou\\xa3\\x8f\\x1b\\xa6%\\x04 \\x90\\xe9s\\x18\\r-\\xc8D\\x00
|
[
{
"user": "<image>\nIs the building behind the car?",
"assistant": "Yes. The <object>building</object><bbox>[571,35,1000,880]</bbox> is behind the <object>car</object><bbox>[668,860,794,930]</bbox>, as the car is on the street in the foreground while the building stands further back along the road."
}
]
|
spatialsense
|
10
|
[
{
"bytes": "b'\\x89PNG\\r\\n\\x1a\\n\\x00\\x00\\x00\\rIHDR\\x00\\x00\\x01\\xf4\\x00\\x00\\x01X\\x08\\x02\\x00\\x00\\x00*j\\x99H\\x00\\x00\\n\\x15iCCPICC Profile\\x00\\x00x\\x9c\\xad\\x96wT\\xd3\\xc9\\x16\\xc7\\xe7\\xf7K/\\x84\\x90\\xd0k\\xe8\\xbd\\x13\\xaa\\xd4\\xd0B\\x97\\x0e\\x16J\\x02\\x04!\\x94$\\x80(\\x16Vp\\x05T\\x94\"\\x026\\xc0\\x02\\xa8`\\x05\\xb1 *.\\xa2\\xa2\\x82\\r\\x17\\x14Y\\xac\\x0b\\xae\\xc0\\n(l\\x80\\xb7\\xab\\xef\\x9dw\\xde9\\xfb\\xce\\xde9s\\xe7s\\xee\\xdc;\\xbf;\\xbf\\xf9\\xe7\\x0b\\x00\\xd19\\x88\\xc1\\xf0\\x86\\x1d\\x00\\xe0&\\tx\\xfenN\\xb4\\xd0\\xb0p\\x1a\\xe6\\x01@\\n\\xc7\\xa2E\\xb1\\xf8)\\xde\\x01\\xae\\x81\\x0b\\xccp\\xf4\\xf1\\r72\\xb2\\x02\\xfffS\\xfd\\x00ZX\\x1f\\xe8/\\xec\\x83\\xbfg$^\\xa0?\\x03\\x00H\\x0f\\x00,1\\xee;\\x8e\\xfe\\x8ey\\xc2\\xa6\\x00\\xc0Y\\n\\xf3\\xc5\\xe3\\x96\\xd8k\\x81\\xa3\\x978r\\x81Y\\x9c(\\xb6\\x90\\x05B\\xd6c\\xa5\\xf0\\x84+\\xee\\x90\\x90\\x1d\\xd8\\xdc\\xa4\\x85\\xf8\\x90\\x90\\xb3\\xd8\\\\\\xb6\\x90\\xf1+\\x85\\\\\\x92!H\\x11\\xe6\\xe0\\xc7\\x17j\\x051,\\x0e\\x00\\x84\\x85\\x1b\\x13\\xd91|\\xd6\\x9f9i,.S\\x18\\'\\x0b\\xfb0c\\xa5\\xf1\\xd2\\x97ZF.9\\x1c \\x01*\\x90\\x06\\n@\\x05h\\x02=`\\x0c\\xcc\\x81\\rp\\x00.\\xc0\\x03\\xf8\\x82@\\x10\\x06V\\x03\\x16\\xe0\\x00.\\xe0\\x81t\\xb0\\x1el\\x06\\xb9 \\x1f\\x14\\x82\\x12P\\x0e\\x0e\\x80\\x1aP\\x0bN\\x823\\xa0\\x19\\\\\\x06\\xed\\xe0\\x06\\xe8\\x06\\xf7@\\x1fx\\n\\x06\\xc1\\x08x\\x0b\\xc6\\xc1$\\x98\\x85 \\x08\\r\\x11!\\n$\\r)Bj\\x90.d\\x0cY@v\\x903\\xe4\\t\\xf9CaP\\x04\\x14\\x0bq\\xa14(\\x0b\\xda\\x02\\xe5CEP9T\\x05\\xd5A\\xa7\\xa0\\x0bP\\x1b\\xd4\\x05\\xdd\\x83\\x1eC/\\xa07\\xd0Gh\\x06\\x86a\\x02,\\x0e+\\xc0\\x1a\\xb0!l\\t;\\xc2\\x1ep\\x00\\xbc\\n\\x8e\\x85S\\xe0u\\xf0\\x16x\\x07\\\\\\x06W\\xc1\\'\\xe0&\\xb8\\r\\xfe\\t\\xee\\x83\\x87\\xe0\\xb7\\xf0$\\x02 \\x08\\x08I\\x842B\\x0fa\\x81` |\\x10\\xe1\\x88XD*b\\x03\"\\x0fQ\\x8a\\xa8B\\x9cD\\\\D\\xdc@<@\\x0c\"\\xde#\\xa6\\x91h$\\x15IC\\xea#\\xad\\x91n\\xc8 d42\\x05\\xb9\\x11\\xb9\\x1dY\\x81\\xacE6!;\\x91\\xf7\\x91/\\x90c\\xc89\\x94\\x08J\\x0e\\xa5\\x83\\xb2B\\xb9\\xa3BQq\\xa8t\\xd4VT)\\xea\\x08\\xea<\\xea:\\xaa\\x0f5\\x82\\x9aD\\xa3\\xd0\\x92h\\r\\xb4\\x05\\xda\\x1d\\x1d\\x8a\\x8eG\\xafC\\x17\\xa0\\xf7\\xa3\\x1b\\xd0W\\xd1\\xbd\\xe8a\\xf4\\x04\\x06\\x8d\\x91\\xc6\\xe8`\\x96a|1Q\\x18>f+\\xa6\\x1cs\\x1c\\xd3\\x8a\\xe9\\xc5\\xbc\\xc2|\\xc6\\x12\\xb0\\x8aX\\x13\\xac\\x0b6\\x0c\\xcb\\xc5fcK\\xb1u\\xd8V\\xec}\\xec/\\xd8Y\\x1c\\x19\\xa7\\x86\\xb3\\xc2\\xf9\\xe0\\xd8\\xb8L\\xdcN\\xdca\\\\\\x0b\\xee.n\\x047\\x8b\\x17\\xc3k\\xe2m\\xf1\\x01\\xf85\\xf8\\xcd\\xf82|\\x03\\xfe:~\\x00\\xff\\x89\\x80\\'(\\x13\\xac\\x08~\\x04\\x0ea3a/\\xe1\\x14\\xa1\\x8b0D\\x98&\\x8a\\x11u\\x88N\\xc4\\x15D\\x01q\\x07\\xf1(\\xb1\\x8d\\xf8\\x84\\xf8\\x9b\\x08QDC\\xc4A$\\\\D \\xb2S\\xa4V\\xe4\\x9a\\xc8s\\x91\\xcf$*\\xc9\\x80\\xc4$\\xb1I\\x9bH\\x15\\xa4&R/\\xe9\\x83(NT]\\xd4Qt\\x95h\\xa6\\xe8\\x1e\\xd13\\xa2wE\\xdf\\x93qd\\r2\\x83\\x1cI\\xde@\\xae$\\xb7\\x90\\xfb\\xc9\\x13b\\x141#1\\x1f1\\xaeX\\x81X\\xbdX\\x97\\xd8(\\x05MQ\\xa78S\\xd8\\x94-\\x94\\x1aJ\\x07\\xe5%\\x15\\xa6\\xaaP\\x9d\\xa8,\\xea\\x16\\xeaaj\\'uD\\x1c-\\xae)\\xee.\\x1e/^ ~B\\xfc\\x8e\\xf8\\xb8\\x84\\x98\\x84\\x99D\\xb0\\xc4Z\\x89\\n\\x89+\\x12\\x83\\x92\\xb0\\xa4\\xba\\xa4\\xbbd\\x82d\\xa1\\xe4\\x19\\xc9>\\xc9i)\\x05)G\\xa9\\x18\\xa9<\\xa9\\x93R\\xf7\\xa5\\xa6\\xa4\\xe5\\xa4\\x1d\\xa4c\\xa4\\xf3\\xa5\\x1b\\xa5\\x1fJ\\xcf\\xc8(\\xc9\\xb8\\xc8$\\xc8\\xec\\x96i\\x96y.\\x8b\\x90\\xd5\\x91\\xf5\\x93\\xcd\\x90= {]\\xf6\\xbd\\x1cU\\xceF.Z._\\xee\\xb4\\xdc\\x13yH^[\\xde_~\\x9d|\\x8d|\\xb7\\xfc\\x84\\x82\\x82\\x82\\xabB\\xb2B\\xb9B\\x87\\xc2{EIE{\\xc5x\\xc5b\\xc5V\\xc5\\xd7JT%[%\\x8eR\\xb1R\\xab\\xd2\\x1b\\x9a\\x04\\xcd\\x81\\x96H+\\xa3]\\xa3\\x8d)\\xcb)\\xbb+\\x0b\\x94\\xab\\x94{\\x94gT4U\\x02U\\xb2U\\x1aU\\x06T\\xf1\\xaa\\x16\\xaa1\\xaa\\xc5\\xaa\\x1d\\xaa\\xe3j\\x8aj\\xdejYj\\xf5jO\\xd4\\xb1\\xea\\x96\\xeaq\\xeae\\xea7\\xd4\\xa7444\\x825\\xb6j4k\\x8cjJk2535\\xeb5\\x07\\xb4D\\xb4\\xec\\xb4R\\xb4\\xaa\\xb5\\x1ej\\xa3\\xb5-\\xb5\\xd7h\\xef\\xd7\\xbe\\xa
|
[
{
"user": "Where is the juice glass in relation to the wine glass? Is it to the left of the wine glass?",
"assistant": "No. The <object>juice glass</object><bbox>[455,520,550,740]</bbox> is in front of the <object>wine glass</object><bbox>[455,280,535,550]</bbox>, positioned closer to the camera on the table."
},
{
"user": "Is there a curtain behind the table?",
"assistant": "Yes. The <object>curtain</object><bbox>[0,0,750,500]</bbox> is behind the <object>table</object><bbox>[120,250,880,1000]</bbox>, hanging vertically in the background of the scene."
}
]
|
spatialsense
|