SWISSAI DATA as of 2026-07-22 14:14

#606

/capstor/store/cscs/swissai/infra01/vision-datasets/raw/sft/hf___InnovatorLab___Innovator-VL-Instruct-46M
kindparquet
statusactive
samples46,077,178
counted viaparquet footer
size11.3 TB
files31,137
first seen2026-07-22 13:48
last seen2026-07-22 13:48
registered2026-07-22 13:48

samples

#imagesconversationsid
1
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00\\xb4\\x00\\xb4\\x00\\x00\\xff\\xdb\\x00C\\x00\\x06\\x04\\x05\\x06\\x05\\x04\\x06\\x06\\x05\\x06\\x07\\x07\\x06\\x08\\n\\x10\\n\\n\\t\\t\\n\\x14\\x0e\\x0f\\x0c\\x10\\x17\\x14\\x18\\x18\\x17\\x14\\x16\\x16\\x1a\\x1d%\\x1f\\x1a\\x1b#\\x1c\\x16\\x16 , #&\\')*)\\x19\\x1f-0-(0%()(\\xff\\xdb\\x00C\\x01\\x07\\x07\\x07\\n\\x08\\n\\x13\\n\\n\\x13(\\x1a\\x16\\x1a((((((((((((((((((((((((((((((((((((((((((((((((((\\xff\\xc0\\x00\\x11\\x08\\x01w\\x01\\xf4\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1c\\x00\\x00\\x01\\x05\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x01\\x03\\x04\\x05\\x06\\x00\\x07\\x08\\xff\\xc4\\x00T\\x10\\x00\\x01\\x03\\x02\\x04\\x03\\x04\\x06\\x06\\x06\\x07\\x03\\n\\x05\\x05\\x00\\x01\\x00\\x02\\x03\\x04\\x11\\x05\\x12!1\\x06AQ\\x13\"aq2\\x81\\x91\\xa1\\xb1\\xc1\\x07\\x14#3r\\xd1\\x15$BRb\\xe1%4\\x82\\x92\\xa2\\xb2\\xf0Cc\\xc2\\x08\\x16&5Ss\\x83\\x93\\xd2\\xf1\\x17Dt\\x84\\xe2EUd\\xa3\\xa4\\xff\\xc4\\x00\\x1a\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x03\\x04\\x05\\x06\\xff\\xc4\\x001\\x11\\x01\\x01\\x00\\x02\\x02\\x02\\x02\\x00\\x05\\x03\\x03\\x04\\x02\\x03\\x00\\x00\\x00\\x01\\x02\\x11!1\\x03\\x12AQ\\x04\\x13\"2aq\\x91\\xa1B\\xb1\\xf0\\x14Rb\\x81#\\xc13\\xd1\\xe1\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xb1g\\xd1_\\x0b\\xcbULCk\\x1f\\x0b\\x9d@\\xc7\\x16\\xcb\\xb0\\x9d\\xaei\\xe5\\xc9\\xe0{J\\xdd\\xbf\\xc3{\\x9b\\xe9g\\xc3_D\\xbc)[\\xc3\\xb45U4\\xd5.\\x98\\xba\\x11;\\x84\\xe4k\\xda\\xbe7\\x809j\\xd5\\xab\\x9e\\xb8\\xd4\\xfe\\xcb\\xed8\\xe1h>\\x87x>8\\\\\\xe9(\\xaa\\xdd\\x90\\\\\\xde\\xa5\\xdf\\xb35\\x9d\\xfe\\x13o\\xf5u?2\\xfdO\\xec\\x93/\\xe1\\xe2\\xfcC\\xc3\\x18~\\x1b\\x8fbtq\\xc2\\xec\\x94\\xf5sB\\xdb\\xb8\\x9e\\xebdp\\x1e\\xe0\\x17\\x9f,\\xae\\xd3\\x1b\\xc3s\\xf49\\xc0\\xdc;\\xc4\\x18\\xade>-B\\xe9\\xda\\xca~\\xd1\\x80L\\xe6\\xd8\\x87\\x80v#\\x91\\x0b\\xb7\\x8b+\\x8e;kz\\x9d=m\\xbfC|\\r\\xff\\x00\\xec\\xbf\\xff\\x00\\xa6_\\xfdK\\x7f\\x9d\\x97\\xf1\\xfd\\xa1\\xf9\\x9f\\xc41\\x8c}\\x11plX5s\\xa9\\xb0p&d\\x12:#\\xdb\\xc8r\\xb84\\x90G{\\xad\\x93\\xf3m\\xf8\\x9f\\xda\\'\\xbe\\xfe\\x12p\\xcf\\xa2\\xde\\x07\\xa8\\xc3\\xe9\\xa7\\xfd\\x01\\x01\\xedbc\\xf5\\x96C\\xbbA\\xfd\\xef\\x15\\x7f?9\\xc7\\x1f\\xda%\\xca\\xa6\\xb7\\xe8\\xaf\\x82[\\xa8\\xe1\\xeaC\\xf8\\x9c\\xf3\\xf1r\\x7f\\xd4y?\\xe4\\x87\\xb5D\\xc2>\\x8e\\xf8@\\xd6\\xe2\\xb1;\\x00\\xa0p\\x86\\xa4\\x06fa9Zbc\\xad\\xa9\\xea\\\\\\xa4\\xf3\\xe7:\\xbf\\xec{U\\xb0\\xfa<\\xe1\\x16\\xed\\xc3\\xb8g\\xfe@W\\xfe\\xa3\\xc9\\xf6\\x9bS\\xe2<\\x13\\xc2\\xb4\\xfcI\\x86F0\\x0c4A<\\x15\\x01\\xed\\xecFR\\xe6\\xe4sI\\x1d@\\xcd\\xaf\\x8a\\xc5\\xf3g\\xbd\\xedeX\\xd1p_\\x0b\\x19\\x98\\xd6\\xe0\\x18^\\x91\\xebzpu\\xbe\\x9b\\xf2\\xddg\\x0f>w\\xaa\\xb6\\xd3|c\\xc1\\xfc>8O\\x18t8\\x1e\\x18\\xc9YI+\\xd8\\xf6S0\\x16\\xb84\\x90A\\xb6\\x86\\xe1_\\'\\x97\\xc9q\\xb2\\xd6w_8\\xcbIJ\\xd9\\x05\\xa9\\xe1\\x02\\xd7\\xf4\\x02\\xf2n\\xb7\\xb7\\xb4\\xf0\\r\\x15\\x0c\\x9c\\x1dH\\xe7a\\x98t\\x8fcjFy)X\\xe7]\\x8eim\\xc9\\x1a\\xe8J\\xf6O7\\x93\\x19$\\xca\\xff\\x00w;9[\\xf1F\\x1dC\\x1e\\x03\\x8b\\xf6X^\\x18\\xd2\\xdaz\\x82\\xd2)#\\xb8-\\x90\\x00v\\xfd\\xd2=z\\xa9\\x97\\x9f\\xcb\\xeb\\x7fU\\xfe\\xe6\\x920\\x98)*)\\xa8\\xa4\\x97\\r\\xc3\\x8b\\x9e\\xd8\\x0b\\x88\\xa4\\x8c\\\\\\xbaG\\xb1\\xc7o\\x06\\xad~w\\x93\\xfe\\xeb\\xfd\\xd3L\\xdf\\xd2\\r\\x154\\xdc\\x14\\xf9_CF\\xc9X\\xfaI\\x03\\xa3\\xa7c\\x08\\xce\\xd1\\x9bP:\\xddr\\xf3ys\\xcb\\x1de\\x95\\xbf\\xfbk\\x1e\\xde-\\x8dS\\xc6\\xdc:b\\xc8\\xd8\\xd2\\xd9\\xa3\\xb5\\x9a\\x06\\x85\\xa5x\\xed\\xbe\\xce\\xbf\\x0c\\xf6U\\xa0\\x99T\\x0b\\x97\\xc1\\r\\x13/\\x82\\x0e\\xca\\x83\\xb2\\xa0\\x83+mP\\xff\\x005V\\x1d\\x88(\\x89q\\xb7E\\x958\\xe6\\xf7B\\xd4,\\x01n\\x8a\\x84-@\\xe5+~\\xd8z\\xd2\\xaa\\xc5\\xed\\xb5\\x04\\xdf\\x88$f\\xba&~\\xaf/\\x88\\x1f\\x14(\\x9a\\xcf\\xb1\\x7f\\x98\\xf9\\xa4\\xe8;F\\xdf\\xd6\\xa3\\xf5\\xfc\\x12 )\\xd9\\xf6\\x91\\xfe!\\xf1T\\x1b\\xdb\\xf6
[
  {
    "from": "human",
    "value": "<image>\nWhere is someone working?\nA. office\nB. courthouse\nC. home\nD. library\nAnswer with the option's letter from the given choices directly."
  },
  {
    "from": "gpt",
    "value": "C"
  }
]
SFT_000001_000000
2
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01\\xe0\\x02\\x80\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1f\\x00\\x00\\x00\\x06\\x03\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x05\\x06\\x07\\x08\\t\\x01\\x02\\x03\\n\\x00\\x0b\\xff\\xc4\\x00O\\x10\\x00\\x02\\x01\\x03\\x03\\x02\\x04\\x04\\x03\\x05\\x05\\x06\\x04\\x04\\x01\\r\\x01\\x02\\x03\\x04\\x05\\x11\\x06\\x07\\x12\\x00!\\x08\\x131A\\x14\"Qa\\t2q\\x15#B\\x81\\x91\\x16R\\xa1\\xb1\\xf0$3b\\xc1\\xd1\\xe1\\n\\x17r\\x82CS\\x92\\xf1\\x18%4csDe\\xa2\\xc2\\x19T\\x93\\xa3\\xb2\\xff\\xc4\\x00\\x1e\\x01\\x00\\x00\\x07\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x03\\x04\\x05\\x06\\x07\\x08\\t\\n\\xff\\xc4\\x00Y\\x11\\x00\\x01\\x03\\x02\\x04\\x03\\x05\\x05\\x05\\x04\\x07\\x05\\x06\\x02\\x05\\r\\x01\\x02\\x03\\x11\\x00\\x04\\x05\\x12!1\\x06AQ\\x13\"aq\\x81\\x072\\x91\\xa1\\xb1\\x08\\x14\\xc1\\xd1\\xf0#BR\\xe1\\x15br\\x82\\x92\\xb2\\xf1\\t$3\\xa2\\xd2\\x16\\x17Cc\\x83\\x93\\xc2\\xd3\\x18\\x19%4Ss\\x84\\xe25D\\x94\\xb3\\xc3ETU\\xa3\\xe3\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\x87\\xfaG{\\xb7\\x83ECo\\xb4i=\\xcf\\xd7\\xda~\\xcbOU\\rl6\\xf8\\xef\\x13\\x8a\\x1f:\\'\\x12)jgs\\x0b\\x8eJ\\x0f\\x16R\\xad\\x82\\x08 \\xf5\\xe3<3\\x1d\\xbd\\xb4Z\\x1c\\xb6yh)\\xd4B\\x8e\\x9e\\x87\\xbb\\xf2\\x8a\\xfd5qG\\xb1\\xfe\\x16\\xc6\\xdd78\\x9e\\x1c\\xc3\\xaf\\x14\\x94\\xe7SH\\xed \\xe9\\xa3\\x81!`\\xc70\\xa9\\x07Pjwh\\xbf\\xc4\\x8e\\xfb\\xa97\\xa3g77\\xc4^\\x8a\\x83V\\xdb\\xf4}\\x05\\xe2\\nV\\xd2\\xd4\\xf1\\xd0\\xcf-mj\\xc6\\x9f\\xb4$\\xa7\\x9aC\\x03K\\x1aFT$f s\\x91\\xc4\\xfa\\xf5\\xee\\x18\\xf6\\xebz\\xc5\\xf7\\xde\\xf1D\\x07{\\xa5=\\xde\\xe9\\x12D\\xab\\xa1Q\\x8eP+\\xc7\\x9cQ\\xf6\\x06\\xc3\\xecxs\\x15\\xc2\\xb8\"\\xe9L;\\x7f\\xd9\\x83\\xdb\\x92\\xe2R\\x86\\xd5\\x98\\xb6\\x16\\x94\\x85\\x8c\\xfc\\xd4\\xa0\\xbdbt\\xab\\x05\\xb8n\\x17\\x85\\xbf\\xc4\\xce;\\xde\\xc8S\\xea-S\\xa6\\xaf\\x16*\\xda;\\xfe\\x97\\xaa0\\xa5\\x1d\\xc6\\xe3\\xce\\x8c%Y\\x82\\x96nK)\\x89\\xdeH%\\x80\\x12\\xc5V)\\x90\\xe0g\\xae\\xabg\\xc4\\\\7\\xc6y\\xadn\\xc2\\xa5\\x06@*\\xec\\xd4A\\x00\\x92\\x92\\t\\xdfb9\\x8a\\xf0\\xe5\\x9f\\xb3\\xcfi\\x1e\\xc1\\\\k\\x8c\\x1c\\xb7i\\xd4\\xbc\\x16\\xd3\\xe9\\n.4\\x94\\x82\\nJ\\xdcn\\nB\\x87x,\\xc0\\x99I\\xd6\\x9f=\\xda\\xb3l\\xe7\\x84\\xdf\\nq\\xe9\\x1b\\x9d\\x05=\\x16\\x9f\\xa7\\xa3\\xfe\\xca\\xd9>?\\x8cU\\xd7\\x1a\\xda\\xe9Lr\\xb8\\x95x1lT\\xd4O!L\"\"\\x1c\\xe0c\\xae\\x99\\xc4<Ae`\\x86-\\x1c!\\tqhm\\t\\xd4\\xc0\\xd0m\\xbc\\x01\\xfb\\xc7\\x9e\\xf5\\xc2\\xb0[\\xbe \\xf6\\xad\\xc7\\x8a\\xbe\\x08\\x0b\\xb9Y.\\xac#\\xddCm\\x89\\x1a\\x9d\\x93\\xb0L\\x90I\\xea6W\\xf8\\x8b\\xb3Zc\\xb1\\xd9\\xf6\\xaa\\xdf\\xe2\\x9bPxg\\xbd\\xddkd\\xa6\\xd3u\\x8bUL\\x8fY\\xf0a\\x7f\\xd9\"\\xa8\\x98F\\xe20\\x92BLb\\xa1\\x1d\\x97\\x8f\\x12\\xc02\\x98\\\\h\\xee\\x1e\\xe2\\x11kwp\\xabg\\x1c\\'*\\x92\\xac\\x99\\x88\\xe4I\\x94\\xc8?\\xbb\\xa4\\xd6W\\xd9#w\\x83\\x17{\\x1b8 \\xc5\\xdb`\\x15:\\xd2\\xd2\\xe2\\xd0\\x90\\xa3\\xaa\\xd4\\x94\\x92tP0H +q\\x15\\x08\\xbf\\x10\\xdd\\x1b\\xae,\\xbe\\x03\\xe9\\xae\\x1e \\x12\\xdd\\xae\\xf7+H\\xdd-\\xb3\\xc7\\xac\\xed8E\\xa82\\xd5\\xfc/\\xc4MK\"\\xc5*-L\\x13\\xc0\\x92\\xf9^b\\xf9\\xe2\\'\\xf4\\x1c\\x86o\\xdaW\\t\\xa7\\x10\\xc2\\xad\\xed\\x90\\xbc\\xe
[
  {
    "from": "human",
    "value": "<image>\nWhat type of vehicles can be seen on the busy city street?\nAnswer the question with GPT-T-COCO format."
  },
  {
    "from": "gpt",
    "value": "On the busy city street, there is a passenger bus, cars, and trucks visible."
  },
  {
    "from": "human",
    "value": "What color is the bus on the busy city street?"
  },
  {
    "from": "gpt",
    "value": "The bus in the image is red and white."
  },
  {
    "from": "human",
    "value": "Can you describe the traffic situation in the image?"
  },
  {
    "from": "gpt",
    "value": "The traffic situation in the image shows several automobiles, including a red and white passenger bus, cars, and trucks traveling on a street near buildings. The bus appears to be parked or driving slowly, with a line of cars and trucks lined up behind it, suggesting a busy and congested traffic scene."
  },
  {
    "from": "human",
    "value": "What does this busy traffic scene imply about the city's transportation and infrastructure?"
  },
  {
    "from": "gpt",
    "value": "The busy traffic scene in the image implies that the city has a considerable demand for transportation and infrastructure management. The presence of a passenger bus, cars, and trucks on the street near buildings suggests a high level of vehicle movement, which could be indicative of concentrated residential and commercial areas or popular transit routes within the city.\n\nSuch a congested traffic situation can have multiple consequences for the city, including increased congestion, longer travel times, and higher levels of air and noise pollution. This, in turn, can impact the overall quality of life for the residents, as well as the efficiency and effectiveness of local businesses.\n\nFrom an infrastructure standpoint, the city might need to invest in additional road capacity or public transportation options to alleviate congestion and reduce the reliance on private automobiles. This could involve expanding existing roadways, implementing more efficient traffic management systems, or promoting alternatives to car usage, such as cycling and walking. Moreover, the city may need to invest in improving or expanding its public transportation system, including buses, trams, or trains, to encourage more people to use public transit, thereby reducing road congestion and vehicle emissions.\n\nIn summary, the image of a busy city street with a red and white bus and the line of cars and trucks behind it highlights the need for efficient transportation and infrastructure management in urban areas, in order to provide a good quality of life for residents, reduce congestion, and support economic growth."
  }
]
SFT_000001_000001
3
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x00\\x00\\x01\\x00\\x01\\x00\\x00\\xff\\xdb\\x00C\\x00\\x08\\x06\\x06\\x07\\x06\\x05\\x08\\x07\\x07\\x07\\t\\t\\x08\\n\\x0c\\x14\\r\\x0c\\x0b\\x0b\\x0c\\x19\\x12\\x13\\x0f\\x14\\x1d\\x1a\\x1f\\x1e\\x1d\\x1a\\x1c\\x1c $.\\' \",#\\x1c\\x1c(7),01444\\x1f\\'9=82<.342\\xff\\xdb\\x00C\\x01\\t\\t\\t\\x0c\\x0b\\x0c\\x18\\r\\r\\x182!\\x1c!22222222222222222222222222222222222222222222222222\\xff\\xc0\\x00\\x11\\x08\\x01\\xdb\\x01g\\x03\\x01\"\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1f\\x00\\x00\\x01\\x05\\x01\\x01\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x03\\x04\\x05\\x06\\x07\\x08\\t\\n\\x0b\\xff\\xc4\\x00\\xb5\\x10\\x00\\x02\\x01\\x03\\x03\\x02\\x04\\x03\\x05\\x05\\x04\\x04\\x00\\x00\\x01}\\x01\\x02\\x03\\x00\\x04\\x11\\x05\\x12!1A\\x06\\x13Qa\\x07\"q\\x142\\x81\\x91\\xa1\\x08#B\\xb1\\xc1\\x15R\\xd1\\xf0$3br\\x82\\t\\n\\x16\\x17\\x18\\x19\\x1a%&\\'()*456789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz\\x83\\x84\\x85\\x86\\x87\\x88\\x89\\x8a\\x92\\x93\\x94\\x95\\x96\\x97\\x98\\x99\\x9a\\xa2\\xa3\\xa4\\xa5\\xa6\\xa7\\xa8\\xa9\\xaa\\xb2\\xb3\\xb4\\xb5\\xb6\\xb7\\xb8\\xb9\\xba\\xc2\\xc3\\xc4\\xc5\\xc6\\xc7\\xc8\\xc9\\xca\\xd2\\xd3\\xd4\\xd5\\xd6\\xd7\\xd8\\xd9\\xda\\xe1\\xe2\\xe3\\xe4\\xe5\\xe6\\xe7\\xe8\\xe9\\xea\\xf1\\xf2\\xf3\\xf4\\xf5\\xf6\\xf7\\xf8\\xf9\\xfa\\xff\\xc4\\x00\\x1f\\x01\\x00\\x03\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x02\\x03\\x04\\x05\\x06\\x07\\x08\\t\\n\\x0b\\xff\\xc4\\x00\\xb5\\x11\\x00\\x02\\x01\\x02\\x04\\x04\\x03\\x04\\x07\\x05\\x04\\x04\\x00\\x01\\x02w\\x00\\x01\\x02\\x03\\x11\\x04\\x05!1\\x06\\x12AQ\\x07aq\\x13\"2\\x81\\x08\\x14B\\x91\\xa1\\xb1\\xc1\\t#3R\\xf0\\x15br\\xd1\\n\\x16$4\\xe1%\\xf1\\x17\\x18\\x19\\x1a&\\'()*56789:CDEFGHIJSTUVWXYZcdefghijstuvwxyz\\x82\\x83\\x84\\x85\\x86\\x87\\x88\\x89\\x8a\\x92\\x93\\x94\\x95\\x96\\x97\\x98\\x99\\x9a\\xa2\\xa3\\xa4\\xa5\\xa6\\xa7\\xa8\\xa9\\xaa\\xb2\\xb3\\xb4\\xb5\\xb6\\xb7\\xb8\\xb9\\xba\\xc2\\xc3\\xc4\\xc5\\xc6\\xc7\\xc8\\xc9\\xca\\xd2\\xd3\\xd4\\xd5\\xd6\\xd7\\xd8\\xd9\\xda\\xe2\\xe3\\xe4\\xe5\\xe6\\xe7\\xe8\\xe9\\xea\\xf2\\xf3\\xf4\\xf5\\xf6\\xf7\\xf8\\xf9\\xfa\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xe2~n\\x06@\\xcf\\x18\\'\\x82*\\xbc\\xa2B\\x84\\x12\\n\\x8c\\xf2{U\\x82\\xa3$g\\x1fJ\\x8aHK\\xee \\x9c\\xf6\\x1e\\xb5\\xe8\\xa3\\xc1#\\x88\\xfc\\xcd\\x9c\\x15\\x07xS\\xd3\\x92A\\xfe_\\xa5X\\x8bh\\x04\\x10A\\x1c\\xe3\\x1c\\xd5q\\x13\\x06\\x8d\\xb9\\xc6\\n\\x9e\\xfc\\x82O\\xf2\"\\xae\\xc3\\x03\\x16\\xcb`\\x83\\xeb\\xd7\\x8a\\xa11Td\\x11\\x8c\\x01\\xcfN\\r=B\\xe4s\\xc1\\xeb\\x9aQ\\x11\\x12`\\xe4\\x83\\xe88\\x158\\x80\\xec\\x07\\x04\\x83\\xdf\\x14!=\\x8a\\xe4G\\xb8\\x12O\\xe23U\\xe5\\x039\\xc9\\x19\\xe9\\xc6*\\xf3\\xa0\\x07\\x1b@\\xc7\\xebQM\\x10*\\t\\x1c\\xf4\\xab$\\xcd\\x94\\'RH\\xf5\\xa8\\x8e\\xd1 8\\xc8#\\x15|\\xc0\\x1b \\x83\\x9fJ\\x82X\\x08#9\\xe0v\\xef@\\\\\\xacp\\x0e@\\x19\\x078\\xc5H\\xc7\\n\\x06\\xd1\\x91\\xc98\\xa9<\\x82NX\\xf5\\x1cc\\xebJ\\xd1\\x15\\\\\\x02I\\xeeh\\x13d$du t<\\xe2\\xa3`\\xa0g\\x1d=\\xaa\\xc9\\x88\\x15\\xc1\\'8\\xe8j&B{u\\xefL.D=K\\x1a\\x1cd\\x83\\x90A\\xf6\\xa7\\xb4Dc\\x8fl\\xd2\\xb4@\\x803\\x83\\xda\\x98&1\\x0e1\\xb4\\x9c\\x9e\\xd8\\xa9\\x90\\x9d\\xd9=I\\xc9\\xa8\\xd63\\x9c\\x00>\\xb9\\xa9V&\\x04\\x109>\\x94\\x03c\\x81\\xc3ax\\xf7\\x1d\\x7f\\x1a\\x99p\\xac\\t \\x9f\\xadBA\\xe3\\xae=\\xaah\\xd0\\x11\\xc8\\x18\\x03\\xd6\\x82[$\\'\\xb8\\xce}\\xfbTX9*O\\xbeEJI\\xc6\\x00\\xedQ\\x91\\xcey\\xcfz\\x00PW\\x03\\x03\\'\\xa1\\xcd5\\xb9#\\x19\\x00S\\xc1\\xc2\\xf1\\x80\\x0fZk\\x02F\\x06O\\xaf4\\r\\x11J\\x00=r\\x01\\xeb\\xde\\xa3n@#\"\\xac\\xbae\\x14\\xa8\\xc0\\xe8j\\x16N\\xa0T\\xb2\\x88X`n\\'\\x18\\xec\\x07O\\xa57*20\\x0e8\\xe4\\x93O\\xdb\\xf2\\x92W\\x9c\\xf5\\xcd!\\x04\\x8c\\x81\\x8e\\xf9\\xce)\\x14\\x882\\x03`\\x12=\\xbd=\\xa9\\xae\\x0e0\\x0e\\x07SR\\x91\\xbb\\xa8!\\x81\\xe7\"\\x9a\\xc9\\x91\\xcf\\xd6\\x8e\\xa0\\x9e\\xa5&\\x03\\x04\\x13Q\\xf5\\xc8\\xcf\\x15ca$\\x909\\xf4\\xa8\\xc4Y=9\
[
  {
    "from": "human",
    "value": "<image>\nWho is the author of this book?\nAnswer the question using a single word or phrase."
  },
  {
    "from": "gpt",
    "value": "Edmund V. Gillon Jr."
  },
  {
    "from": "human",
    "value": "What is the title of this book?"
  },
  {
    "from": "gpt",
    "value": "Cut & Assemble Lincoln's Springfield Home"
  },
  {
    "from": "human",
    "value": "What type of book is this?"
  },
  {
    "from": "gpt",
    "value": "Teen & Young Adult"
  },
  {
    "from": "human",
    "value": "Is this a youngster related book?"
  },
  {
    "from": "gpt",
    "value": "Yes"
  },
  {
    "from": "human",
    "value": "Is this a recipe book?"
  },
  {
    "from": "gpt",
    "value": "No"
  }
]
SFT_000001_000002
4
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xfe\\x00\\x0cAppleMark\\n\\xff\\xe2\\x05XICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x05Happl\\x02 \\x00\\x00scnrRGB XYZ \\x07\\xd3\\x00\\x07\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00acspAPPL\\x00\\x00\\x00\\x00appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0brXYZ\\x00\\x00\\x01\\x08\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x01\\x1c\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x010\\x00\\x00\\x00\\x14wtpt\\x00\\x00\\x01D\\x00\\x00\\x00\\x14chad\\x00\\x00\\x01X\\x00\\x00\\x00,rTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0egTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0ebTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0edesc\\x00\\x00\\x04\\xd8\\x00\\x00\\x00ncprt\\x00\\x00\\x04\\x94\\x00\\x00\\x00Adscm\\x00\\x00\\x01\\x94\\x00\\x00\\x02\\xfeXYZ \\x00\\x00\\x00\\x00\\x00\\x00tK\\x00\\x00>\\x1d\\x00\\x00\\x03\\xcbXYZ \\x00\\x00\\x00\\x00\\x00\\x00Zs\\x00\\x00\\xac\\xa6\\x00\\x00\\x17&XYZ \\x00\\x00\\x00\\x00\\x00\\x00(\\x18\\x00\\x00\\x15W\\x00\\x00\\xb83XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3R\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xcfsf32\\x00\\x00\\x00\\x00\\x00\\x01\\x0cB\\x00\\x00\\x05\\xde\\xff\\xff\\xf3&\\x00\\x00\\x07\\x92\\x00\\x00\\xfd\\x91\\xff\\xff\\xfb\\xa2\\xff\\xff\\xfd\\xa3\\x00\\x00\\x03\\xdc\\x00\\x00\\xc0lcurv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00mluc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0f\\x00\\x00\\x00\\x0cenUS\\x00\\x00\\x00$\\x00\\x00\\x02\\x9eesES\\x00\\x00\\x00,\\x00\\x00\\x01LdaDK\\x00\\x00\\x004\\x00\\x00\\x01\\xdadeDE\\x00\\x00\\x00,\\x00\\x00\\x01\\x98fiFI\\x00\\x00\\x00(\\x00\\x00\\x00\\xc4frFU\\x00\\x00\\x00<\\x00\\x00\\x02\\xc2itIT\\x00\\x00\\x00,\\x00\\x00\\x02rnlNL\\x00\\x00\\x00$\\x00\\x00\\x02\\x0enoNO\\x00\\x00\\x00 \\x00\\x00\\x01xptBR\\x00\\x00\\x00(\\x00\\x00\\x02JsvSE\\x00\\x00\\x00*\\x00\\x00\\x00\\xecjaJP\\x00\\x00\\x00\\x1c\\x00\\x00\\x01\\x16koKR\\x00\\x00\\x00\\x18\\x00\\x00\\x022zhTW\\x00\\x00\\x00\\x1a\\x00\\x00\\x012zhCN\\x00\\x00\\x00\\x16\\x00\\x00\\x01\\xc4\\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00n\\x00 \\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00i\\x00l\\x00i\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xf6\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a0\\xab0\\xe10\\xe9\\x00 \\x00R\\x00G\\x00B\\x00 0\\xd70\\xed0\\xd50\\xa10\\xa40\\xebexOMv\\xf8j_\\x00 \\x00R\\x00G\\x00B\\x00 \\x82r_ic\\xcf\\x8f\\xf0\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00p\\x00a\\x00r\\x00a\\x00 \\x00C\\x00\\xe1\\x00m\\x00a\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00k\\x00a\\x00m\\x00e\\x00r\\x00a\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00R\\x00G\\x00B\\x00-\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xfc\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00sv\\xf8g:\\x00 \\x00R\\x00G\\x00B\\x00 c\\xcf\\x8f\\xf0e\\x87N\\xf6\\x00R\\x00G\\x00B\\x00-\\x00b\\x00e\\x00s\\x00k\\x00r\\x00i\\x00v\\x00e\\x00l\\x00s\\x00e\\x00 \\x00t\\x00i\\x00l\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00e\\x00l\\x00 \\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\xcet\\xbaT\\xb7|\\x00 \\x00R\\x00G\\x00B\\x00 \\xd5\\x04\\xb8\\\\\\xd3\\x0c\\xc7|\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00d\\x00e\\x00 \\x00C\\x00\\xe2\\x00m\\x00e\\x00r\\x00a\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00o\\x00 \\x00R\\x00G\\x00B\\x00 \\x00F\\x00o\\x00t\\x00o\\x00c\\x00a\\x00m\\x00e\\x00r\\x00a\\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\x00 \\x00R\\x00G\\x00B\\x00 \\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00e\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00R\\x00V\\x00B\\x00 \\x00d\\x00e\\x00 \\x00l \\x19\\x
[
  {
    "from": "human",
    "value": "<image>\nWhy is the space shuttle being carried on the back of another plane?\nAnswer the question with GPT-T-COCO format."
  },
  {
    "from": "gpt",
    "value": "The space shuttle is being carried on the back of a large passenger jet, called the Shuttle Carrier Aircraft (SCA), for transportation purposes. After landing at a location that is not its home base, the shuttle would need to be accommodated back to its space center. Since the space shuttle is not designed to fly like a conventional aircraft and does not have the necessary propulsion and control systems, it is carefully mounted onto the specially-designed SCA, which flies the shuttle back to the space center. This method of transportation is more efficient and safer than disassembling the space shuttle, transporting it by land or sea, and then reassembling it at the destination. The SCA also has been used to deliver new space shuttles and move them for display at museums after their retirement."
  }
]
SFT_000001_000003
5
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x0cXICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x0cHLino\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xce\\x00\\x02\\x00\\t\\x00\\x06\\x001\\x00\\x00acspMSFT\\x00\\x00\\x00\\x00IEC sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-HP  \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11cprt\\x00\\x00\\x01P\\x00\\x00\\x003desc\\x00\\x00\\x01\\x84\\x00\\x00\\x00lwtpt\\x00\\x00\\x01\\xf0\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x02\\x04\\x00\\x00\\x00\\x14rXYZ\\x00\\x00\\x02\\x18\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02,\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02@\\x00\\x00\\x00\\x14dmnd\\x00\\x00\\x02T\\x00\\x00\\x00pdmdd\\x00\\x00\\x02\\xc4\\x00\\x00\\x00\\x88vued\\x00\\x00\\x03L\\x00\\x00\\x00\\x86view\\x00\\x00\\x03\\xd4\\x00\\x00\\x00$lumi\\x00\\x00\\x03\\xf8\\x00\\x00\\x00\\x14meas\\x00\\x00\\x04\\x0c\\x00\\x00\\x00$tech\\x00\\x00\\x040\\x00\\x00\\x00\\x0crTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cgTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cbTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0ctext\\x00\\x00\\x00\\x00Copyright (c) 1998 Hewlett-Packard Company\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00o\\xa2\\x00\\x008\\xf5\\x00\\x00\\x03\\x90XYZ \\x00\\x00\\x00\\x00\\x00\\x00b\\x99\\x00\\x00\\xb7\\x85\\x00\\x00\\x18\\xdaXYZ \\x00\\x00\\x00\\x00\\x00\\x00$\\xa0\\x00\\x00\\x0f\\x84\\x00\\x00\\xb6\\xcfdesc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00view\\x00\\x00\\x00\\x00\\x00\\x13\\xa4\\xfe\\x00\\x14_.\\x00\\x10\\xcf\\x14\\x00\\x03\\xed\\xcc\\x00\\x04\\x13\\x0b\\x00\\x03\\\\\\x9e\\x00\\x00\\x00\\x01XYZ \\x00\\x00\\x00\\x00\\x00L\\tV\\x00P\\x00\\x00\\x00W\\x1f\\xe7meas\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x8f\\x00\\x00\\x00\\x02sig \\x00\\x00\\x00\\x00CRT curv\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x00\\x05\\x00\\n\\x00\\x0f\\x00\\x14\\x00\\x19\\x00\\x1e\\x00#\\x00(\\x00-\\x002\\x007\\x00;\\x00@\\x00E\\x00J\\x00O\\x00T\\x00Y\\x00^\\x00c\\x00h\\x00m\\x00r\\x00w\\x00|\\x00\\x81\\x00\\x86\\x00\\x8b\\x00\\x90\\x00\\x95\\x00\\x9a\\x00\\x9f\\x00\\xa4\\x00\\xa9\\x00\\xae\\x00\\xb2\\x00\\xb7\\x00\\xbc\\x00\\xc1\\x00\\xc6\\x00\\xcb\\x00\\xd0\\x00\\xd
[
  {
    "from": "human",
    "value": "<image>\nProvide a short description for the given region.\n[0.542,0.349,0.612,0.409]"
  },
  {
    "from": "gpt",
    "value": "Severe receding hairline."
  },
  {
    "from": "human",
    "value": "[0.544,0.415,0.592,0.463]"
  },
  {
    "from": "gpt",
    "value": "Man's mouth is open."
  },
  {
    "from": "human",
    "value": "[0.616,0.758,0.704,0.839]"
  },
  {
    "from": "gpt",
    "value": "Two colored bowling shoe."
  },
  {
    "from": "human",
    "value": "[0.520,0.573,0.552,0.609]"
  },
  {
    "from": "gpt",
    "value": "Tattoo on right forearm."
  },
  {
    "from": "human",
    "value": "[0.564,0.424,0.748,0.609]"
  },
  {
    "from": "gpt",
    "value": "White tank top is being worn by man."
  },
  {
    "from": "human",
    "value": "[0.456,0.746,0.504,0.818]"
  },
  {
    "from": "gpt",
    "value": "Damaged spot in skateboarding park."
  },
  {
    "from": "human",
    "value": "[0.464,0.343,0.768,0.893]"
  },
  {
    "from": "gpt",
    "value": "Man skateboarding with his knees bent down."
  },
  {
    "from": "human",
    "value": "[0.400,0.009,0.860,0.331]"
  },
  {
    "from": "gpt",
    "value": "White lines painted on a red background."
  },
  {
    "from": "human",
    "value": "[0.782,0.513,0.982,0.633]"
  },
  {
    "from": "gpt",
    "value": "Blue line painted on floor."
  },
  {
    "from": "human",
    "value": "[0.222,0.128,0.996,0.352]"
  },
  {
    "from": "gpt",
    "value": "The ramp is white and red."
  },
  {
    "from": "human",
    "value": "[0.550,0.313,0.790,0.949]"
  },
  {
    "from": "gpt",
    "value": "Man riding a skateboard."
  },
  {
    "from": "human",
    "value": "[0.486,0.552,0.572,0.675]"
  },
  {
    "from": "gpt",
    "value": "Tattoos on his arms."
  },
  {
    "from": "human",
    "value": "[0.536,0.358,0.630,0.525]"
  },
  {
    "from": "gpt",
    "value": "The man has a beard."
  },
  {
    "from": "human",
    "value": "[0.592,0.442,0.782,0.701]"
  },
  {
    "from": "gpt",
    "value": "Man is wearing a white t-shirt."
  },
  {
    "from": "human",
    "value": "[0.252,0.869,0.386,0.973]"
  },
  {
    "from": "gpt",
    "value": "Paint missing on the ramp."
  },
  {
    "from": "human",
    "value": "[0.606,0.704,0.750,0.830]"
  },
  {
    "from": "gpt",
    "value": "His shoes are white and black."
  },
  {
    "from": "human",
    "value": "[0.542,0.418,0.592,0.454]"
  },
  {
    "from": "gpt",
    "value": "The man's mouth is open."
  },
  {
    "from": "human",
    "value": "[0.512,0.349,0.794,0.881]"
  },
  {
    "from": "gpt",
    "value": "The skater is squatting down."
  },
  {
    "from": "human",
    "value": "[0.114,0.370,0.340,0.845]"
  },
  {
    "from": "gpt",
    "value": "White line on red surface."
  },
  {
    "from": "human",
    "value": "[0.242,0.669,0.388,0.955]"
  },
  {
    "from": "gpt",
    "value": "White line on red surface."
  }
]
SFT_000001_000004
6
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x02@ICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x020ADBE\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xcf\\x00\\x06\\x00\\x03\\x00\\x00\\x00\\x00\\x00\\x00acspAPPL\\x00\\x00\\x00\\x00none\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-ADBE\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\ncprt\\x00\\x00\\x00\\xfc\\x00\\x00\\x002desc\\x00\\x00\\x010\\x00\\x00\\x00kwtpt\\x00\\x00\\x01\\x9c\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x01\\xb0\\x00\\x00\\x00\\x14rTRC\\x00\\x00\\x01\\xc4\\x00\\x00\\x00\\x0egTRC\\x00\\x00\\x01\\xd4\\x00\\x00\\x00\\x0ebTRC\\x00\\x00\\x01\\xe4\\x00\\x00\\x00\\x0erXYZ\\x00\\x00\\x01\\xf4\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02\\x08\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02\\x1c\\x00\\x00\\x00\\x14text\\x00\\x00\\x00\\x00Copyright 1999 Adobe Systems Incorporated\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11Adobe RGB (1998)\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00curv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00curv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00curv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x9c\\x18\\x00\\x00O\\xa5\\x00\\x00\\x04\\xfcXYZ \\x00\\x00\\x00\\x00\\x00\\x004\\x8d\\x00\\x00\\xa0,\\x00\\x00\\x0f\\x95XYZ \\x00\\x00\\x00\\x00\\x00\\x00&1\\x00\\x00\\x10/\\x00\\x00\\xbe\\x9c\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01\\xab\\x02\\x80\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1f\\x00\\x00\\x02\\x02\\x03\\x01\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x06\\x07\\x05\\x08\\x03\\x04\\t\\n\\x02\\x01\\x00\\x0b\\xff\\xc4\\x00J\\x10\\x00\\x02\\x01\\x02\\x04\\x04\\x04\\x03\\x05\\x07\\x03\\x04\\x01\\x02\\x02\\x0b\\x01\\x02\\x03\\x04\\x11\\x00\\x05\\x06!\\x07\\x121A\\x13\"Qa\\x08q\\x81\\x142\\x91\\xa1\\xf0\\t\\x15#B\\xb1\\xc1\\xd1R\\xe1\\xf1\\x16$3br\\nC\\x82\\x17%\\x92\\x18S&(45Td\\x83\\xff\\xc4\\x00\\x1e\\x01\\x00\\x02\\x02\\x03\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x03\\x04\\x02\\x05\\x01\\x06\\x07\\x00\\x08\\t\\n\\xff\\xc4\\x00F\\x11\\x00\\x01\\x03\\x03\\x02\\x03\\x05\\x06\\x04\\x05\\x03\\x03\\x03\\x03\\x04\\x03\\x01\\x00\\x02\\x11\\x03\\x04!\\x051\\x12AQ\\x06\\x13\"aq\\x07\\x81\\x91\\xa1\\xb1\\xf0\\x142\\xc1\\xd1\\x08#B\\xe1\\xf1\\x15Rrb\\x82\\x92$3\\xa2\\x164C\\x17\\xb2\\xc2\\xd2s\\xb3\\xe2\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xf3!\\xc2\\x1d8\\x15\\xa6\\xadh\\xe33)\\xe7\\xe5#\\xef\\x1bt\"\\xd8\\xd4uK\\xce\\x08
[
  {
    "from": "human",
    "value": "<image>\nIs this girl sad?\nAnswer the question using a single word or phrase."
  },
  {
    "from": "gpt",
    "value": "No"
  },
  {
    "from": "human",
    "value": "Is this girl angry?"
  },
  {
    "from": "gpt",
    "value": "No"
  },
  {
    "from": "human",
    "value": "What color hair does the woman have?"
  },
  {
    "from": "gpt",
    "value": "Red"
  },
  {
    "from": "human",
    "value": "Why does the woman have the umbrella open?"
  },
  {
    "from": "gpt",
    "value": "Rain"
  },
  {
    "from": "human",
    "value": "Who is under the umbrella?"
  },
  {
    "from": "gpt",
    "value": "Woman"
  },
  {
    "from": "human",
    "value": "Is the person looking at the camera?"
  },
  {
    "from": "gpt",
    "value": "Yes"
  },
  {
    "from": "human",
    "value": "Why is the woman wearing a coat?"
  },
  {
    "from": "gpt",
    "value": "Raining"
  },
  {
    "from": "human",
    "value": "What color is the umbrella?"
  },
  {
    "from": "gpt",
    "value": "Yellow"
  },
  {
    "from": "human",
    "value": "What color is her im umbrella?"
  },
  {
    "from": "gpt",
    "value": "Yellow"
  },
  {
    "from": "human",
    "value": "Is this person happy?"
  },
  {
    "from": "gpt",
    "value": "No"
  }
]
SFT_000001_000005
7
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x05XICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x05Happl\\x02 \\x00\\x00scnrRGB XYZ \\x07\\xd3\\x00\\x07\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00acspAPPL\\x00\\x00\\x00\\x00appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-appl\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0brXYZ\\x00\\x00\\x01\\x08\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x01\\x1c\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x010\\x00\\x00\\x00\\x14wtpt\\x00\\x00\\x01D\\x00\\x00\\x00\\x14chad\\x00\\x00\\x01X\\x00\\x00\\x00,rTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0egTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0ebTRC\\x00\\x00\\x01\\x84\\x00\\x00\\x00\\x0edesc\\x00\\x00\\x04\\xd8\\x00\\x00\\x00ncprt\\x00\\x00\\x04\\x94\\x00\\x00\\x00Adscm\\x00\\x00\\x01\\x94\\x00\\x00\\x02\\xfeXYZ \\x00\\x00\\x00\\x00\\x00\\x00tK\\x00\\x00>\\x1d\\x00\\x00\\x03\\xcbXYZ \\x00\\x00\\x00\\x00\\x00\\x00Zs\\x00\\x00\\xac\\xa6\\x00\\x00\\x17&XYZ \\x00\\x00\\x00\\x00\\x00\\x00(\\x18\\x00\\x00\\x15W\\x00\\x00\\xb83XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3R\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xcfsf32\\x00\\x00\\x00\\x00\\x00\\x01\\x0cB\\x00\\x00\\x05\\xde\\xff\\xff\\xf3&\\x00\\x00\\x07\\x92\\x00\\x00\\xfd\\x91\\xff\\xff\\xfb\\xa2\\xff\\xff\\xfd\\xa3\\x00\\x00\\x03\\xdc\\x00\\x00\\xc0lcurv\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x023\\x00\\x00mluc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x0f\\x00\\x00\\x00\\x0cenUS\\x00\\x00\\x00$\\x00\\x00\\x02\\x9eesES\\x00\\x00\\x00,\\x00\\x00\\x01LdaDK\\x00\\x00\\x004\\x00\\x00\\x01\\xdadeDE\\x00\\x00\\x00,\\x00\\x00\\x01\\x98fiFI\\x00\\x00\\x00(\\x00\\x00\\x00\\xc4frFU\\x00\\x00\\x00<\\x00\\x00\\x02\\xc2itIT\\x00\\x00\\x00,\\x00\\x00\\x02rnlNL\\x00\\x00\\x00$\\x00\\x00\\x02\\x0enoNO\\x00\\x00\\x00 \\x00\\x00\\x01xptBR\\x00\\x00\\x00(\\x00\\x00\\x02JsvSE\\x00\\x00\\x00*\\x00\\x00\\x00\\xecjaJP\\x00\\x00\\x00\\x1c\\x00\\x00\\x01\\x16koKR\\x00\\x00\\x00\\x18\\x00\\x00\\x022zhTW\\x00\\x00\\x00\\x1a\\x00\\x00\\x012zhCN\\x00\\x00\\x00\\x16\\x00\\x00\\x01\\xc4\\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00n\\x00 \\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00i\\x00l\\x00i\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xf6\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a0\\xab0\\xe10\\xe9\\x00 \\x00R\\x00G\\x00B\\x00 0\\xd70\\xed0\\xd50\\xa10\\xa40\\xebexOMv\\xf8j_\\x00 \\x00R\\x00G\\x00B\\x00 \\x82r_ic\\xcf\\x8f\\xf0\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00p\\x00a\\x00r\\x00a\\x00 \\x00C\\x00\\xe1\\x00m\\x00a\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00k\\x00a\\x00m\\x00e\\x00r\\x00a\\x00p\\x00r\\x00o\\x00f\\x00i\\x00l\\x00R\\x00G\\x00B\\x00-\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00f\\x00\\xfc\\x00r\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00sv\\xf8g:\\x00 \\x00R\\x00G\\x00B\\x00 c\\xcf\\x8f\\xf0e\\x87N\\xf6\\x00R\\x00G\\x00B\\x00-\\x00b\\x00e\\x00s\\x00k\\x00r\\x00i\\x00v\\x00e\\x00l\\x00s\\x00e\\x00 \\x00t\\x00i\\x00l\\x00 \\x00K\\x00a\\x00m\\x00e\\x00r\\x00a\\x00R\\x00G\\x00B\\x00-\\x00p\\x00r\\x00o\\x00f\\x00i\\x00e\\x00l\\x00 \\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\xcet\\xbaT\\xb7|\\x00 \\x00R\\x00G\\x00B\\x00 \\xd5\\x04\\xb8\\\\\\xd3\\x0c\\xc7|\\x00P\\x00e\\x00r\\x00f\\x00i\\x00l\\x00 \\x00R\\x00G\\x00B\\x00 \\x00d\\x00e\\x00 \\x00C\\x00\\xe2\\x00m\\x00e\\x00r\\x00a\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00o\\x00 \\x00R\\x00G\\x00B\\x00 \\x00F\\x00o\\x00t\\x00o\\x00c\\x00a\\x00m\\x00e\\x00r\\x00a\\x00C\\x00a\\x00m\\x00e\\x00r\\x00a\\x00 \\x00R\\x00G\\x00B\\x00 \\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00e\\x00P\\x00r\\x00o\\x00f\\x00i\\x00l\\x00 \\x00R\\x00V\\x00B\\x00 \\x00d\\x00e\\x00 \\x00l \\x19\\x00a\\x00p\\x00p\\x00a\\x00r\\x00
[
  {
    "from": "human",
    "value": "<image>\nWhat is in the rectangular container?\nAnswer the question using a single word or phrase."
  },
  {
    "from": "gpt",
    "value": "Beans"
  },
  {
    "from": "human",
    "value": "Which kind of vegetable is in the container?"
  },
  {
    "from": "gpt",
    "value": "Beans"
  },
  {
    "from": "human",
    "value": "Are there bowls to the right of the container that the beans are in?"
  },
  {
    "from": "gpt",
    "value": "Yes"
  },
  {
    "from": "human",
    "value": "Are the beans to the left of a carrot?"
  },
  {
    "from": "gpt",
    "value": "No"
  },
  {
    "from": "human",
    "value": "In which part of the photo is the ladle, the bottom or the top?"
  },
  {
    "from": "gpt",
    "value": "Bottom"
  },
  {
    "from": "human",
    "value": "What type of clothing is not white, the shirt or the apron?"
  },
  {
    "from": "gpt",
    "value": "Apron"
  },
  {
    "from": "human",
    "value": "Which type of clothing is not white?"
  },
  {
    "from": "gpt",
    "value": "Apron"
  },
  {
    "from": "human",
    "value": "Which kind of clothing isn't white?"
  },
  {
    "from": "gpt",
    "value": "Apron"
  },
  {
    "from": "human",
    "value": "What appliance is it?"
  },
  {
    "from": "gpt",
    "value": "Stove"
  },
  {
    "from": "human",
    "value": "What are the vegetables that are to the left of the bowl on the right?"
  },
  {
    "from": "gpt",
    "value": "Beans"
  },
  {
    "from": "human",
    "value": "What is the name of this appliance?"
  },
  {
    "from": "gpt",
    "value": "Stove"
  },
  {
    "from": "human",
    "value": "Do you see any kettle on the burner?"
  },
  {
    "from": "gpt",
    "value": "No"
  },
  {
    "from": "human",
    "value": "What kind of vegetable is in the container in the middle of the photo?"
  },
  {
    "from": "gpt",
    "value": "Beans"
  },
  {
    "from": "human",
    "value": "Is it an indoors scene?"
  },
  {
    "from": "gpt",
    "value": "Yes"
  },
  {
    "from": "human",
    "value": "Are there both a ladle and a carrot in the photo?"
  },
  {
    "from": "gpt",
    "value": "No"
  },
  {
    "from": "human",
    "value": "Is there a ladle that is not made of wood?"
  },
  {
    "from": "gpt",
    "value": "No"
  }
]
SFT_000001_000006
8
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00`\\x00`\\x00\\x00\\xff\\xe2\\x0cXICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x0cHLino\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xce\\x00\\x02\\x00\\t\\x00\\x06\\x001\\x00\\x00acspMSFT\\x00\\x00\\x00\\x00IEC sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-HP  \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11cprt\\x00\\x00\\x01P\\x00\\x00\\x003desc\\x00\\x00\\x01\\x84\\x00\\x00\\x00lwtpt\\x00\\x00\\x01\\xf0\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x02\\x04\\x00\\x00\\x00\\x14rXYZ\\x00\\x00\\x02\\x18\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02,\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02@\\x00\\x00\\x00\\x14dmnd\\x00\\x00\\x02T\\x00\\x00\\x00pdmdd\\x00\\x00\\x02\\xc4\\x00\\x00\\x00\\x88vued\\x00\\x00\\x03L\\x00\\x00\\x00\\x86view\\x00\\x00\\x03\\xd4\\x00\\x00\\x00$lumi\\x00\\x00\\x03\\xf8\\x00\\x00\\x00\\x14meas\\x00\\x00\\x04\\x0c\\x00\\x00\\x00$tech\\x00\\x00\\x040\\x00\\x00\\x00\\x0crTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cgTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cbTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0ctext\\x00\\x00\\x00\\x00Copyright (c) 1998 Hewlett-Packard Company\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00o\\xa2\\x00\\x008\\xf5\\x00\\x00\\x03\\x90XYZ \\x00\\x00\\x00\\x00\\x00\\x00b\\x99\\x00\\x00\\xb7\\x85\\x00\\x00\\x18\\xdaXYZ \\x00\\x00\\x00\\x00\\x00\\x00$\\xa0\\x00\\x00\\x0f\\x84\\x00\\x00\\xb6\\xcfdesc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00view\\x00\\x00\\x00\\x00\\x00\\x13\\xa4\\xfe\\x00\\x14_.\\x00\\x10\\xcf\\x14\\x00\\x03\\xed\\xcc\\x00\\x04\\x13\\x0b\\x00\\x03\\\\\\x9e\\x00\\x00\\x00\\x01XYZ \\x00\\x00\\x00\\x00\\x00L\\tV\\x00P\\x00\\x00\\x00W\\x1f\\xe7meas\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x8f\\x00\\x00\\x00\\x02sig \\x00\\x00\\x00\\x00CRT curv\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x00\\x05\\x00\\n\\x00\\x0f\\x00\\x14\\x00\\x19\\x00\\x1e\\x00#\\x00(\\x00-\\x002\\x007\\x00;\\x00@\\x00E\\x00J\\x00O\\x00T\\x00Y\\x00^\\x00c\\x00h\\x00m\\x00r\\x00w\\x00|\\x00\\x81\\x00\\x86\\x00\\x8b\\x00\\x90\\x00\\x95\\x00\\x9a\\x00\\x9f\\x00\\xa4\\x00\\xa9\\x00\\xae\\x00\\xb2\\x00\\xb7\\x00\\xbc\\x00\\xc1\\x00\\xc6\\x00\\xcb\\x00\\xd0\\x00\\xd
[
  {
    "from": "human",
    "value": "<image>\nWhat color is the bridge?\nAnswer the question using a single word or phrase."
  },
  {
    "from": "gpt",
    "value": "Brown"
  },
  {
    "from": "human",
    "value": "Is this real or is it a model?"
  },
  {
    "from": "gpt",
    "value": "Model"
  },
  {
    "from": "human",
    "value": "What is flowing out of the cliff on the right side of the bridge?"
  },
  {
    "from": "gpt",
    "value": "Water"
  }
]
SFT_000001_000007
9
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xdb\\x00C\\x00\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x01\\x02\\x02\\x03\\x02\\x02\\x02\\x02\\x02\\x04\\x03\\x03\\x02\\x03\\x05\\x04\\x05\\x05\\x05\\x04\\x04\\x04\\x05\\x06\\x07\\x06\\x05\\x05\\x07\\x06\\x04\\x04\\x06\\t\\x06\\x07\\x08\\x08\\x08\\x08\\x08\\x05\\x06\\t\\n\\t\\x08\\n\\x07\\x08\\x08\\x08\\xff\\xdb\\x00C\\x01\\x01\\x01\\x01\\x02\\x02\\x02\\x04\\x02\\x02\\x04\\x08\\x05\\x04\\x05\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\x08\\xff\\xc0\\x00\\x11\\x08\\x01@\\x01\\xe0\\x03\\x01\\x11\\x00\\x02\\x11\\x01\\x03\\x11\\x01\\xff\\xc4\\x00\\x1e\\x00\\x00\\x02\\x03\\x01\\x01\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x07\\x08\\x05\\x06\\t\\x04\\x03\\n\\x00\\x01\\x02\\xff\\xc4\\x00Y\\x10\\x00\\x01\\x03\\x02\\x04\\x03\\x05\\x04\\x05\\x08\\x06\\x08\\x03\\x04\\t\\x05\\x03\\x04\\x05\\x06\\x07\\x13\\x00\\x02\\x14#\\x083C\\x01\\x12\\x15Sc\\x16\"$s\\t24\\x83\\x93\\x11\\x17%BDRT\\xa3!d\\xb3\\xc3\\xd3\\xf0&15Abrt\\xe3\\x18\\x82\\x84\\'\\x92\\x94\\xf3\\n6QUa\\xa2\\xa4\\xb4\\xc2E\\x81\\xb2\\xc4\\xd2\\xff\\xc4\\x00\\x1c\\x01\\x00\\x02\\x03\\x01\\x01\\x01\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x05\\x00\\x03\\x06\\x02\\x01\\x07\\x08\\xff\\xc4\\x003\\x11\\x00\\x02\\x02\\x02\\x02\\x02\\x01\\x05\\x00\\x02\\x02\\x02\\x01\\x02\\x07\\x00\\x00\\x01\\x02\\x03\\x04\\x11\\x05!\\x121\\x13\\x06\\x14\"AQ\\x15#2a\\x163$\\x07B%4Cq\\x81\\xc1\\xf0\\xff\\xda\\x00\\x0c\\x03\\x01\\x00\\x02\\x11\\x03\\x11\\x00?\\x00\\xdb\\xd79\\xe5#\\xab\\x11\\xbar\\x8eA(\\x94\\no\\xdf%\\xbe\\xfa\\xb1\\x8c\\nGn\\xe6B(\\'P\\x83\\x1e>)\\x8b\\xcb\\xd5\\x97\\x89\\xad\\x92Q\\xfd1\\x9bxx\\xa7r\\xfaW\\x12f\\x96H\\x0b\\x03ud\\xcf\\xa8\\xb8C\\x8c`r\\xeeu\\t\\xf31\\xac\\xc4\\x85U\\xe1m\\xb0iD-Q\\xea\\xa1\\x0ft\\x985\\xb3\\xa7X&\\xb2\\xa6\\x19\\x1b\\xd2\\x039\\xf7\\x1c\\xbb\\x96\\xf7.r\\xd4a\\xef\\xd3\\x9c\\xb6.\\xf4\\x99\\xe8\\xe2<Jc\\xf1\\xe2\\xb5\\xa7xp\\x12R\\xac>\\x9d \\xc9\\xd5&7\\xf6\\xf2q\\xd7\\xe2B\\xbe\\xdb$\\x8f8H]#m\\xea\\x153<\\xa6\\xdc\\xee\\x0fljGr\\xdd\\xc1\\xf4\\xc9\\xb9\\x8f7\\x17\\xe8\\'\\xe6<\\xe44\\xed\\x8aI\\x93\\xb3\\xb5a\\x15%-\\xcb\\x97\\xd2l\\x12\\xe7\\x99\\xf31\\xcb\\xa8\\x9f0\\x11\\xf6\\xe1\\xf2\\x07\\'\\x97~s\\x167\\n/\\x9d\\xf0c\\xf1\\xc4\\x89m\\xa4\\xd3\\xe9\\xc1\\xdc\\x1a\\x9f,\\x97\\x14\\xf39d\\xc4\\x84K\\xc6\\x83\\xb0\\xa3\\xef\\xa5(\\xc9\\xf0\\xaa\\x7f\\\\\\x7f\\xfeL\\x13\\x19h\\x87\\xe0\\xac&L\\xfau\\x1b\\xbd\\x97-\\xe4?\\xf8\\x9e^.R\\xfc6\\x08\\xe0r\"\\x7f\\xba\\xea\\xfc\\xd6\\xa1\\x1e\\x97G\\x9c}\\xc3\\xf4\\xd4\\x8f8\\xeea~\\x1bNl\\xf3\\xe3:\\xccA\\xba\\x01z4\\xe4oT-\\xc4\\xe4\\x1f\\x7f\\x94O,\\x98&^\\xcb\\x01\\xf1\\x9b\\xfcA\\xaf\\xc4\\x1b\\xd4\\xafoH\\x15d \\xd2\\x93%\\xcd1\\x07\\xd4\\x19:\\x7f\\xd9\\xe0y\\xfb 4\\xa9\\xac\\xea\\x1f\"K\\xd1\\xc8\\x13\\xbd1\\x1b:U\\t\\xf5\\xcd\\xc8H\\xbc\\x16\\xce;y\\xee\"\\x1e\\xe7R\\xe7\\xa7\\xcc\\xdb\\xc590\\xd9t=\\x03\\xdaE, \\xd9\\xe5\\x0e\\x0f/,\\xd3)D\\x0c\\xed\\xed\\xef.\\xa9m\\x8ckv\\x08L\\xea\\x06>\\x9d\\xc0\\x10{d\\xe5\\xdc\\'\\x97\\x81j~>\\xc2!\\xe8i\\xa2M\\xc9\\xdd!\\x82c[iz\\\\\\xf9\\x14#&\\x7f0w\\x08;\\x9f\\x87\\x83eR\\xbe\\xb7\\xb07f\\xa6\\x85\\x1b\\x87\\xb9\\x04\\x82\\x8b\\xa9f\\x87L\\x14\\xbaJ)\\xec\\x92\\xda\\xc6u\\xd6\\x07q\\xa5\\xc3\\xae\\x90\\x83\\x1f\\xec\\xe4\\xb6B\\x0f\\xd4\\xb8<$\\xc7\\x7fm7\\x11\\x8em~PA\\x0f\\x86U\\xce,\\xd4N-\\x17h\\x8f\\xe4K\\xd9\\x1eD\\xb1\\xbc\\xc0\\xcf\\x9f\\xdc*\\xbc\\x8a\\xcf\\xb62y}\\xcd\\xcf\\xbc\\xc3:\\xec\\xefb\\xd5V\\x8b\\xb3=X\\xf6|\\xc2QP\\x19\\xfd\\x97\\x12\\xff\\x00\\x88\\xc8A\\x92\\xf8\\xd3\\x0f\\xd4\\xf4\\xf0J\\xef\\xd1\\xe1V\\xe2\\xd1\\xbd\\x1c\\x92\\x9e\\xc5\\xda\\xd1\\xa2j^\\xf2\\xb1\\xfd\\xbc\\x89\\t\\x9cw\\tl\\x04\\xbeK\\x7fv1\\x8f\\xef1NU\\x1bd\\x0f\\xb9\\xd3\\xbc#n\\xf0\\xf5\\t\\x85#K\\xdc\\xb7\\x
[
  {
    "from": "human",
    "value": "<image>\nIs this animal a mammal?\nAnswer the question using a single word or phrase."
  },
  {
    "from": "gpt",
    "value": "Yes"
  },
  {
    "from": "human",
    "value": "What is this animal doing?"
  },
  {
    "from": "gpt",
    "value": "Standing"
  },
  {
    "from": "human",
    "value": "What kind of animal is this?"
  },
  {
    "from": "gpt",
    "value": "Elephant"
  }
]
SFT_000001_000008
10
[
  {
    "bytes": "b'\\xff\\xd8\\xff\\xe0\\x00\\x10JFIF\\x00\\x01\\x01\\x01\\x00H\\x00H\\x00\\x00\\xff\\xe2\\x0cXICC_PROFILE\\x00\\x01\\x01\\x00\\x00\\x0cHLino\\x02\\x10\\x00\\x00mntrRGB XYZ \\x07\\xce\\x00\\x02\\x00\\t\\x00\\x06\\x001\\x00\\x00acspMSFT\\x00\\x00\\x00\\x00IEC sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\xf6\\xd6\\x00\\x01\\x00\\x00\\x00\\x00\\xd3-HP  \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x11cprt\\x00\\x00\\x01P\\x00\\x00\\x003desc\\x00\\x00\\x01\\x84\\x00\\x00\\x00lwtpt\\x00\\x00\\x01\\xf0\\x00\\x00\\x00\\x14bkpt\\x00\\x00\\x02\\x04\\x00\\x00\\x00\\x14rXYZ\\x00\\x00\\x02\\x18\\x00\\x00\\x00\\x14gXYZ\\x00\\x00\\x02,\\x00\\x00\\x00\\x14bXYZ\\x00\\x00\\x02@\\x00\\x00\\x00\\x14dmnd\\x00\\x00\\x02T\\x00\\x00\\x00pdmdd\\x00\\x00\\x02\\xc4\\x00\\x00\\x00\\x88vued\\x00\\x00\\x03L\\x00\\x00\\x00\\x86view\\x00\\x00\\x03\\xd4\\x00\\x00\\x00$lumi\\x00\\x00\\x03\\xf8\\x00\\x00\\x00\\x14meas\\x00\\x00\\x04\\x0c\\x00\\x00\\x00$tech\\x00\\x00\\x040\\x00\\x00\\x00\\x0crTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cgTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0cbTRC\\x00\\x00\\x04<\\x00\\x00\\x08\\x0ctext\\x00\\x00\\x00\\x00Copyright (c) 1998 Hewlett-Packard Company\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x12sRGB IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00\\xf3Q\\x00\\x01\\x00\\x00\\x00\\x01\\x16\\xccXYZ \\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00XYZ \\x00\\x00\\x00\\x00\\x00\\x00o\\xa2\\x00\\x008\\xf5\\x00\\x00\\x03\\x90XYZ \\x00\\x00\\x00\\x00\\x00\\x00b\\x99\\x00\\x00\\xb7\\x85\\x00\\x00\\x18\\xdaXYZ \\x00\\x00\\x00\\x00\\x00\\x00$\\xa0\\x00\\x00\\x0f\\x84\\x00\\x00\\xb6\\xcfdesc\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x16IEC http://www.iec.ch\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00.IEC 61966-2.1 Default RGB colour space - sRGB\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00desc\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00,Reference Viewing Condition in IEC61966-2.1\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00view\\x00\\x00\\x00\\x00\\x00\\x13\\xa4\\xfe\\x00\\x14_.\\x00\\x10\\xcf\\x14\\x00\\x03\\xed\\xcc\\x00\\x04\\x13\\x0b\\x00\\x03\\\\\\x9e\\x00\\x00\\x00\\x01XYZ \\x00\\x00\\x00\\x00\\x00L\\tV\\x00P\\x00\\x00\\x00W\\x1f\\xe7meas\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x8f\\x00\\x00\\x00\\x02sig \\x00\\x00\\x00\\x00CRT curv\\x00\\x00\\x00\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x00\\x05\\x00\\n\\x00\\x0f\\x00\\x14\\x00\\x19\\x00\\x1e\\x00#\\x00(\\x00-\\x002\\x007\\x00;\\x00@\\x00E\\x00J\\x00O\\x00T\\x00Y\\x00^\\x00c\\x00h\\x00m\\x00r\\x00w\\x00|\\x00\\x81\\x00\\x86\\x00\\x8b\\x00\\x90\\x00\\x95\\x00\\x9a\\x00\\x9f\\x00\\xa4\\x00\\xa9\\x00\\xae\\x00\\xb2\\x00\\xb7\\x00\\xbc\\x00\\xc1\\x00\\xc6\\x00\\xcb\\x00\\xd0\\x00\\xd
[
  {
    "from": "human",
    "value": "<image>\nWhat color is the item that reaches the highest height on the plate?\nA. red\nB. green\nC. purple\nD. blue\nAnswer with the option's letter from the given choices directly."
  },
  {
    "from": "gpt",
    "value": "B"
  }
]
SFT_000001_000009