Basquiat naît à New York, à Brooklyn, le 22 décembre 1960. Sa mère Matilde est new-yorkaise d'origine portoricaine, et son père Gérard, issu d'une famille éminente haïtienne qui a fui la dictature du régime Duvalier, est expert-comptable à New York. Jean-Michel a deux jeunes sœurs : Lisane, née en 1964, et Jeanine, née en 1967. Enfant précoce, il apprend à lire et à écrire à quatre ans et parle couramment trois langues à l'âge de huit ans : anglais, français et espagnol. Sa mère, qui est sensible à l'art, emmène régulièrement le jeune Jean-Michel au MoMA et l'encourage à développer ses talents de dessinateur.
En septembre 1968 — il a sept ans —, Jean-Michel est percuté par une voiture alors qu'il joue dans la rue avec ses amis. Blessé au bras, il souffre aussi de lésions internes qui nécessitent l'ablation de la rate. Pendant sa convalescence à l'hôpital, sa mère lui fait cadeau d'un traité d'anatomie médicale intitulé Henry Gray's Anatomy of the Human Body (ou plus communément Gray's Anatomy). De même que les planches anatomiques de Léonard de Vinci, cet ouvrage influencera fortement l'artiste dans la première partie de son œuvre ; il s'en inspirera aussi plus tard pour nommer son groupe de musique Gray.
Sa mère souffrant de troubles psychiques fait régulièrement des séjours en institutions spécialisées, sa santé se dégradant, la vie de famille devient difficile, aussi ses parents se séparent en 1968, la garde des enfants est confiée au père. Ainsi, ses deux jeunes sœurs et lui partent vivre chez leur père pendant 5 ans, puis la famille déménage en 1974 à Porto Rico. Après deux ans à San Juan, ils regagnent New York ; Basquiat a alors 15 ans. Par la suite, il est envoyé dans l'école privée Saint Ann, établissement huppé de Brooklyn dont l'enseignement tourné vers les arts privilégie l'apprentissage pratique. Il y rencontre Al Diaz , un graffeur avec qui il se liera d'une profonde amitié. En décembre 1976, il fugue dans Greenwich Village, errant une semaine autour du Washington Square Park, dormant et mangeant là où il peut, avant d'être arrêté et ramené à son père.
Il abandonne l'école secondaire avant la fin de ses études, quitte la maison paternelle d'où il est banni définitivement et part s'installer avec des amis. Il subvient à ses besoins en vendant des T-shirts et des cartes postales de sa fabrication dans la rue, et en travaillant dans une boutique de vêtements.