Depois de viver em Liberty City por cinco anos, Carl "CJ" Johnson retorna a Los Santos em 1992 para o enterro de sua mãe. Lá, encontra tanto sua família quanto sua antiga gangue, a Grove Street Families, em frangalhos. Ao mesmo tempo que começa a acertar questões antigas com seus companheiros de gangue e luta contra as gangues rivais pelo controle de território dentro da cidade, Carl começa a trazer as Grove Street Families de volta ao topo. No entanto, às vésperas das Famílias conseguirem o controle de Los Santos, CJ descobre que seus melhores amigos, Big Smoke e Ryder, estão trabalhando em conjunto com o oficial de polícia corrupto, Frank Tenpenny (dublado por Samuel Jackson) e uma das gangues rivais, os Ballas. Smoke e Ryder montam uma cilada, e deixam que os Ballas prendam o irmão de Carl, Sweet. Tenpenny manda então a polícia para prender Sweet e raptar Carl, que é deixado num lugar muito distante, numa área rural. Ao perceber que Tenpenny é sua única esperança de ficar fora da cadeia e conseguir a liberação de Sweet, Carl se vê obrigado a cumprir as ordens do policial corrupto, que incluem matar e interferir com pessoas envolvidas num processo criminal contra o próprio Tenpenny.
Carl rapidamente conquista a amizade de novos aliados, entre eles Wu Zi Mu, um chinês cego, líder da Tríade, The Truth ("A Verdade"), um velho hippie, e Cesar Vialpando, um latino também membro de gangue que, como Carl, foi traído por seus antigos companheiros. Carl e seus novos amigos abrem uma oficina em San Fierro, enquanto esperam por uma oportunidade de retornar para Los Santos. Após encontrar e matar Ryder, Carl se envolve com os assuntos de um agente governamental misterioso, Mike Toreno, que deixa a entender que libertará Sweet se Carl o ajudar com suas operações secretas. Paralelamente, Carl ajuda Wu Zi Mu a promover o crescimento de um novo cassino na Las Venturas dominada pelos mafiosos. Eventualmente Carl encontra riqueza e eventualmente retorna a Los Santos, e Toreno cumpre sua promessa de libertar Sweet; porém este, para a surpresa do irmão, se recusa a fazer parte do novo estilo de vida milionário de CJ, e insiste em retornar para seu território natal e fazer as GSF renascerem, do que sentar-se confortavelmente sobre os louros de Carl.
Tenpenny vai a julgamento por diversos crimes, porém as acusações são arquivadas por falta de provas, já que todas as testemunhas da promotoria estão desaparecidas ou mortas. A libertação de Tenpenny provoca uma revolta entre os cidadãos de Los Santos, semelhante aos Distúrbios de Los Angeles em 1992; impulsionado pela determinação de Sweet em derrubar o império de Big Smoke, que se tornou o maior traficante da cidade, Carl reconquista o território da gangue e caça os traidores responsáveis pelas tragédias que se abateram sobre as Famílias. Carl eventualmente executa Big Smoke num tiroteio final, escapando de seu palácio em chamas enquanto persegue Tenpenny, que fugira com toda a fortuna de Smoke. Após uma perseguição pelas ruas de Los Santos, Tenpenny perde controle do caminhão de bombeiros que dirigia e cai de uma ponte; Carl, prestes a executá-lo, é impedido por seu irmão. Ambos se afastam, e deixam Tenpenny "morrer num acidente de carro". As cenas finais mostram a confraternização entre a família e os aliados, enquanto Carl se afasta, dizendo que vai "ver o que está acontecendo no quarteirão".
