Possessão portuguesa
Constituía-se na capital fortificada de um pequeno reino muçulmano, que reconhecia a soberania de Portugal desde 1488, época das conquistas portuguesas de Arzila e Tânger. Naquele ano, o alcaide da cidade reconhecia o "rei de Portugal como seu senhor, por si e por seus concidadãos, presentes e futuros", e comprometia-se a pagar um tributo de 300 meticais de ouro ou o seu valor em mercadorias. Como símbolo dessa suserania recebia "a bandeira real e um atabaque" que o rei de Portugal lhe entregava. Em contrapartida, tanto o alcaide como os moradores da cidade, podiam circular sem restrições em todos os "domínios portugueses daquém e além-mar", podendo neles negociar em pé de igualdade com "os outros seus naturais ou vassalos".
A cidade foi conquistada sem dificuldade por Diogo de Azambuja em 1508, vindo a ser abandonada em 1542, após a queda da Fortaleza de Santa Cruz do Cabo de Gué no ano anterior (1541). O seu complexo defensivo contava com cerca de três quilómetros de muralhas envolvendo a cidade, dominada por uma fortificação construída pelos portugueses: o chamado Castelejo ("Kechla"). Via de penetração para Marraquexe, a cidade e sede episcopal de Safim recebeu uma forte cerca amuralhada com risco dos irmãos Diogo de Arruda e Francisco de Arruda (1512) com destaque para um imponente baluarte circular que ladeava a porta do chamado "Castelo de Terra", cujas obras só seriam concluídas em 1540, dois anos antes do abandono da praça. Posteriormente a 1512, foi erguido ainda o chamado "Castelo do Mar", em estilo manuelino, a título de obra complementar para defesa do porto.
É considerada como a mais bela das praças-fortes portuguesas em Marrocos. As suas estruturas foram objeto de restauração nas últimas décadas, encontrando-se em excelente estado de conservação. No "Castelo do Mar" encontram-se atualmente 30 peças de artilharia, algumas das quais portuguesas. Destacam-se ainda os vestígios da antiga catedral, convertida numa mesquita, atualmente requalificada como museu.
Safim no século XVI, numa gravura da obra Civitates Orbis Terrarum (1572-1617).