Tak jako sousední Vrboska i Jelsa byla malou rybářskou osadou na místě malého římského sídla Civitas Vetus Ielsae (přibližně v místech dnešního kempu Mina), která se začala rozvíjet v 16. století, kdy sem uprchlo množství lidí z pevniny před tureckými útoky. Nejstarší památkou je patrně pozorovatelna Tor z období řeckého osídlování. Zajímavá je i zřícenina středověkého hradu na východě obce. Za zhlédnutí stojí i sakrální stavby, které jsou ukázkou renesance v dalmatské architektuře. Dominantou je i kostel Pany Marie – Ochránkyně zdraví.
Jelsa jako jediná na ostrově má sladkovodní prameny. Po vysušení bažin jsou pozemky využívány k zemědělství. Jinak se obyvatelé živí především rybolovem a turismem.
Jelsa poskytuje všechny typy ubytování od hotelů s několika hvězdami, přes soukromé apartmány, bungalovy, až po dobře vybavené kempy. Koupání je také velmi příjemné, pobřeží je členité, a tak si každý může vybrat, co se mu líbí – od skalnatých útesů, přes pláže s vybetonovanými platy, po oblázkové zátoky (s dětmi prosím vybírejte).
Nejpříhodnější je pro děti koupání v zátoce Mina v blízkosti stejnojmenného kempu. Příjemné jsou i zátoky Malo i Velo Grebišće s písčitým dnem a pozvolným vstupem do vody. Dále pak zátoka Ženčišće a Crkvica. Sem musíte autem nebo na kole (cca 4 km).
