Heb het opgelost door inderdaad DVBAPI te gaan gebruiken.
Wat er nou misgaat met het newcamd protocol laat ik mooi zitten
Voor de belangstellenden:
Voeg onderstaande toe aan oscam.conf
[dvbapi]
enabled = 1
au = 1
pmt_mode = 4
user = user1
boxtype = pc
listen_port = 9090
Deze koppelt dus aan een user, in mijn geval de bestaande user1 die al in in oscam.user staat.
Vervolgens in TvHeadend bij CA de user1 op newcamd uitgezet. Nieuwe ca toevoegen op dvbapi en vul de juiste poort en IP-adres in waar oscam op draait.
Even oscam restarten en de boel was geregeld.
Heb overigens zelfs nog tvheadend op een rpi geïnstalleerd om te zien of het aan de versie op de syno lag. Daar precies hetzelfde euvel met het newcamd protocol
