Можно ли каким то образом использовать параметр category тега exp:channel:entries в виде
category=“1&2|3”
Т.е. мне нужены entry с категориями 1 и (2 или 3)

Используйте “not” если хотите исключить категории
category=“not 4|5|7”

Вы можете использовать амперсант если хотите получить записи из всех категорий:
category=“3&7&8”

Также есть обратное действие если вы хотите получить записи не из указанных категорий:
category=“not 3&5”

про комбинацию & и | не написано.

да.
я спрашивал - может есть какой то хак )

Лучше придумайте как сделать по другому без сложных условий в параметрах.