В словаре второе значение слова "возиться" — это "заниматься чем-нибудь кропотливым, трудным".

Если заменить слово "возиться" на "заниматься", структура предложения изменится совсем чуть-чуть, а смысл останется тот же:

- Нет... у нас не было времени заниматься рыбой, — ответил отец.

Герой использует "возиться" вместо "заниматься", чтобы подчеркнуть, насколько трудно и неудобно было бы кормить чайку рыбой.