Machine learning требует сильных знаний из многих областей математики, рекомендую книгу

Numerical Algorithms: Methods for Computer Vision, Machine Learning, and Graphics. (Justin Solomon)

плюс книги - упор на практические задачи