Ensuite, de 2004 à 2007, il a été affecté en qualité de substitut du procureur au tribunal régional hors classe de Dakar. De là, Abdou Karim Diop ira à la cour d’appel de Kaolack en qualité de substitut général où il officiera de 2008 à 2012.
En 2013, il reviendra au parquet de Dakar où il sera substitut du procureur, puis premier substitut du procureur, avant d’être muté en 2015 à la Cour d’appel de Dakar où il sera avocat général pour 3 ans.
De 2021 à 2022, il sera l'adjoint de Amady Diouf, en tant que procureur de la République adjoint près le tribunal de grande instance hors classe de Dakar.
Aujourd'hui, Abdou Karim Diop trouvera plusieurs dossiers sur son bureau. Les plus récents sont certainement le rapport de la Cour des comptes sur l’utilisation du fonds force covid-19, l’enquête sur la disparition et la mort des deux hommes de Tenue Didier Badji et Fulbert Sambou. Les nombreux rapports de l’Ofnac aussi l’y attendent, de même que l'affaire "Sweet Beauté" etc.