Родился 29 октября 1951 года в селе Медведка Тюменцевского района Алтайского края.
В 1972 году окончил Свердловский юридический институт. Трудовую деятельность начал в прокуратуре города Бийска Алтайского края. Работал следователем, старшим следователем, помощником прокурора города, заместителем прокурора района в городе.
В 1982 году назначен заместителем прокурора города Барнаула, затем начальником отдела прокуратуры Алтайского края.
В 1986 году переведён в Генеральную прокуратуру СССР, где замещал должности старшего прокурора управления, помощника генерального прокурора СССР.
С 1992 года – начальник отдела управления, начальник управления по обеспечению участия прокуроров в арбитражном процессе Генеральной прокуратуры Российской Федерации.
В дальнейшем А.Б.Карлин занимал должности статс-секретаря – первого заместителя министра юстиции Российской Федерации, первого заместителя министра юстиции Российской Федерации.
В 2004 году возглавил управление по вопросам государственной службы Администрации Президента Российской Федерации.
25 августа 2005 года по представлению Президента Российской Федерации Алтайский краевой Совет народных депутатов наделил А.Б.Карлина полномочиями главы администрации Алтайского края.
В июле 2009 года Президентом Российской Федерации в Алтайское краевое Законодательное собрание была внесена кандидатура А.Б.Карлина. Депутаты приняли решение о наделении его полномочиями губернатора края на новый пятилетний срок.
25 августа 2009 года А.Б.Карлин официально вступил в должность губернатора Алтайского края.
Женат, двое сыновей.