On Optimization of Sequential Decision-Making in Customer Relationship Management using Deep Reinforcement Learning

• Main Author: Ryan, Christian
• Format: Others
• Language: English
• Published: KTH, Skolan för elektroteknik och datavetenskap (EECS) 2019
• Subjects: Engineering and Technology; Teknik och teknologier
• Online Access: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-261711

Customer relationship management (CRM) is a fickle but pivotal elementto the success of any business. Used correctly, it can not only yield higherrevenue and lower operational costs, but significantly boost customersatisfaction. Nonetheless, it can also be mismanaged—sacrificing thewell-being of customers for profitability. Industries have thereby beenflooded with a range of different heuristic strategies that aim to optimizeCRM. This thesis aims to instead study and optimize CRM using a datadrivenapproach, and present a framework that can readily incorporatecustomer well-being into the optimization process. More specifically: cana strategy that outperforms a business’ current strategy without any realworldimplications be derived using modern advances in reinforcementlearning? In this context, the lifetime value (LTV), i.e. net profit, of acustomer will be used as the objective function to optimize for.Using deep feed-forward neural networks, an artificial environmentmimicking typical customer behavior was attained. The model’s predictivecapabilities deviated merely a couple of percent from the true averagecustomer behavior seen in the data. This was further leveraged byan algorithm to obtain a business strategy through reinforcement learning.This novel algorithm is based on deep Q-networks, with furtherdomain-specific additions such as combined experience replay and doublelearning. The algorithmically derived business strategy theoreticallyoutperformed the current state-of-the-art business strategy by approximately100 percent in average 2-year LTV, and further outperformed aplethora of different business strategies. === Customer relationship management (CRM) är en labil men väsentligframgångsfaktor inom affärsverksamheten. Om det nyttjas korrekt kandet leda till högre omsättning, lägre driftskostnader och en förbättradkundnöjdhet. Följaktligen, kan det även missbrukas, där kundhälsa uppoffrasför ekonomisk lönsamhet. Därför är det viktigt att granska CRMfrån ett nytt perspektiv. Denna masteravhandling ämnar sig åt att studeraoch optimera CRM genom ett datadrivet tillvägagångssätt, samtpresentera ett ramverk som kan enkelt inlemma kundhälsa i optimeringssteget.Mer specifikt: kan en affärsstrategi härledas som kan utkonkurreraen existerande affärsstrategi för ett företag utan några verkligakonsekvenser genom att tillämpa moderna framgångar inom förstärkandeinlärning? Inom denna kontext nyttjas lifetime value (LTV), alltsånettovinst per kund som optimeringsvariabel.Genom att använda framåtmatande artificiella neuronnät kunde enkonstgjord miljö som imiterar typisk kundbeteende etableras. Denna modellsprediktiva förmåga avvek enbart ett par procent från det sanna genomsnittligakundbeteendet. Denna miljö nyttjades sedan av dubbla djupaQ-nätverk med kombinerad erfarenhetsuppspelning för att åstadkommaen affärsstrategi genom förstärkande inlärning. Denna affärsstrategipresterade omkring 100 procent bättre än den existerande affärsstrategini uppnådd 2-årig LTV samt utkonkurrerade flertalet andra triviala ochicke-triviala affärsstrategier.