Πολύς λόγος γίνεται τελευταία για τον Baby Tartanian 8, ένα bot που κέρδισε τον ετήσιο διαγωνισμό Computer Poker και προετοιμάζεται ώστε να καταστεί το τέλειο poker bot μέσα στα επόμενα 2 με 3 χρόνια!

Ο δημιουργός του συγκεκριμένου bot, Noam Brown, μίλησε για πολλά και ενδιαφέροντα θέματα.

“Νομίζω ήταν 2008-09 όταν ξεκινούσαμε την έρευνα πάνω στο no-limit Texas hold’em και τα bots που σχεδιάστηκαν τότε ήξεραν μόνο να κάνουν call, fold, να πραγματοποιούν ένα bet ίσο με το pot ή να μπαίνουν all-in. Αν κοιτάξετε τα card abstractions, όπως τ’ αποκαλούμε, όταν σκεφτόμαστε τα πιθανά hands, θα πρέπει να τα κατηγοριοποιήσεις όλα και να συμπεριφέρονται σε αρκετά hands πανομοιότυπα ώστε να διατηρήσεις το παιχνίδι σ’ ένα λογικό μέγεθος. Τότε όλα τα πιθανά river hands για παράδειγμα είχαν κατηγοριοποιηθεί σε σχεδόν 500 buckets. Την τελευταία φορά για να φανταστείτε την εξέλιξη φτάσαμε το 1.000.000 buckets!”

Για να γραφτεί ο κωδικός του bot πέρασε σχεδόν ένας μήνας στον υπερυπολογιστή του San Diego ο οποίος έχει 3.700 CPUs 18 terabytes προσαρμοσμένα σ’ αυτό. Παρ’ ολ’ αυτά δεν χρειάζεται να έχεις πρόσβαση σ’ έναν υπερυπολογιστή για να δημιουργήσεις ένα τέτοιο πανίσχυρο bot όπως αποδεικνύεται κι από τους άλλους δύο διαγωνιζόμενους.

“Στον φετινό διαγωνισμό είχαν φτάσει στην τελική φάση τρία bots, τ’ άλλα δύο ωστόσο δεν ήταν από κάποιο πανεπιστήμιο ή ερευνητική ομάδα, αλλά μεμονωμένα άτομα που τα δημιούργησαν. Ο ένας ήταν επαγγελματίας παίκτης πόκερ που είναι επίσης μηχανικός λογισμικού και ο άλλος ερασιτέχνης παίκτης πόκερ που δούλευε για την Google. Και οι δύο δημιούργησαν σπουδαία bots με budgets λιγότερα των $10.000!

Το κόστος έχει μειωθεί δραματικά, ιδιαίτερα τον τελευταίο χρόνο, κι έτσι είχαν την δυνατότητα ν’ αξιοποιήσουν τις υπηρεσίες Cloud computing της Amazon ώστε να δημιουργήσουν ανταγωνιστικά bots, συνεπώς ο καθένας μπορεί να δημιουργήσει ένα παρόμοιο bot με μας, με την προϋπόθεση φυσικά να κατέχει τις απαραίτητες γνώσεις, κάτι που είναι κάπως περίπλοκο.”

Αν τριγυρίσει κάποιος στα διάφορα ποκερικά φόρουμ θα συναντήσει πολλούς παίκτες να ισχυρίζονται ότι διάφορες παραλλαγές έχουν ‘λυθεί’, κι ότι είναι πλέον δυνατό κάποιος να παίξει τέλεια. Ο Brown πάντως αναφέρει πως το no-limit hold’em δεν πρόκειται να ‘λυθεί’, αν όχι ποτέ, τότε σίγουρα όχι όσο ζει η γενιά αυτή.

“Το Limit hold’em και το no-limit hold’em είναι πολύ διαφορετικά από άποψη ανταγωνισμού. Στο limit hold’em έχεις τρεις επιλογές: call, fold, ή bet. Στο no-limit hold’em έχεις ουσιαστικά έναν απροσδιόριστο αριθμό επιλογών γιατί μπορείς να ποντάρεις οποιοδήποτε ποσό και καθένα από αυτά τα διαφορετικά bets θ’ αντιμετωπιστεί από τον υπολογιστή με μια ξεχωριστή δράση. Αν θέλατε να ‘λύσετε’ το no-limit Texas hold’em θα πρέπει να σκεφτείτε, πως μιλώντας για stacks των 20.000 chips όπως χρησιμοποιούμε στον ετήσιο διαγωνισμό αναφερόμαστε σ’ ένα παιχνίδι που είναι 10˄163 (το 10 δηλαδή με 163 μηδενικά) ενώ το limit Texas hold’em είναι πιθανότατα περίπου 10˄15, συνεπώς η κλίμακα είναι απίστευτη.

Δεν υπάρχει περίπτωση κατά τη γνώμη μου το no-limit Texas hold’em να ‘λυθεί’ όσο είμαστε στη ζωή, μπορεί και ποτέ. Στα επόμενα χρόνια πάντως πιστεύω θα δημιουργηθεί bot που θα μπορεί να εξουδετερώσει τους κορυφαίους επαγγελματίες στον κόσμο. Υπάρχει μεγάλη διαφορά όμως από αυτό μέχρι το να λέμε ότι θα ‘λυθεί’.”

Πολλοί άνθρωποι σύμφωνα με τον Brown πιστεύουν λανθασμένα πως τα κορυφαία poker bots είναι εντελώς προβλέψιμα, αλλά δεν είναι έτσι, μπορούν ακόμη και να μπλοφάρουν!

“Δεν είναι παράδοξο το γεγονός ότι τα bots μπορούν ακόμη και να μπλοφάρουν γιατί αυτό που κάνει ουσιαστικά ο υπολογιστής είναι να προσομοιώνει τρισεκατομμύρια και τρισεκατομμύρια hands, απλά δεν σκέφτεται πραγματικά να μπλοφάρει με τον τρόπο που το κάνουμε εμείς. Αυτό που κάνει είναι να ‘τρέχει’ σε μια κατάσταση επαναλαμβανόμενα και παρατηρεί πως ακόμη κι αν δεν έχει ένα πολύ ισχυρό hand μπορεί να κερδίσει παραπάνω χρήματα ποντάροντας.”

Τα bots φυσικά έχουν αδυναμίες. Μία εξ’ αυτών είναι πως σε υψηλό επίπεδο είναι περισσότερο εξειδικευμένα σε heads-up καταστάσεις και δεν τα καταφέρνουν εξίσου καλά για παράδειγμα σε 6-handed τραπέζι. Αυτό σύμφωνα με τον Brown πρόκειται να βελτιωθεί αισθητά, καθώς στον φετινό διαγωνισμό υπάρχει κατηγορία για βραβείο six-player και παρά την τεράστια προσπάθεια που απαιτείται θα βγει ένα καλό αποτέλεσμα.

Ένα ακόμη ελάττωμα είναι πως για να εμφανίζει το bot την δεξιότητα του να εκμεταλλεύεται τις αδυναμίες των αντιπάλων του θα πρέπει να παίξει τρισεκατομμύρια hands για να δημιουργήσει την στρατηγική Game Theory Optimal, συνεπώς δεν θα ήταν δυνατό να παίξει τόσα hands απέναντι σ’ έναν ανθρώπινο αντίπαλο. Όταν ρωτήθηκε ο Brown αν τα bots μπορούν να εκμεταλλευτούν τις αδυναμίες των αντιπάλων τους να τι απάντησε:

“Πολύ καλή ερώτηση. Όταν τα bots παίζουν τρισεκατομμύρια hands απέναντι σε δικά μας bots αποδείχθηκε πως αν το bot παίζει μόνο του εν τέλει θα συγκλίνει στην θεωρία Nash Equilibrium. Μια στρατηγική Game Theory Optimal η οποία είναι απίθανο να κερδηθεί. Υπάρχει όμως ένα άλλο στοιχείο στο πόκερ που λέγεται ‘εκμετάλλευση’ του αντιπάλου. Επειδή έχεις μια στρατηγική GTO δεν σημαίνει ότι πρόκειται να κερδίσεις όσο το δυνατόν περισσότερα χρήματα από τους αντιπάλους σου.

Αυτό είναι κάτι που οι ανθρώπινοι επαγγελματίες είναι πολύ καλοί, εντοπίζουν δηλαδή την αδυναμία αυτή και την εκμεταλλεύονται πλήρως. Προφανώς θα μπορούσες να προσπαθήσεις να εκμεταλλευτείς τον αντίπαλο σου και τις αδυναμίες του, αλλά εκθέτεις τον εαυτό σου σε εκμετάλλευση κι επομένως δεν παίζεις με στρατηγική Game Theory Optimal, αν και σε πολλές περιπτώσεις αξίζει τον κόπο.

Γίνονται πολλές έρευνες για το πως μπορούμε να το κάνουμε αυτό μ’ ένα bot και δυστυχώς μέχρι τώρα δεν έχουμε καταφέρει να το πετύχουμε. Οι τεχνικές που χρησιμοποιούμε, όπου παίζουμε τρισεκατομμύρια hands και μαθαίνει τι δουλεύει απέναντι σ’ έναν αντίπαλο και τι δεν δουλεύει, θα μπορούσαν να πετύχουν και απέναντι σε ανθρώπινους επαγγελματίες επίσης, αλλά το πρόβλημα είναι πως θα έπρεπε να παίξουν τρισεκατομμύρια hands απέναντι στον αντίπαλο αυτό ώστε να δημιουργήσουν την ιδανική στρατηγική απέναντι του.

Οι τεχνικές που χρησιμοποιούμε τώρα δεν μπορούν να φτάσουν σε μια καλή στρατηγική ώστε ν’ απαντήσουν στις αδυναμίες του αντιπάλου σ’ ένα μικρό αριθμό hands. Είναι μια περιοχή προς εξερεύνηση, πως να ‘εκμεταλλευτείς’ τον αντίπαλο σ’ ένα περιορισμένο αριθμό δειγμάτων δηλαδή. Δεν γνωρίζουμε γιατί οι ανθρώπινοι παίκτες είναι πολύ καλοί σ’ αυτό και είναι πιθανότατα η περιοχή-κλειδί της αδυναμίας των poker bots σήμερα.”

Θα μπορούσε τελικά το bot του Brown να κυριαρχήσει στον κόσμο του online poker στο άμεσο μέλλον;

“Σίγουρα. Αν μιλάμε μάλιστα για two player τότε ναι σίγουρα θα κυριαρχήσει. Η προηγούμενη έκδοση του bot έπαιξε απέναντι σε τέσσερις από τους κορυφαίους παίκτες heads-up στον κόσμο και παρότι δεν κέρδισε ήταν εξαιρετικά ανταγωνιστικό. Σ’ αυτό το επίπεδο λοιπόν υπάρχουν ελάχιστοι άνθρωποι που μπορούν να το εξουδετερώσουν.”

Αν και ο Brown είναι πεπεισμένος πως bots όπως ο Baby Tartanian 8 θα κυριαρχεί στο μέλλον στα heads-up games, θεωρεί πως δεν πρόκειται να διαδοθούν στην online αρένα όπως οι περισσότεροι πιστεύουν.

“Πιστεύω πως στο μέλλον σίγουρα two-player bots θα είναι ισχυρότερα από τους ανθρώπους, αλλά δεν θα διαδοθούν απαραίτητα online, καθώς οι πλατφόρμες είναι πολύ αποτελεσματικές στον εντοπισμό και την απομάκρυνση τέτοιων bots.”

Μπορείτε να μάθετε περισσότερα για τον Noam Brown και την έρευνα του στο www.noambrown.com