Πώς κάθε αυτοκίνητο καταλήγει εδώ.
Το διαδίκτυο λέει ένα πράγμα, η αγορά λέει άλλο. Οι δημόσιες αγγελίες αυτοκινήτων είναι διασκορπισμένες σε δεκάδες μέρη, σε δεκάδες μορφές, με το ίδιο φυσικό αυτοκίνητο να εμφανίζεται συχνά σε τρία από αυτά ταυτόχρονα. Ο indexer του AllCars παίρνει αυτό το χάος και το μετατρέπει σε μια καθαρή, χωρίς διπλότυπα, εμπλουτισμένη, συνεχώς ανανεούμενη ροή. Για να ψάχνεις ολόκληρη την αγορά σαν να ψάχνεις ένα ιστότοπο.
Μια ροή. Πάντα ενημερωμένη. Τίποτα δεν χάνεται.
Ευρετηριάζουμε δημόσιες αγγελίες όπως μια μηχανή αναζήτησης ευρετηριάζει τον δημόσιο ιστό. Κάθε αγγελία, χωρίς διπλότυπα σε σχέση με τις υπόλοιπες, εμπλουτισμένη με τα τεχνικά στοιχεία και τα φορολογικά δεδομένα που η ίδια η αγγελία δεν φέρει, και παρακολουθείται στον χρόνο ώστε η ιστορία τιμών να διατηρείται ακόμα κι όταν μια αγγελία εξαφανιστεί από το διαδίκτυο.
Αναζήτηση σε ολόκληρη την αγορά
Σταμάτα να πηδάς από καρτέλα σε καρτέλα. Κάθε δημόσια αγγελία αυτοκινήτου στην Κύπρο σε ένα πεδίο αναζήτησης, με τα ίδια φίλτρα, την ίδια βαθμολόγηση, την ίδια δίκαιη ζώνη τιμών. Δεν έχει σημασία πού δημοσιεύτηκε αρχικά η αγγελία.
Πάντα ενημερωμένο
Η αγορά κινείται. Ο indexer τρέχει συνεχώς, οπότε νέες αγγελίες, μειώσεις τιμών και αποσύρσεις εμφανίζονται μέσα σε ώρες, όχι εβδομάδες. Αυτό που βλέπεις είναι η αγορά τώρα, όχι ένα στιγμιότυπο Τρίτης από πριν τρεις βδομάδες.
Τίποτα δεν χάνεται
Κάθε παρατήρηση καταγράφεται. Όταν μια αγγελία εξαφανίζεται, το ιστορικό δεν εξαφανίζεται μαζί της. Πρώτη τιμή ζήτησης, κάθε πτώση, χρόνος ζωής, όλα διατηρούνται. Η αγορά έχει πλέον μνήμη.
Από ακατέργαστη αγγελία σε αποτέλεσμα αναζήτησης, σε οκτώ στάδια.
Κάθε αγγελία περνά από τους ίδιους οκτώ σταθμούς. Κάθε ένας είναι μια μικρή, ακριβής ιδέα, και κάθε ένας κέρδισε τη θέση του πιάνοντας μια συγκεκριμένη κατηγορία αποτυχιών που ο indexer παλιά απέστελλε. Επώδυνα.
Ανακάλυψη
Εντοπισμός νέων δημόσιων αγγελιών καθώς εμφανίζονται. Μόνο ό,τι είναι ήδη δημόσια ορατό σε οποιονδήποτε με πρόγραμμα περιήγησης. Χωρίς τοίχους, χωρίς ιδιωτικές ροές, χωρίς συνδέσεις.
Επικύρωση
Απόρριψη αδύνατων δεδομένων στην πόρτα. Έτη στο μέλλον, χιλιόμετρα μισού εκατομμυρίου, τοπωνύμια που μεταμφιέζονται σε περιγραφές, όλα αυτά. Πιάνονται πριν αγγίξουν το ευρετήριο.
Κανονικοποίηση
Μια κανονική μορφή ανά μάρκα, μοντέλο, τύπο αμαξώματος και καύσιμο, σε παραλλαγές ορθογραφίας, κωδικούς πλαισίου και γλωσσικές ιδιαιτερότητες. Το "W211" και το "E-Class" συμφωνούν επιτέλους ότι είναι το ίδιο πράγμα.
Ανάλυση
Εξαγωγή δομημένων ετικετών από ελεύθερες περιγραφές. Χιλιόμετρα κρυμμένα σε πρόταση, τύπος καυσίμου θαμμένος σε παράγραφο, αναφορές σέρβις, λέξεις-κλειδιά ατυχήματος. Αγγλικά, Ελληνικά, Greeklish, Ρωσικά και Russlish, όλα υποστηρίζονται.
Εμπλουτισμός
Προσθήκη των στοιχείων που η αγγελία δεν φέρει. Ιπποδύναμη, ροπή, κατανάλωση καυσίμου, βάρος, ζώνη τελών κυκλοφορίας Κύπρου, όλα αντλούνται από δημόσιες βάσεις δεδομένων οχημάτων. Η αγγελία γίνεται όχημα.
Απαλοιφή διπλοτύπων
Τρεις αγγελίες για το ίδιο φυσικό αυτοκίνητο; Ένα αρχείο οχήματος, ένα χρονολόγιο. Αποτυπώματα εικόνας και αντιστοίχιση στοιχείων βρίσκουν τα δίδυμα. Σκληροί κανόνες αποκλεισμού αποτρέπουν λανθασμένες συγχωνεύσεις.
Παρακολούθηση
Αρχείο καταγραφής μόνο-προσάρτησης. Κάθε τιμή που εντοπίστηκε, κάθε αλλαγή, κάθε εξαφάνιση, όλα διατηρούνται. Η ροή σου δείχνει το σήμερα. Το ιστορικό σου δείχνει ολόκληρη την ιστορία.
Ευρετήριο
Προ-υπολογισμός όλων όσων χρειάζεται η αναζήτηση (εμπλουτισμός, βαθμολόγηση, ετικέτες, τέλη κυκλοφορίας) σε ένα ζεστό ευρετήριο. Τα ζεστά ερωτήματα επιστρέφουν αποτέλεσμα σε λιγότερο από μισό δευτερόλεπτο. Η μηχανή τιμολόγησης συνδέεται εδώ επίσης.
Ανακάλυψη, μόνο δημόσιες αγγελίες.
Ο indexer συμπεριφέρεται σαν ευγενικός αναγνώστης. Κοιτάζει τις ίδιες δημόσιες σελίδες που θα κοιτούσε ένας αγοραστής, σε μέτριους ρυθμούς, με τυπική υγιεινή αιτημάτων. Χωρίς ιδιωτικούς λογαριασμούς, χωρίς κλειδωμένες περιοχές, χωρίς συλλογή προσωπικών δεδομένων.
Αυτό που εισέρχεται είναι ακριβώς αυτό που υπάρχει ήδη στον ανοιχτό ιστό: η δημόσια αγγελία. Μάρκα, μοντέλο, έτος, χιλιόμετρα, τιμή, δημόσιες φωτογραφίες, η ελεύθερη περιγραφή του πωλητή. Αυτή είναι η συνολική είσοδος.
Οτιδήποτε βρίσκεται πίσω από τοίχο σύνδεσης, οτιδήποτε χαρακτηρίζεται ιδιωτικό, και οτιδήποτε μοιάζει με προσωπικά στοιχεία επικοινωνίας αφήνεται άθικτο. Το ευρετήριο αντικατοπτρίζει τη δημόσια αγορά. Τελεία.
Απόρριψη αδύνατων δεδομένων στην πόρτα.
Το φθηνότερο σφάλμα που μπορεί κανείς να διορθώσει είναι αυτό που δεν μπαίνει ποτέ στο σύστημα. Η επικύρωση τρέχει πριν από οτιδήποτε άλλο: μελλοντικές ταξινομήσεις, χιλιόμετρα υπερχείλισης ακεραίου, τιμές κάτω από το κατώφλι ανταλλακτικών, περιγραφές που αποτελούνται μόνο από ένα όνομα πόλης, αγγελίες ανταλλακτικών που παρουσιάζονται ως αυτοκίνητα.
Οτιδήποτε επιβιώνει αυτής της πύλης είναι τουλάχιστον εύλογα πραγματικό αυτοκίνητο, που σημαίνει ότι τα επόμενα στάδια δεν χρειάζονται αμυντική λογική για τις προφανώς χαλασμένες περιπτώσεις.
Ένα κανονικό όνομα ανά αυτοκίνητο.
Το ίδιο αυτοκίνητο εμφανίζεται με πέντε διαφορετικά ονόματα. Κωδικοί πλαισίου σε παρενθέσεις, παραλλαγές μάρκας με τέσσερις ορθογραφίες, συντομογραφίες αντιπροσώπων, γλωσσικές μείξεις. Χωρίς κανονικοποίηση, αναζητάς ένα μοντέλο και χάνεις τη μισή αγορά.
Μια μηχανή κανόνων συμπτύσσει κάθε παραλλαγή σε μία κανονική ταυτότητα ανά μάρκα, μοντέλο, αμάξωμα και τύπο καυσίμου. Έτσι μια αναζήτηση για "E-Class" βρίσκει όλα, και η μηχανή τιμολόγησης τα συγκρίνει σωστά.
Πρόσθεσε τα δεδομένα που ξέχασε η αγγελία.
Μια αγγελία σου λέει αυτό που διάλεξε να γράψει ο πωλητής. Σπάνια αναφέρει ιπποδύναμη, ροπή, κατανάλωση καυσίμου, βάρος κενού φορτίου, ή πόσα θα πληρώσεις σε τέλη κυκλοφορίας τον Ιανουάριο. Ο indexer προσθέτει αυτά από δημόσιες βάσεις δεδομένων οχημάτων μόλις αναγνωρίσει το μοντέλο.
Ο υπολογιστής τελών κυκλοφορίας Κύπρου είναι ενσωματωμένος: τρεις εποχές ταξινόμησης, ζώνες CO₂, επιβαρύνσεις Euro. Τα εισαγόμενα από Ηνωμένο Βασίλειο εμφανίζουν διπλό συντελεστή ώστε να μην υπάρξει δυσάρεστη έκπληξη τρεις βδομάδες αφού παραλάβεις το αυτοκίνητο.
Μέχρι να ολοκληρωθεί ο εμπλουτισμός, η αγγελία δεν είναι πλέον αγγελία. Είναι ένα πλήρως περιγεγραμμένο όχημα.
Ίδιο αυτοκίνητο, ένα χρονολόγιο.
Το ίδιο φυσικό αυτοκίνητο εμφανίζεται συχνά σε τρεις αγγελίες ταυτόχρονα. Διαφορετικές τιμές, διαφορετικές φωτογραφίες, διαφορετικές περιγραφές. Χωρίς αφαίρεση διπλοτύπων, κάθε αναζήτηση επιστρέφει το ίδιο αυτοκίνητο πέντε φορές και το γράφημα τιμών μοιάζει με θόρυβο.
Ο deduper συγχωνεύει τα δίδυμα χρησιμοποιώντας δύο οικογένειες σημάτων: αποτυπώματα εικόνας (αντιληπτικά hashes υπολογισμένα από δημόσιες φωτογραφίες, ώστε οι πρωτότυπες εικόνες να μην διατηρούνται ως προσωπικά δεδομένα) και αντιστοίχιση στοιχείων (έτος + μάρκα + μοντέλο + χιλιόμετρα + κινητήρας αρκετά κοντά για να είναι το ίδιο αυτοκίνητο).
Σκληροί κανόνες αποκλεισμού αποτρέπουν λανθασμένες συγχωνεύσεις. Αναντιστοιχία στο αμάξωμα, το καύσιμο, το έτος ή το χρώμα και η συγχώνευση απορρίπτεται, ακόμα κι αν κάθε άλλο σήμα φωνάζει "ταίριασμα". Τα διαφορετικά αυτοκίνητα παραμένουν διαφορετικά αυτοκίνητα. Πάντα.
Κάθε παρατήρηση, κάθε αλλαγή, διατηρείται.
Το επίπεδο κύκλου ζωής είναι ένα αρχείο καταγραφής μόνο-προσάρτησης κάθε παρατήρησης. Πρώτη τιμή ζήτησης, κάθε επακόλουθη πτώση, οι μέρες που η αγγελία ήταν ενεργή, η στιγμή που εξαφανίστηκε. Τίποτα δεν αντικαθίσταται. Τίποτα δεν ξεχνιέται.
Όταν μια αγγελία εξαφανίζεται, αυτό είναι επίσης σήμα. Αυτοκίνητα που εξαφανίζονται μέσα σε 48 ώρες από μείωση τιμής μάλλον πουλήθηκαν. Αυτά που παραμένουν 90 μέρες μάλλον όχι. Η μηχανή τιμολόγησης διαβάζει αυτή τη ροή για να διορθώσει τη μεροληψία επιβίωσης.
Και ο αγοραστής παίρνει την πλήρη ιστορία τιμών αντί για ένα στιγμιότυπο.
Προ-υπολογισμένο. Ζεστό. Υποδευτερόλεπτο.
Όταν πατάς "αναζήτηση", δεν θέλεις η μηχανή να αρχίσει να σκέφτεται. Θέλεις την απάντηση. Το τελικό στάδιο υλοποιεί τα πάντα (εμπλουτισμός, βαθμολόγηση, ετικέτες, τέλη κυκλοφορίας, ζώνη deal) σε ένα ζεστό ευρετήριο που τα ζεστά ερωτήματα χτυπούν σε λιγότερο από μισό δευτερόλεπτο για τυπικούς συνδυασμούς φίλτρων.
Η μηχανή τιμολόγησης συνδέεται εδώ. Η εμπειρία περιήγησης συνδέεται εδώ. Οι ειδοποιήσεις αποθηκευμένων αναζητήσεων συνδέονται εδώ. Μία πηγή αλήθειας, πολλές επιφάνειες.
Όταν αλλάζουν τα upstream δεδομένα, μόνο το επηρεαζόμενο τμήμα ξαναυλοποιείται. Σταδιακό, όχι ολοκληρωτικό.
Τι τρέχει, αυτή τη στιγμή.
Η pipeline δεν είναι project για να περνά η ώρα. Τρέχει συνεχώς, παρακολουθείται σαν υποδομή, και κάθε γραμμή κώδικα δικαιώνεται μέσα από ένα περιστατικό. Να η τάξη μεγέθους.
Δημόσια αγορά, δημόσια δεδομένα, μικρό αποτύπωμα.
Το AllCars ευρετηριάζει μια δημόσια αγορά. Αντιμετωπίζουμε τις υποκείμενες πηγές όπως κάθε συνετός αναγνώστης, και χαράζουμε σκληρή γραμμή γύρω από τα προσωπικά δεδομένα. Αυτοί οι κανόνες δεν είναι φιλοδοξίες. Είναι ενσωματωμένοι στον ίδιο τον indexer.
Μόνο δημόσιες αγγελίες
Οτιδήποτε δημόσια ορατό σε πρόγραμμα περιήγησης χωρίς σύνδεση είναι δίκαιο να διαβαστεί. Οτιδήποτε βρίσκεται πίσω από τοίχο δεν είναι. Ο indexer δεν προσπαθεί ποτέ να αποκτήσει πρόσβαση σε ιδιωτικές ροές, περιεχόμενο με συνδρομή ή περιοχές που απαιτούν αυθεντικοποίηση.
Χωρίς προσωπικά δεδομένα
Το ευρετήριο αποθηκεύει στοιχεία για αυτοκίνητα, όχι για ανθρώπους. Χωρίς προσωπικά στοιχεία επικοινωνίας, χωρίς κατηγοριοποίηση αγοραστών ή πωλητών, χωρίς παρακολούθηση ατόμων σε δίκτυα. Το σύνολο δεδομένων περιγράφει οχήματα σε μια δημόσια αγορά.
Μέτριος ρυθμός
Οι εκτελέσεις ανανέωσης βαθμονομούνται να αποτελούν μικρό κλάσμα της κανονικής δημόσιας κίνησης και σέβονται τα σήματα σε επίπεδο πλατφόρμας. Ο indexer είναι ένας ήσυχος αναγνώστης, όχι ένα stress test.
Δικαίωμα αφαίρεσης
Ένα αίτημα αφαίρεσης, ένα αίτημα απόκρυψης από το ευρετήριο, ή ένα opt-out από την πηγή τηρείται άμεσα σε ολόκληρο το ευρετήριο, το ιστορικό και τα αποτελέσματα αναζήτησης. Το τρέχω μόνος μου, στείλε μου μήνυμα στο Telegram και η εγγραφή φεύγει την ίδια μέρα.
Τώρα ψάξε ολόκληρη την αγορά.
Μία ροή. Πάντα ενημερωμένη. Χωρίς διπλότυπα, εμπλουτισμένη, βαθμολογημένη. Αφιέρωσε την προσοχή σου στα αυτοκίνητα, όχι στις καρτέλες.