Wie ich über ein Wochenende einen Quittungs-Chatbot gebaut habe

Demo des Chatbots

Letzte Woche funktionierte meine Mikrowelle nicht mehr, also ging ich zu Big W, um einen Ersatz zu bekommen. Wie erwartet baten sie um die Quittung, die ich nicht hatte, da meine Frau sie gekauft hatte. Ich musste meine Banktransaktionsunterlagen durchsuchen, um den Kaufbeleg zu finden, der glücklicherweise nicht lange her war, seit der Kauf neu war. Dann fiel mir ein – da ich bei der Arbeit Chatbots baue – warum baue ich nicht einen Bot, der Quittungen für mich verwaltet? Meine Anforderung an den Bot ist minimal:

  • Es sollte in der Lage sein, ein Foto meiner Quittung zu machen und die Informationen automatisch zu extrahieren. und,
  • Es sollte mir ermöglichen, Quittungen später anhand des Händlernamens oder der darin enthaltenen Artikel abzurufen.

Dieser Beitrag beschreibt, wie ich den Bot baue. Wenn Sie interessiert sind, können Sie sich den Code ansehen meine github-seite.

Zunächst galt es, die Systemarchitektur zu entwerfen: welche Komponenten benötigt werden und wie sie miteinander verknüpft sind. Hier ist die Liste der Komponenten und des Frameworks und Services hinter der Implementierung.

  • Chatbot – dies ist im Wesentlichen ein Webserver und wird mithilfe von implementiert Microsoft Bot Builder-Framework
  • Texterkennung – Extrahieren von Text aus Bildern mit der Google Cloud Vision-Dienst
  • Extraktion von Organisations-/Händlernamen mit ABN-Nachschlagedienst durch das australische Unternehmensregister
  • Informationsextraktion mit regulären Ausdrücken
  • Informationsabruf – Dies kann durch Abfragen einer Datenbank nach dem Namen des Händlers oder nach Artikeln erfolgen, die in der Quittung enthalten sind. Dies wurde nicht implementiert, da ich nicht vorhatte, die Kosten für das Hosten des Bots, einen Datenbankserver und das Speichern von Bildern zu bezahlen.

Eine Videodemo des Chatbots in Aktion finden Sie oben in diesem Artikel. Der Interaktionskanal ist ein Bot-Emulator, den Sie sich wie einen Web-Chat vorstellen können. Es gibt einige Geräusche im Hintergrund und die Reaktion war etwas langsam, als ich im Zug war 😃

Es funktioniert funktional gut, aber es können eindeutig Verbesserungen in Bezug auf die Sprache und das Erscheinungsbild des Bots vorgenommen werden – weshalb das Erstellen eines Chatbots genau wie bei anderen Benutzeroberflächen eine multidisziplinäre Anstrengung ist. Möglicherweise stellen Sie fest, dass der Gesamtwert des Belegs 0 beträgt, und das ist richtig, da es sich bei dieser Transaktion nur um einen Austausch gegen ein neues Produkt handelte, sodass keine Zahlung erforderlich war.

Ich kann mir vorstellen, dass dieser Bot mir gute Dienste leisten kann. Aber wenn es um Transaktionsdaten geht, gibt es potenziell viele spannende Anwendungen. Eine interessante Idee ist ein „automatischer Belohnungs-Bot“: Er liest Transaktionen aus, identifiziert die Händler und verhandelt dann mit ihnen (oder besser gesagt anderen Bots) im Namen des Benutzers um Belohnungs-/Treuepunkte. Die Punkte können auch übertragen oder beispielsweise innerhalb des eigenen sozialen Netzwerks getauscht werden. Ich wage zu sagen, dass dies eine sexy Kombination aus Blockchains und Chatbot ist, die dem, was Kik versucht, ziemlich ähnlich ist dieser ICO.

Similar Posts

Leave a Reply

Your email address will not be published.