org.seasar.util.text
クラス Tokenizer

java.lang.Object
  org.seasar.util.text.Tokenizer

public class Tokenizer
extends Object

トークンを認識するクラスです。

作成者:

higa

フィールドの概要

static int	TT_EOF EOFをあらわします。
static int	TT_QUOTE Quoteをあらわします。
static int	TT_WORD 単語をあらわします。

コンストラクタの概要

Tokenizer(String str)
Tokenizerを作成します。

Tokenizer(String str, byte[] ctype)
Tokenizerを作成します。

メソッドの概要

String	getReadString() 既に読み込んだ文字列を返します。
String	getStringValue() 文字列の値を返します。
int	nextToken() 次のトークンに進めます。
protected static void	ordinaryChar(byte[] ctype2, int ch) 単独で存在する文字として設定します。
protected static void	setup(byte[] ctype2)
protected static void	whitespaceChars(byte[] ctype2, int low, int hi) 空白用の文字として設定します。
protected static void	wordChar(byte[] ctype2, int val) 単語用の文字として設定します。
protected static void	wordChars(byte[] ctype2, int low, int hi) 単語用の文字として設定します。

クラス java.lang.Object から継承されたメソッド

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

フィールドの詳細

TT_EOF

public static final int TT_EOF

EOFをあらわします。

関連項目:

定数フィールド値

TT_QUOTE

public static final int TT_QUOTE

Quoteをあらわします。

関連項目:

定数フィールド値

TT_WORD

public static final int TT_WORD

単語をあらわします。

関連項目:

定数フィールド値

コンストラクタの詳細

Tokenizer

public Tokenizer(String str)

Tokenizerを作成します。

パラメータ:

str - 文字列。nullであってはいけません

Tokenizer

public Tokenizer(String str,
                 byte[] ctype)

Tokenizerを作成します。

パラメータ:

str - 文字列。nullであってはいけません

ctype - 文字のタイプの配列。nullや空配列であってはいけません

メソッドの詳細

setup

protected static void setup(byte[] ctype2)

パラメータ:

ctype2 - 文字のタイプの配列

wordChars

protected static void wordChars(byte[] ctype2,
                                int low,
                                int hi)

単語用の文字として設定します。

パラメータ:

ctype2 - 文字のタイプの配列

low -

hi -

wordChar

protected static void wordChar(byte[] ctype2,
                               int val)

単語用の文字として設定します。

パラメータ:

ctype2 - 文字のタイプの配列

val - 文字コード

whitespaceChars

protected static void whitespaceChars(byte[] ctype2,
                                      int low,
                                      int hi)

空白用の文字として設定します。

パラメータ:

ctype2 - 文字のタイプの配列

low - 最小の文字コード

hi - 最大の文字コード

ordinaryChar

protected static void ordinaryChar(byte[] ctype2,
                                   int ch)

単独で存在する文字として設定します。

パラメータ:

ctype2 - 文字のタイプの配列

ch - 文字コード

getStringValue

public String getStringValue()

文字列の値を返します。

戻り値:

文字列の値

nextToken

public int nextToken()

次のトークンに進めます。

戻り値:

トークンのタイプ

getReadString

public String getReadString()

既に読み込んだ文字列を返します。

戻り値:

既に読み込んだ文字列